机器学习笔记（9）：Logistic回归

本文来自之前在Udacity上自学机器学习的系列笔记。这是第9篇，介绍了监督学习中的Logistic回归。

Logistic回归
Logistic回归虽然带有回归两字，但它和之前介绍的线性回归模型不一样，因为它主要解决分类问题。它可以解决只有标签为0或者1的分类问题，也可以解决多分类问题。

Logistic回归模型定义为：
$h_\theta(x)=g(z)$
$g(z)=\frac{1}{1+e^{-z}}$
其中
$z=\theta^Tx$

给定训练集，计算出参数 $\theta$

模型解读
$h_\theta(x)$ 可以认为是在给定 $x$ 情况下概率预估，比如说 $x$ 表示肿瘤的大小。如果 $y=1$ ，表示肿瘤是良性的。那么

$h_\theta(x)=0.7, y=1$
这个结果就表示，当给定肿瘤大小为 $x$ 的情况下，判断其为良性的概率为0.7.

所以
$h_\theta(x)=P(y=1 | x; \theta)$
即为函数 $h_\theta$ 在给定 $x, \theta$ 下 $y=1$ 的概率。

由此还可以得到
$P(y=0 |x;\theta) = 1-P(y=1|x;\theta)$
$P(y=1|x;\theta)=P(y=1|x;\theta)^y(1-P(y=1|x;\theta))^{(1-y)}$

决策边界
Logistic回归模型
$h_\theta(x)=g(\theta^Tx)=P(y=1|x;\theta)$
$g(z)=\frac{1}{1+e^{-z}}$
可以得到 $g(z)$ 的函数图像为：

image.png

设定：
当 $h_\theta(x) \geq 0.5$ 时，那么 $y=1$
当 $h_\theta(x) <0.5$ 时，那么 $y=0$

根据上面的设定，我们来看看下面两种情况的数据集。
第一个例子如下图所示，可以假设 $h_\theta(x)=g(\theta_0+\theta_1x_1+\theta_2x_2)$ ，
取 $\theta_0=-3, \theta_1=1, \theta_2=1$ ，
那么
如果 $-3+x_1+x_2 \geq 0$ ，可以得到 $h_\theta(x) \geq 0.5$ ， $y=1$
如果 $-3+x_1+x_2 < 0$ ，可以得到 $h_\theta < 0.5$ ， $y=0$

所以 $x_1+x_2=3$ 直线可以将数据集完美地进行分类。我们称 $x_1+x_2=3$ 为数据集的决策边界。

image.png

下面的数据集，可以假设 $h_\theta(x)=g(\theta_0+\theta_1x_1+\theta_2x_2+\theta_3x_1^2+\theta_4x_2^2)$ ，
如果 $-1+x_1^2+x_2^2\geq 0$ ，可以得到 $h_\theta(x) \geq 0.5$ ， $y=1$
如果 $-1+x_2^2+x_2^2<0$ ，可以得到 $h_\theta < 0.5$ ， $y=0$

所以，数据集的决策边界为 $x_1^2+x_2^2=1$

image.png

损失函数
在上面的决策边界例子中，我们直接设置了 $\theta$ 值，但我们希望的是给定训练集的情况下，使用算法自动地找到合适的 $\theta$ 值将数据集正确地分类，得到决策边界。

样本数据一共有 $m$ 个： $(x^{(1)}, y^{(1)}), (x^{(2)}, y^{(2)}), \ldots, (x^{(m)}, y^{(m)})$ ， $x \in R^{n+1}$ ，其中 $x_0=1$ , $x$ 是 $(n+1) \times 1$ 的矩阵， $y \in {0,1}$
对于 $h_\theta=\frac{1}{1+e^{-\theta^Tx}}$ ，如何选择 $\theta$ 值呢？
定义损失函数

image.png

这个式子可以简化为
$Cost(h_\theta(x), y)=-ylog(h_\theta(x))-(1-y)log(1-h_\theta(x))$
使用梯度下降法就可以求得使损失函数为最小的 $\theta$ 的值了。

通过对 $Cost(h_\theta(x),y)$ 进行求导，可以得到
$\frac{\partial Cost}{\partial \omega_i} = (a-y)x_i$
其中
$a=g(z)=\frac{1}{1+e^{-z}}$
代入到 $\omega$ 的更新式子中，那么有
$\omega_i:=\omega_i-\alpha \frac{\partial Cost}{\partial \omega_i}$
$\omega_i:=\omega_i+\alpha (y-a)x_i$

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 212,542评论 6赞 493
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 90,596评论 3赞 385
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 158,021评论 0赞 348
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 56,682评论 1赞 284
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 65,792评论 6赞 386
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 49,985评论 1赞 291
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,107评论 3赞 410
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 37,845评论 0赞 268
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,299评论 1赞 303
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,612评论 2赞 327
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 38,747评论 1赞 341
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,441评论 4赞 333
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,072评论 3赞 317
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,828评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,069评论 1赞 267
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,545评论 2赞 362
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,658评论 2赞 350

机器学习笔记（9）：Logistic回归

推荐阅读更多精彩内容