线性回归&逻辑回归&正则化

本文为《吴恩达机器学习》课程笔记

线性回归

代价函数 Cost Fuction

$J_{(\theta_{0}, \theta_{1})} = \frac{1}{2m}\sum_{i=1}^{m}(h_{\theta}x^{(i)} - y^{(i)})^{2}$

它的目标是: 选择出可以使得建模误差的平方和能够最小的模型参数

批量梯度下降 Batch Gradient Descent

$repeat \quad \{ \\ \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \theta_{j} := \theta_{j} - \alpha\frac{\partial}{\partial\theta_{j}}J_{(\theta_{0}, \theta_{1})} \\ \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad for \quad j = 1 \quad and \quad j = 0 \\ \}$

$\alpha$ 是学习率（learning rate），它决定了我们沿着能让代价函数下降程度最大的方向向下迈出的步子有多大，在批量梯度下降中，我们每一次都同时让所有的参数减去学习速率乘以代价函数的导数。

对于 $\alpha$ 的取值可以尝试: $\alpha = 0.01, 0.01, 0.1, 0.3, 1, 3, 10$

运用梯度下降法，关键在于求出代价函数的导数,即:
$\frac{\partial}{\partial\theta_{j}}J_{(\theta_{0}, \theta_{1})} = \frac{\partial}{\partial\theta_{j}}\frac{1}{2m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^{2}$

$j = 0$ 时:

$\frac{\partial}{\partial\theta_{j}}J_{(\theta_{0}, \theta_{1})} = \frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})$

$j = 1$ 时:

$\frac{\partial}{\partial\theta_{j}}J_{(\theta_{0}, \theta_{1})} = \frac{1}{m}\sum_{i=1}^{m}((h_{\theta}(x^{(i)})-y^{(i)})x^{(i)})$

特征缩放 Feature Scaling （标准方程法）

保证特征都具有相近的尺度，可以帮助梯度下降算法更快地收敛

$x_{n} = \frac{x_{n} - \mu_{n}}{s_{n}}$

其中 $\mu_{n}$ 是平均值， $s_{n}$ 是标准差

正规方程 Normal Equation

$\theta = (X^{T}X)^{-1}X^{T}y$

对于线性模型，在特征变量的数目并不大的情况下，标准方程是一个很好的计算参数的替代方法。具体地说，只要特征变量数量小于一万，我通常使用标准方程法，而不使用梯度下降法。

逻辑回归

逻辑回归算法是分类算法，我们将它作为分类算法使用。它适用于标签取值离散的情况，如：1 0 0 1。

假设函数 Hypothesis Function

$h_{\theta}(x) = g(\theta^{T}x)$

$z = \theta^{T}x$

$g(z) = \frac{1}{1 + e^{-z}}$

代价函数 Cost Fuction

$J(\theta) = -\frac{1}{m}\sum_{i=1}^{m}[ y^{(i)}\log(h_{\theta}(x^{(i)})) +(1-y^{(i)})\log(1 - h_{\theta}(x^{(i)}))]$

梯度下降

与线性回归一样，同样可以使用批量梯度下降算法来求得是代价函数最小的 $\theta$ :

Repeat {

$\theta_{j} := \theta_{j} - \alpha\frac{1}{m}\sum_{i=1}^{m}((h_{\theta}(x^{(i)})-y^{(i)})x_{j}^{(i)})$

}

相比于线性回归，逻辑回归的预测函数(hypothesis function) $h_{\theta}(x) = g(\theta^{T}x)$ 是完全不同的。

多类别分类: 一对多

可以利用逻辑回归来实现一对多分类，具体思想是:

我们将多个类中的一个类标记为正向类 $(y=1)$ ，然后将其他所有类都标记为负向类，这个模型记作 $h_{\theta}^{(1)}(x)$ 。接着，类似地第我们选择另一个类标记为正向类 $(y=2)$ ，再将其它类都标记为负向类，将这个模型记作 $h_{\theta}^{(2)}(x)$ ,依此类推。最后我们得到一系列的模型简记为: $h_{\theta}^{(i)}(x) = p(y=i|x;\theta)$ 其中： $i=(1,2,3...k)$

最后，在我们需要做预测时，我们将所有的分类机都运行一遍，然后对每一个输入变量，都选择最高可能性的输出变量。

正则化 Regularization

正则化是用来解决模型过拟合(OverFiting)问题的一种方法。它可以保留所有的特征，但是减少参数的大小。

另一种方法是:丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（例如PCA）

正则化线性回归

我们需要在梯度下降是引入正则化项 $\lambda$

$j=1,2...n时$

${\theta_j}:={\theta_j}-a[\frac{1}{m}\sum\limits_{i=1}^{m}{(({h_\theta}({{x}^{(i)}})-{{y}^{(i)}})x_{j}^{\left( i \right)}}+\frac{\lambda }{m}{\theta_j}]$

简化这个公式:

${\theta_j}:={\theta_j}(1-a\frac{\lambda }{m})-\alpha\frac{1}{m}\sum\limits_{i=1}^{m}{({h_\theta}({{x}^{(i)}})-{{y}^{(i)}})x_{j}^{\left(i\right)}}$

可以看出正则化线性回归的梯度下降算法的变化在于:每次都在原有算法更新规则的基础上令 $\theta$ 值减少了一个额外的值

正则化正规方程:

$\theta=(X^TX+\lambda\left[\begin{array}{ccccc}0 &\cdots &\cdots &\cdots &0 \\ 0 &1 &\cdots &\cdots &0\\ \vdots & \vdots & 1 &\cdots & 0\\ \vdots &\vdots &\cdots &\ddots & \vdots \\ 0 & 0 &\cdots &\cdots &1 \end{array}\right])^{-1}X^Ty$

正则化逻辑回归

逻辑回归的正则化的公式与线性回归类似，不过假设函数为 $h_{\theta}(x)=g(\theta^{T}x)$ 。

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 216,692评论 6赞 501
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 92,482评论 3赞 392
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 162,995评论 0赞 353
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,223评论 1赞 292
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,245评论 6赞 388
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,208评论 1赞 299
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,091评论 3赞 418
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,929评论 0赞 274
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,346评论 1赞 311
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,570评论 2赞 333
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,739评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,437评论 5赞 344
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,037评论 3赞 326
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,677评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,833评论 1赞 269
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,760评论 2赞 369
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,647评论 2赞 354

线性回归&逻辑回归&正则化

线性回归

代价函数 Cost Fuction

批量梯度下降 Batch Gradient Descent

特征缩放 Feature Scaling （标准方程法）

正规方程 Normal Equation

逻辑回归

假设函数 Hypothesis Function

代价函数 Cost Fuction

梯度下降

多类别分类: 一对多

正则化 Regularization

正则化线性回归

正则化逻辑回归

推荐阅读更多精彩内容