图解机器学习读书笔记-CH3:二乘法

本文主要介绍最小二乘法原理, 线性模型中的应用, 最小二乘解的本质以及在大规模数据集上的求解方法.

1. 最小二乘法介绍

对模型均方误差最小化时的参数 $\theta$ 学习的方法.
均方误差:
$J_{LS}(\theta) = \frac{1}{2}\sum_{i=1}^n(f_\theta(x_1)-y_i)^2$

LS: Least Squares
学习目标:
$\hat\theta_{LS} = \underset{\theta}{\arg\min}J_{LS}(\theta)$

平方误差 $(f_\theta(x_i)-y_i)^2$ 是残差 $|f_\theta(x_i)-y_i|$ 的 $L2$ 范数, 最小二乘法也称 $L_2$ 损失最小化学习法

加权最小二乘法
对训练样本平方差通过权重 $w_i$ 加权, 再使用最小二乘法:
$\underset{\theta}{min}\frac{1}{2}\sum_{i=1}^nw_i(f_\theta(x_i)-y_i)^2$

核模型的最小二乘法求解:
$f_\theta(x) = \sum_{j=1}^n\theta_jK(x,x_j)$
上式, 将设计矩阵 $\Phi$ 置换为核矩阵K:
$K = \begin{pmatrix} K(x_1,x1) &\cdots &K(x_1,x_n) \\ \vdots &\ddots & \vdots \\ K(x_n,x_1) &\cdots & K(x_n,x_n) \end{pmatrix}$

2. 线性模型LS

$f_\theta(x) = \sum_{j=1}^b\theta_i\phi_i(\mathbf x) = \theta^T\phi(x)$

平方误差:
$J_{LS}(\theta) = \frac{1}{2}\|\Phi \mathbf \theta-\mathbf y\|^2$

$\Phi$ 构成的nxb阶设计矩阵:
$\Phi = \begin{pmatrix} \phi_1(x_1) &\cdots &\phi_b(x_1) \\ \vdots &\ddots &\vdots \\ \phi_1(x_n) &\cdots &\phi_b(x_n) \\ \end{pmatrix}$

关于参数向量 $\theta$ 的偏微分:
$\nabla \theta_{LS} = (\frac{\partial J_{LS}}{\partial \theta_1}, \cdots, \frac{\partial J_{LS}}{\partial \theta_b})= \Phi^T\Phi\theta-\Phi^T\mathbf y$
$\nabla \theta_{LS}=0$ 时 $J_{LS}(\theta)$ 取得最小值, 此时最小二乘解满足 $\Phi^T\Phi \theta=\Phi^T\mathbf y$

解得:
$\hat \theta_{LS} = (\Phi^T\Phi)^{-1}\Phi^Ty$

注: 只有 $\Phi^T\Phi$ 有逆矩阵时上式才成立

广义逆矩阵: 是对逆矩阵的推广, 只有方阵, 非奇异矩阵才有逆矩阵, 单矩形矩阵或奇异矩阵都可以定义广义逆矩阵
令广义逆矩阵为:
$\Phi^{\dagger} = (\Phi^T\Phi)^{-1}\Phi^T$
, 则 $\hat \theta_{LS}$ 可写为:
$\hat \theta_{LS} = \Phi ^{\dagger}y$

最小二乘法学习基于三角多项式基函数的线性模型:

image.png

3.最小二乘法解的性质

设计矩阵 $\Phi$ 的奇异值分解:

$\phi = \sum_{k=1}^{min(n,b)}\kappa_k\psi_{k} \varphi_k^T$

$\kappa_k, \psi_{k}, \varphi_k$ 分别称为奇异值, 左奇异向量, 右奇异向量.

奇异值非负
奇异向量满足正交性

$\Phi$ 的广义逆矩阵:
$\Phi^{\dagger} =\sum_{k=1}^{min(n,b)}\kappa_k^{\dagger}\psi_{k} \varphi_k^T$

$\kappa _k^{\dagger}$ 是标量 $\kappa$ 的广义逆矩阵, $\kappa^{\dagger} = \frac{1}{\kappa} (\kappa \neq 0时)$

最小二乘解表示为:
$\hat \theta_{LS}= \sum_{k=1}^{min(n,b)}\kappa_k^{\dagger}(\psi_{k}^Ty) \varphi_k$

模型输出向量变换为列向量:
$(f_{\hat \theta_{LS}}(x_1), \cdots, f_{\hat \theta_{LS}}(x_n))^T = \Phi\hat \theta_{LS} = \Phi\Phi^{\dagger}\mathbf{y}$

因此, $\Phi\Phi^{\dagger}$ 是 $\Phi$ 的正交投影矩阵, 最小二乘法输出向量 $\mathbf y$ 是值域 $R(\Phi)$ 的正交投影得到的.

带入真实函数中的参数 $\theta^*$ :
$(f(x_1), \cdots, f(x_n))^T = \Phi \theta^*$
可知, 真的输出值向量就存在于 $R(\Phi)$ 中

结论: 用最小二乘法的向量若是由 $R(\Phi)$ 的正投影得到的, 则可以有效去除y中的噪音:

image.png

噪声期望为0是, $\hat \theta_{LS}$ 就是真是参数 $\theta^*$ 的无偏估计:
$E[\hat \theta_{LS}] = \theta^*$
上式, E为噪声的期望

渐近无偏性:
增加训练样本n, 上式 $E[\hat \theta_{LS}]$ 会向着模型中最优参数方向收敛的性质

4. 大规模学习

一般线性模型 $J_{LS}$ 为凸函数.
凸函数: 连接人意两点 $\theta_1,\theta_2$ 的线段一定在函数上不:

image.png

凸函数只有一个峰值,因此通过梯度法一定可以得到均方差 $J_{LS}$ 在值域范围内的全局最优解

梯度法的收敛速度强烈依赖梯度下降步长, 以及收敛结果判定方式(提前终止).

最后编辑于：2018.09.30 01:58:10

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 219,635评论 6赞 508
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 93,628评论 3赞 396
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 165,971评论 0赞 356
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,986评论 1赞 295
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 68,006评论 6赞 394
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,784评论 1赞 307
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,475评论 3赞 420
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 39,364评论 0赞 276
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,860评论 1赞 317
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 38,008评论 3赞 338
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 40,152评论 1赞 351
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,829评论 5赞 346
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,490评论 3赞 331
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 32,035评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 33,156评论 1赞 272
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 48,428评论 3赞 373
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 45,127评论 2赞 356

图解机器学习读书笔记-CH3:二乘法

1. 最小二乘法介绍

2. 线性模型LS

3.最小二乘法解的性质

4. 大规模学习

推荐阅读更多精彩内容