机器学习中的正交和投影小结

首先回顾一下高等数学里的向量相关知识.

1. 向量的模,方向角和投影

向量的模和两点间距离公式

如图, 设向量 $r=(x,y,z)$ , 作 $\vec {OM}=r$ , 有 $r=\vec {OM}+\vec{OQ}+\vec{OR}$
根据勾股定理得:
$|r| = |OM| = \sqrt{|OP|^2+|OQ|^2+|OR|^2}$

由 $|OP|=|x|, |OQ|=|y|,|OR|=|z|$ 得向量模的坐标表达式: $|r|=\sqrt{x^2+y^2+z^2}$

设点 $A(x_1,y_1,z_1)$ , $B(x_2,y_2,z_2)$ , 则 $|AB|$ 就是向量 $\vec {AB}$ 的模:

$|AB|=|\vec{AB}|=\sqrt{(x2-x1)^2+(y_2-y_1)^2+(z_2-z_1)^2}$

方向角和方向余弦

如图, 非零向量r和坐标轴夹角 $\alpha, \beta, \gamma$ 称为向量r的方向角, 设 $\vec{OM}=r=(x,y,z)$ , $MP\perp OP$ , 故向量 $r$ 的方向余弦: $cos \alpha = \frac{x}{|OM|}=\frac{x}{|r|}$ , 同理, $cos \beta = \frac{y}{|r|}$ , $cos \gamma = \frac{z}{|r|}$ , 从而:
$(\cos \alpha, cos \beta, cos \gamma) = \frac{1}{|r|}(x,y,z) = \frac{r}{|r|} = \vec e$

向量r在轴上的投影

如图, 设点O和单位向量 $\vec{e}$ 确定u轴, 作 $\vec{OM}=\vec{r}$ , 作点M在u轴投影M', 则向量 $\vec{OM'}$ 是向量 $\vec{OM}$ 在u轴的分向量, 设 $\vec{r}=\vec{OM'}=\lambda \vec{e}$ , 则数 $\lambda$ 是 $\vec{OM}$ 在u轴的投影, 记作: $(\vec{r})_u$ , 且:
$(\vec{r})_u=|\vec{r}|cos \phi$

现在, 将u轴看成向量 $\vec{u}$ , 由向量 $\vec{r}$ 和向量 $\vec{u}$ 的积 $\vec{r}\cdot\vec{u}= |r||u|cos \phi$ 得而这夹角余弦值:
$cos \phi = \frac{\vec{r} \cdot \vec{ u}}{|\vec r||\vec u|}$
上式重要结论(SVM中会用到):

余弦公式满足尺度不变性；如果b的长度加倍，那么分子和分母均加倍，余弦值保持不变。

$(\vec{r})_u = |\vec{r}|cos \phi$

机器学习中的正交和投影

满足内积为零即 $x^Ty=0$ 的向量是正交的. 注: 写向量符号 $\vec x$ 有点繁琐, 后面省略了!
现在我们考虑内积不为零的情况，即x和y向量夹角不是直角.

投影到直线

上面从几何的角度证明过了, 向量 $\vec{r}$ 在向量 $\vec{u}$ 上的投影: $(\vec{r})_u = \hat{x}|u|$ , 其中 $\hat{x}= \frac{\vec{r}\cdot \vec{u}}{\vec{r}^\top\vec{r}}$

下面用从向量角度证明一下:

如图, 求求点b在向量u所在轴的投影p, $|\vec{b}-\vec{p}|$ 即为所求距离. 由此可以看出:

虽然a,b不是正交的，但是碰到距离问题我们自动往正交方向去想.

如图, 求 $\vec{b}$ 在 $\vec{a}$ 所在直线的投影.
设b在a直线上的投影为 $p = \hat{x}a$ , 作直线a的垂线直线e, 则: $\vec{e}=\vec{b}-\vec{p}$
$\because \vec{e} \cdot \vec{a} = (\vec{b} - \hat{x}\vec{a})\cdot \vec{a} = 0 \Rightarrow \hat{x} = \frac{\vec{a}\cdot \vec{b}}{\vec{a}^\top \cdot \vec{a}}$
故, 向量b在向量a上的投影 $(\vec{b})_a= \hat{x} \vec a = \frac{\vec{a}\cdot \vec{b}}{\vec{a}^T \vec{a}}\cdot \vec{a}$

秩为1的投影矩阵

投影矩阵定义: 若投影 $\vec p$ , 向量 $\vec b$ , 矩阵P满足: $\vec p = P\vec b$ , 则P为投影矩阵.

上面证明了, $\vec b$ 在直线a上的投影 $\vec p= \hat x \vec a$ , 其中, $\hat x = \frac{\vec a^T \vec b}{\vec a^T\vec a}$ .
将上式改写一下 $\vec p = \vec{a} \frac{\vec a^T \vec b}{\vec a^T\vec a} = \frac{\vec {a} \vec{a}^T}{\vec a^T\vec a} \vec b$ ,
可以看出, 投影矩阵:
$P = \frac{\vec a\vec a^T}{\vec a^T\vec a}$
我们会看到这个矩阵有两个典型的性质：

P是一个对称矩阵。
它的平方等于它自身：P2=P。

投影到子空间

又是一个距离问题,我们往正交方向也就是投影上靠.

如图, 即求点b在子空间S上的投影p, 则 $|\vec b - \vec p|$ 就是所求距离.

疑问:

这个投影是来自于实际应用吗？

如果我们知道子空间S的一个基，那么有没有一个公式来表示投影p ？

下面引出最小二乘问题.

最小二乘

Ax=b要么有解要么无解，如果b 不在列空间C(A) 里

参考

最后编辑于：2018.09.29 11:13:09

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 218,036评论 6赞 506
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 93,046评论 3赞 395
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 164,411评论 0赞 354
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,622评论 1赞 293
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,661评论 6赞 392
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,521评论 1赞 304
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,288评论 3赞 418
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 39,200评论 0赞 276
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,644评论 1赞 314
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,837评论 3赞 336
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,953评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,673评论 5赞 346
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,281评论 3赞 329
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,889评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 33,011评论 1赞 269
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 48,119评论 3赞 370
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,901评论 2赞 355