第30课奇异值分解

奇异值分解：简称 $SVD$ ，是矩阵最终和最好的分解，分解的因子是正交矩阵，对角矩阵，正交矩阵，任意矩阵都有这种奇异值分解

对称正定矩阵性质，由于对称，它们的特征向量是正交的
$\begin{eqnarray} A=Q\Lambda Q^T \tag{1}\\ A=S\Lambda S^{-1} \tag{2} \end{eqnarray}$
因为 $S$ 不正交，所以不研究这种情况

$(1)$ 式分解是怎么来的？该分解说明什么？

在行空间中找个典型向量 $\vec {v_1}$ ，然后变换到列空间的某向量 $\vec{u_1}$ ，所以 $u_1=Av_1$

行空间中的一个向量变换到列空间的某处，要找到行空间的一组正交基，变换到列空间一组正交基

首先在行空间找到一组正交基，通过格接姆-施密特正交法
$A\begin{bmatrix}v_1&v_2&\dots&v_r\end{bmatrix}= \begin{bmatrix}u_1&u_2&\dots&u_r\end{bmatrix} \begin{bmatrix}\sigma_1&&&\\&\sigma_2&&\\&&\ddots&\\&&&\sigma_r\end{bmatrix}$

$A=\begin{bmatrix}4&4\\-3&3\end{bmatrix}$

$v$ 与 $u$ 标准正交， $\sigma$ 为缩放因子，是需要求的

如果零空间存在，找出一组基
$目标\begin{cases}Av_1=\sigma_1u_1\\Av_2=\sigma_2u_2\end{cases} \\ \begin{eqnarray} Av=u\varepsilon \to A=u\varepsilon v^{-1}=u\varepsilon v^T \tag{3} \end{eqnarray}\\ \underbrace{B=A^TA}_{对称且正定}= \overbrace{v\underbrace{\varepsilon^T}_{对角阵}u^T}^{A^T} \overbrace{u\underbrace{\varepsilon}_{对角阵} v^T}^{A} = v\varepsilon^2v^T = \underbrace{v}_{特征向量} \underbrace{\begin{bmatrix}\sigma_1^2&&\\&\ddots&\\&&\sigma_r^2\end{bmatrix}}_{特征值} \underbrace{v^T}_{特征向量} = Q\Lambda Q^T \\ \to A^TA = Q\Lambda Q^T\\ v是B的特征向量$
如何找出 $u$ ？
$\begin{eqnarray} C=AA^T=u\varepsilon v^Tv\varepsilon^Tu^T = u\varepsilon^2u^T= \underbrace{u}_{特征向量} \underbrace{\begin{bmatrix}\sigma_1^2&&\\&\ddots&\\&&\sigma_r^2\end{bmatrix}}_{特征值} \underbrace{u^T}_{特征向量} \tag{4} \end{eqnarray}\\ u是C的特征向量$

$A^TA = \begin{bmatrix}4&-3\\4&3\end{bmatrix}\begin{bmatrix}4&4\\-3&3\end{bmatrix}= \begin{bmatrix}25&7\\7&25\end{bmatrix} = B$
$B$ 的特征向量：
$v_1=\begin{bmatrix}1\\1\end{bmatrix}, v_2=\begin{bmatrix}1\\-1\end{bmatrix} 单位化 \to \begin{bmatrix}\frac{1}{\sqrt{2}}\\\frac{1}{\sqrt{2}}\end{bmatrix}, \begin{bmatrix}\frac{1}{\sqrt{2}}\\-\frac{1}{\sqrt{2}}\end{bmatrix}$

$Bv_1=\lambda_1v_1 \to \begin{bmatrix}25&7\\7&25\end{bmatrix}\begin{bmatrix}1\\1\end{bmatrix} = \lambda_1\begin{bmatrix}1\\1\end{bmatrix} \to \begin{bmatrix}25+7=32\\7+25=32\end{bmatrix} = 32\begin{bmatrix}1\\1\end{bmatrix} \to \lambda_1=32\\ Bv_2=\lambda_2v_2 \to \begin{bmatrix}25&7\\7&25\end{bmatrix}\begin{bmatrix}1\\-1\end{bmatrix}= \lambda_2\begin{bmatrix}1\\-1\end{bmatrix} \to \begin{bmatrix}25-7=18\\7-25=-18\end{bmatrix} = 18\begin{bmatrix}1\\-1\end{bmatrix} \to \lambda_2=18$

$A=u\varepsilon v^T = \underbrace{\begin{bmatrix}1&0\\0&1\end{bmatrix}}_{u} {\underbrace{\begin{bmatrix}\sqrt{32}&0\\0&\sqrt{18}\end{bmatrix}}_{\varepsilon}}^2 \underbrace{ \begin{bmatrix} \frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}} \end{bmatrix} }_{v^T}$

$AA^T=\begin{bmatrix}4&4\\-3&3\end{bmatrix}\begin{bmatrix}4&-3\\4&3\end{bmatrix}= \begin{bmatrix}32&0\\0&18\end{bmatrix} = C$

因为 $AB$ 与 $BA$ 的特征值相同 , $C$ 的特征值特征 $\lambda_1=32,\lambda_2=18$
$代入(4)式得 \to \begin{bmatrix}32&0\\0&18\end{bmatrix} = u\begin{bmatrix}32&0\\0&18\end{bmatrix}u^T$

例2

待补。。。

以上2个例子总结：

在线性代数的4 个子空间中选出合适的基，

$v_1到v_r$ ，是行空间的标准正交基(维数是秩 $r$ )

$u_1到u_r$ ，是列空间的标准正交基(维数是秩 $r$ )

然后用 $v_{r+1}到v_n$ ，它们是零空间的标准正交基(维数 $n-r$ )

$u_{r+1}到u_m$ ，它们是 $A^T$ 零空间的标准正交基(维数m-r)

然后需要用到特征值，因为这些基使得矩阵 $A$ 对角化，并且 $Av_i=\sigma_iu_i$ ，当我们选择基的时候，向量 $v$ 之间没有耦合的， $u$ 中也没有耦合的， $A$ 乘以每个 $v$ 对应一个 $u$ 的方向，因此，它们是这四个基本子空间的合适的基

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 213,186评论 6赞 492
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 90,858评论 3赞 387
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 158,620评论 0赞 348
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 56,888评论 1赞 285
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 66,009评论 6赞 385
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,149评论 1赞 291
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,204评论 3赞 412
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 37,956评论 0赞 268
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,385评论 1赞 303
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,698评论 2赞 327
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 38,863评论 1赞 341
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,544评论 4赞 335
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,185评论 3赞 317
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,899评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,141评论 1赞 267
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,684评论 2赞 362
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,750评论 2赞 351

第30课 奇异值分解

推荐阅读更多精彩内容

第30课奇异值分解