线代-奇异值

特征值，特征向量，相似性，对角化，对称矩阵，正交对角化等系列概念均基于方阵提出。

而现实中通常要处理的矩阵都属于长方阵形式。
对于一个 $m \times n$ 的非方阵 $A$ 来说，可以通过 $A^TA$ 方式构造一个对称的 $n\times n$ 的方阵；

对于 $A^TA$ 来说

其第 $i$ 行 $j$ 列的元素 $a_{ij}\ \ \$ 是 $A^T$ 的第 $i$ 行点乘 $A$ 的第 $j$ 列的结果 $\leftrightarrow$ 也即 $A$ 的 $i$ 列 $\cdot j$ 列

其第 $j$ 行 $i$ 列的元素 $a_{ji}\ \ \$ 是 $A^T$ 的第 $j$ 行点乘 $A$ 的第 $i$ 列的结果 $\leftrightarrow$ 也即 $A$ 的 $j$ 列 $\cdot i$ 列

$\therefore a_{ij} =$ a_{ji}$

因此，若 $A$ 是一个 $m \times n$ 的矩阵，则 $A^TA$ 将得到一个对称的 $n \times n$ 方阵，
从而 $A^TA$ 可以被正交对角化，拥有 $n$ 个实数特征值， $n$ 个互相垂直的标准特征向量(模等于1)
$\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \lambda_1,\lambda_2,\lambda_3,... \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \vec v_1,\vec v_2,\vec v_3,...$

取出方阵 $A^TA$ 的某一特征值 $\lambda _i$ 与其对应的一个标准特征向量 $\vec v_i$ ,存在如下联系:
$\|A \cdot \vec v_i\|^{2} = (A \vec v_i)\cdot (A \vec v_i) = (A \vec v_i)^{T} (A \vec v_i) = \vec v_i^{T} A^T A \vec v_i$
$\because \vec v_i$ 是方阵 $A^TA$ 的一个标准特征向量
$\therefore \vec v_i^{T} A^T A \vec v_i = \vec v_i^{T} \lambda _i \vec v_i = \lambda _i \vec v_i^T\vec v_i = \lambda _i \|\vec v_i\|^{2} = \lambda _i$

$\therefore \|A \cdot \vec v_i\|^{2} = \lambda _i$ ，同时表明方阵 $A^TA$ 的特征值 $\lambda _i \ge 0$

推出奇异值(Singular Value) $\therefore \sigma _i = \sqrt { \|A \cdot \vec v_i\|^{2} } = \sqrt {\lambda _i}$ ，奇异值表示了 $A\vec v_i$ 的长度。

根据矩阵的行空间与列空间一章,对于一个 $m \times n$ 的矩阵 $A$ ，其列空间将由矩阵内线性无关的列向量组生成( $dim (Colspace) \le m$ )。在这里，向量组 $\{A\vec v_i\}$ 构成矩阵 $A$ 列空间的一组正交基( $\lambda _i \ne 0$ )

① 正交性证明
取出 $\{A\vec v_i\}$ 中的两个基向量 $A\vec v_i , A\vec v_j$
$(A\vec v_i)(A\vec v_j) = (A\vec v_i)^T(A\vec v_j) =\vec v_i^TA^TA\vec v_j = \vec v_i^T(\lambda _j\vec v_j) = \lambda _j \vec v_i^T\vec v_j = \lambda _j(\vec v_i\vec v_j)=0$

② 证明 $\{A\vec v_i\}$ 是 $A$ 的一组正交基
方阵 $A^TA$ 的 $n$ 个标准特征向量组 $\{\vec v_1,\vec v_2,...,\vec v_n\}$ 构成 $n$ 维空间的一组基，则该空间内任意向量 $\vec x = k_1\vec v_1 + k_2\vec v_2 + ... + k_n\vec v_n$
对于 $A$ 的列空间(维度 $\le m$ )中的向量 $\vec y$ (含有 $m$ 个元素)，可以在一个 $n$ 维空间中寻找一个 $\vec x$ ，从而表示为 $\vec y = A \cdot \vec x$ 的结果( $m\times n \cdot n\times 1 = m$ )。
$\therefore \vec y = A \cdot \vec x = A\cdot k_1\vec v_1 + A\cdot k_2\vec v_2 + ... + A\cdot k_n\vec v_n = k_1A\vec v_1 + k_2A\vec v_2 + ... + k_nA\vec v_n$

而 $k_1A\vec v_1 + k_2A\vec v_2 + ... + k_nA\vec v_n$ 就是 $\{A\vec v_i\}$ 向量组的线性组合，由于 $\lambda _i = 0 \rightarrow \sqrt { \|A \cdot \vec v_i\|^{2} } \rightarrow A\vec v_i =O$ ，从而使 $\{A\vec v_i\}$ 向量组内存在线性相关组，所以刨去了 $\lambda _i = 0$ 这个因素之后，得到的 $\{A\vec v_i\}$ 向量组内的所有向量将构成正交关系[①中已证明]，形成矩阵 $A$ 的列空间的一组正交基。
在处理奇异值的时候，通常按从大到小的顺序排列 $\sigma _i$ ，从而去掉等于 $0$ 的奇异值。

如果 $A$ 由 $r$ 个不为零的奇异值，则 $\{A\vec v_1,A\vec v_2,...,A\vec v_r\}$ 是 $A$ 的列空间的一组正交基
$A$ 的列空间的维度为 $r$ ； $rank(A) = r$
$A$ 的列空间的一组标准正交基将描述为 $\{ \frac {A\vec v_1}{\sigma _1}\, \frac {A\vec v_2}{\sigma _2}\,..., \frac {A\vec v_r}{\sigma _r}\}$ ;
进一步简化表述 $\vec u_i = \frac {A\vec v_i}{\sigma _i}\ \ \ \{\vec u_1,\vec u_2,...,\vec u_r \}$ 在这里可以看到 $\sigma = 0$ 等式将无意义。
使用向量组 $\{\vec u_1,\vec u_2,...,\vec u_r \}$ 能更方便的表示一个矩阵。

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 216,496评论 6赞 501
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 92,407评论 3赞 392
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 162,632评论 0赞 353
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,180评论 1赞 292
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,198评论 6赞 388
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,165评论 1赞 299
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,052评论 3赞 418
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,910评论 0赞 274
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,324评论 1赞 310
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,542评论 2赞 332
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,711评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,424评论 5赞 343
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,017评论 3赞 326
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,668评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,823评论 1赞 269
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,722评论 2赞 368
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,611评论 2赞 353

线代-奇异值

推荐阅读更多精彩内容