线性代数基础

标量

定义

一个单独的数

表示

斜体小写字母： $a$
希腊字母： $\alpha$

向量

定义

具有大小（magnitude）和方向的量

表示

粗体小写字母： $\boldsymbol{x}$
粗体希腊字母： $X$
箭头表示： $\vec{X}$
元素： $x_{i}$

模

$|\overrightarrow{\mathbf{a}}|=\sqrt{\mathbf{x}_{1}^{2}+\mathbf{x}_{2}^{2}+\cdots+\mathbf{x}_{\mathrm{N}}^{2}}$

范数

在一个 $n$ 维线性空间 $V$ 中，若对于任意向量 $\mathrm{x} \in \mathrm{V}$ ,均有非负实数 $\|\mathbf{X}\|$ ,并且其满足下列三个条件:

（非负性）: $\|\mathrm{x}\| \geq 0$ 当且仅当 $\mathrm{x}=0$ 时 $\|x\|=0$
（齐次性）: $\|\lambda \mathrm{x}\|=|\lambda| \cdot\|x\|$
（三角不等式）: $\|\mathrm{x}+\mathrm{y}\| \leq\|x\|+\|y\| ; x, y \in V$

则称 $\|X\|$ 是向量 $x$ 的向量范数。

1-范数

$\|\overrightarrow{\mathbf{x}}\|_{1}=\sum\left|\mathbf{x}_{\mathbf{i}}\right|$
$\|x\|_{1}=\sum_{i=1}^{n}\left|x_{i}\right|$

2-范数（欧式范数）

$\|\overrightarrow{\mathbf{x}}\|_{2}=\sqrt{\mathbf{x}_{1}^{2}+\mathbf{x}_{2}^{2}+\cdots+\mathbf{x}_{\mathrm{N}}^{2}}$
$\|x\|_{2}=\sqrt{\sum_{i=1}^{n} x_{i}^{2}}$

∞-范数（无穷范数）

$\|\overrightarrow{\mathbf{x}}\|_{\infty}=\max \left|\mathbf{x}_{\mathbf{i}}\right|$
$\|x\|_{n}=\max \left|x_{i}\right|$

运算

加法

$\left[\begin{array}{c}{x_{1}} \\ {\vdots} \\ {x_{n}}\end{array}\right]+\left[\begin{array}{c}{y_{1}} \\ {\vdots} \\ {y_{n}}\end{array}\right]=\left[\begin{array}{c}{x_{1}+y_{1}} \\ {\vdots} \\ {x_{n}+y_{n}}\end{array}\right]$

$\left[\begin{array}{llll}{x_{1}} & {\cdots} & {x_{n}}\end{array}\right]+\left[\begin{array}{lll}{y_{1}} & {\cdots} & {y_{n}}\end{array}\right]=\left[\begin{array}{llll}{x_{1}+y_{1}} & {\cdots} & {x_{1}+y_{n}}\end{array}\right]$

数乘

$\boldsymbol{c} \cdot\left[\begin{array}{c}{\boldsymbol{x}_{1}} \\ {\vdots} \\ {\boldsymbol{x}_{\boldsymbol{n}}}\end{array}\right]=\left[\begin{array}{c}{\boldsymbol{c} \cdot \boldsymbol{x}_{1}} \\ {\vdots} \\ {\boldsymbol{c} \cdot \boldsymbol{x}_{\boldsymbol{n}}}\end{array}\right]$

$c \cdot\left[\begin{array}{lll}{x_{1}} & {\cdots} & {x_{n}}\end{array}\right]=\left[\begin{array}{lll}{c \cdot x_{1}} & {\cdots} & {c \cdot x_{n}}\end{array}\right]$

点积

$\vec{a}=\left[a_{1,} a_{2} \cdots a_{n}\right]$
$\vec{b}=\left[b_{1}, b_{2}, \cdots, b_{n}\right]$

定义

$\vec{a} \cdot \vec{b}=\sum_{i=1}^{n} a_{i} b_{i}=a_{1} b_{1}+a_{2} b_{2}+\cdots+a_{n} b_{n}$

$\vec{a} \cdot \vec{b}=\left|\vec{a} \cdot \vec{b}^{\mathrm{T}}\right|$

几何定义

$\overrightarrow{\mathbf{a}} \cdot \overrightarrow{\mathbf{b}}=|\mathbf{a}||\mathbf{b}| \cos \theta$

高维

$\langle\overrightarrow{\mathbf{a}}, \overrightarrow{\mathbf{b}}\rangle=\sum_{i=1}^{\mathbf{n}} \mathbf{a}_{\mathbf{i}} \mathbf{b}_{\mathbf{i}}$

矩阵

机器学习基础公式

$y=f(x)=x w^{T}+b$

定义

二维数组

表示

$\left[\begin{array}{ccc}{a_{11}} & {\cdots} & {a_{1 N}} \\ {\vdots} & {\ddots} & {\vdots} \\ {a_{M 1}} & {\cdots} & {a_{M N}}\end{array}\right]$

大写字母： $\mathrm{A}$
m×n 矩阵 A： $\mathrm{A}_{m n}$

运算

加法

对应元素相加

$A+B=C \Rightarrow a_{i j}+b_{i j}=c_{i j}$

$\left[\begin{array}{ccc}{a_{11}} & {\cdots} & {a_{1 N}} \\ {\vdots} & {\ddots} & {\vdots} \\ {a_{M 1}} & {\cdots} & {a_{M N}}\end{array}\right]+\left[\begin{array}{ccc}{b_{11}} & {\cdots} & {b_{1 N}} \\ {\vdots} & {\ddots} & {\vdots} \\ {b_{M 1}} & {\cdots} & {b_{M N}}\end{array}\right]=\left[\begin{array}{ccc}{a_{11}+b_{11}} & {\cdots} & {a_{1 N}+b_{1 N}} \\ {\vdots} & {\ddots} & {\vdots} \\ {a_{M 1}+b_{M 1}} & {\cdots} & {a_{M N}+b_{M N}}\end{array}\right]$

基本性质

交换率： $(\boldsymbol{A}+\boldsymbol{B})+\boldsymbol{C}=\boldsymbol{A}+(\boldsymbol{B}+\boldsymbol{C})$
结合率： $\boldsymbol{A}+\boldsymbol{B}=\boldsymbol{B}+\boldsymbol{A}$

乘法

$\mathrm{A}_{m n}$

$\mathrm{B}_{n p}$

$\boldsymbol{A}$ 的列数与 $\boldsymbol{B}$ 的行数相等

$\mathrm{C}_{m p}$

$C=A B$

$C_{i j}=\sum_{k} A_{i k} B_{k j}$

$A=\left[\begin{array}{ccc}{a_{11}} & {\cdots} & {a_{1 N}} \\ {\vdots} & {\ddots} & {\vdots} \\ {a_{M 1}} & {\cdots} & {a_{M N}}\end{array}\right]$

$B=\left[\begin{array}{ccc}{b_{11}} & {\cdots} & {b_{1 P}} \\ {\vdots} & {\ddots} & {\vdots} \\ {b_{N 1}} & {\cdots} & {b_{N P}}\end{array}\right]$

$C=\left[\begin{array}{ccc}{c_{11}} & {\cdots} & {c_{1 P}} \\ {\vdots} & {\ddots} & {\vdots} \\ {c_{M 1}} & {\cdots} & {c_{M P}}\end{array}\right]$

$c_{i j}=a_{i 1} b_{1 j}+\cdots+a_{i m} b_{m j}=\sum_{k=1}^{m} a_{i k} b_{k j}$

矩阵乘法一般不满足交换律

转置

$\boldsymbol{A}^{\top}$

定义

$\left(\boldsymbol{A}^{\top}\right)_{i, j}=A_{j, i}$

特殊矩阵

单位矩阵

$\left[\begin{array}{lll}{1} & {0} & {0} \\ {0} & {1} & {0} \\ {0} & {0} & {1}\end{array}\right]$

零矩阵 / 全0矩阵

$\left[\begin{array}{lll}{0} & {0} & {0} \\ {0} & {0} & {0} \\ {0} & {0} & {0}\end{array}\right]$

全1矩阵

$\left[\begin{array}{lll}{1} & {1} & {1} \\ {1} & {1} & {1} \\ {1} & {1} & {1}\end{array}\right]$

对角矩阵

$\left[\begin{array}{ccc}{a_{11}} & {0} & {0} \\ {0} & {a_{22}} & {0} \\ {0} & {0} & {a_{33}}\end{array}\right]$

上三角矩阵

$\left[\begin{array}{ccc}{a_{11}} & {a_{21}} & {a_{31}} \\ {0} & {a_{22}} & {a_{32}} \\ {0} & {0} & {a_{33}}\end{array}\right]$

下三角矩阵

$\left[\begin{array}{lll}{a_{11}} & {0} & {0} \\ {a_{12}} & {a_{22}} & {0} \\ {a_{13}} & {a_{23}} & {a_{33}}\end{array}\right]$

基本性质

乘法结合律： $\left(\boldsymbol{A B}\right)\boldsymbol{C}=\boldsymbol{A}\left(\boldsymbol{B C}\right)$
乘法左分配律： $\left(\boldsymbol{A+B}\right)\boldsymbol{C}=\boldsymbol{A C}+\boldsymbol{BC}$
乘法右分配律： $\boldsymbol{C}\left(\boldsymbol{A+B}\right)=\boldsymbol{C A}+\boldsymbol{CB}$
对数乘的结合性： $k\left(\boldsymbol{A B}\right)=\left(k\boldsymbol{A}\right)\boldsymbol{B}=\boldsymbol{A}\left(k\boldsymbol{B}\right)$
转置 $\left(\boldsymbol{A B}\right)^{\top}=\boldsymbol{B}^{\top}\boldsymbol{A}^{\top}$

线性相关

向量空间的一组元素中，若没有向量可用有限个其他向量的线性组合所表示，则称为 线性无关 或 线性独立，反之称为 线性相关(linearly dependent)。

结论

含有零向量的向量组一定线性相关
单位向量组线性无关

秩

向量组的秩

一个向量组 $A$ 的秩是 $A$ 的线性无关的向量的个数

矩阵的秩

如果把一个向量组看成一个矩阵，则向量组的秩就是矩阵的秩

范数

在一个 $n*m$ 维线性空间 $V$ 中，若对于任意矩阵 $\mathrm{A} \in \mathrm{V}$ ,均有非负实数 $\|\mathbf{A}\|$ ,并且其满足下列四个条件:

（非负性）: $\|A\| \geq 0$ 当且仅当 $A=0$ 时 $\|A\|=0$
（齐次性）: $\|\lambda \mathrm{A}\|=|\lambda| \bullet\|A\|$
（三角不等式）: $\|\mathrm{A}+\mathrm{B}\| \leq\|\mathrm{A}\|+\|\mathrm{B}\| ; \mathrm{A}, \mathrm{B} \in V$
（相容性）: $\|A B\| \leq\|A\| \bullet\|B\| ; A, B \in V$

则称 $\|A\|$ 是向量 $A$ 的向量范数。

1-范数（列范数）

$\|A\|_{1}=\max _{1 \leq j \leq n} \sum_{i=1}^{n}\left|a_{i j}\right|$

∞-范数（行范数）

$\|A\|_{\infty}=\max _{1 \leq i \leq n} \sum_{j=1}^{n}\left|a_{i j}\right|$

2-范数

$\|A\|_{2}=\sqrt{\lambda_{\max }\left(A^{T} A\right)}$

$\lambda_{\max }\left(A^{T} A\right)$ 为 $A^{T} A$ 的特征值的绝对值的最大值

范数作用

计算向量/矩阵相似程度
计算向量距离

迹

在线性代数中，一个 $n \times n$ 的矩阵的迹（或迹数），是指的 主对角线（从左上方至右下方的对角线）上各个元素的总和，一般记作或 $\operatorname{tr}(\mathbf{A})$ ：

$\operatorname{tr}(\mathbf{A})=\mathbf{A}_{1,1}+\mathbf{A}_{2,2}+\cdots+\mathbf{A}_{n, n}$

一个矩阵的迹是其 特征值 的总和（按代数重数计算）。

线性变换

n 个向量 $x_{1}, x_{2}, \cdots, x_{n}$ 与 m 个向量 $\boldsymbol{y}_{1}, \boldsymbol{y}_{2}, \cdots, \boldsymbol{y}_{m}$ 之间的关系

$\left\{\begin{aligned} y_{1} &=a_{11} x_{1}+a_{12} x_{2}+\cdots+a_{1 n} x_{n} \\ y_{2} &=a_{21} x_{1}+a_{22} x_{2}+\cdots+a_{2 n} x_{n} \\ & \ldots \ldots \ldots \ldots \ldots \ldots \ldots \ldots \ldots \\ y_{m} &=a_{m 1} x_{1}+a_{m 2} x_{2}+\cdots+a_{m n} x_{n} \end{aligned}\right.$

表示从一个变量 $x_{1}, x_{2}, \cdots, x_{n}$ 到变量 $y_{1}, y_{2}, \cdots, y_{m}$ 的线性变换。

其中

$a_{i j}$ 为常数
$\boldsymbol{n} \neq \boldsymbol{m}$

$A=\left(\begin{array}{cccc}{a_{11}} & {a_{12}} & {\cdots} & {a_{1 n}} \\ {a_{21}} & {a_{22}} & {\cdots} & {a_{2 n}} \\ {\cdots} & {\cdots} & {\cdots} & {\cdots} \\ {a_{m 1}} & {a_{m 1}} & {\cdots} & {a_{m n}}\end{array}\right)$

系数矩阵

称之为 线性变换 的矩阵

线性变换 与矩阵是唯一确定的。

特征值与特征向量

设 $A$ 为 $n$ 阶矩阵，若存在常数 $\lambda$ 及 $n$ 维非零向量 $x$ ，使得

$A x=\lambda x(x \neq 0)$

则称 $\lambda$ 是矩阵 $A$ 的 特征值， $x$ 是 $A$ 对就特征值 $\lambda$ 的 特征向量。

$(A-\lambda I) x=0$
$|A-\lambda I|=0$

$\left|\begin{array}{cccc}{a_{11}-\lambda} & {a_{12}} & {\cdots} & {a_{1 n}} \\ {a_{21}} & {a_{22}-\lambda} & {\cdots} & {a_{2 n}} \\ {\cdots} & {\cdots} & {\cdots} & {\cdots} \\ {a_{n 1}} & {a_{n 2}} & {\cdots} & {a_{m n}-\lambda}\end{array}\right|=0$

称为矩阵 $A$ 的特征方程

应用

主成分分析
流行学习
LDA

正交投影

二次型

n 个变量 $x_{1}, x_{2}, \cdots, x_{n}$ 的二次齐次多项式

$\begin{aligned} f\left(x_{1}, x_{2}, \cdots, x_{n}\right) &=a_{11} x_{1}^{2}+a_{12} x_{1} x_{2}+\cdots+a_{1 n} x_{1} x_{n} \\ &+a_{21} x_{2} x_{1}+a_{22} x_{2}^{2}+\cdots+a_{2 n} x_{2} x_{n} \\ &+\cdots \\ &+a_{n 1} x_{n} x_{1}+a_{n 2} x_{n} x_{2}+\cdots+a_{n n} x_{n}^{2} \end{aligned}$

其中 $a_{i j}=a_{j i}, 1 \leq i, j \leq n$

令

$A=\left(\begin{array}{cccc}{a_{11}} & {a_{12}} & {\cdots} & {a_{1 n}} \\ {a_{21}} & {a_{22}} & {\cdots} & {a_{2 n}} \\ {\vdots} & {\vdots} & {} & {\vdots} \\ {a_{n 1}} & {a_{n 2}} & {\cdots} & {a_{n n}}\end{array}\right), \quad X=\left(\begin{array}{c}{x_{1}} \\ {x_{2}} \\ {\vdots} \\ {x_{n}}\end{array}\right)$

则多项式可写为：

$f\left(x_{1}, x_{2}, \cdots, x_{n}\right)=X^{T} A X$

该多项式是 $n$ 元二次型，简称 二次型
该多项式也为二次型的矩阵形式

二次型经过变换，可以写成平方和形式

$\mathrm{d}_{1} y_{1}^{2}+\mathrm{d}_{2} y_{2}^{2}+\cdots+\mathrm{d}_{n} y_{n}^{2}$

称为多项式一个标准型。

[注]

任一二次型的标准型是存在的。

可应用配方法得到二次型的标准型。

矩阵分解

QR分解

设非奇异矩阵 $A \in R^{n \times n}$ ，则一定存在正交矩阵 $Q$ ,上三角矩阵 $R$ ,使

$A=Q R$

且当 $R$ 的主对角元素均为正数时，该分解式是唯一的。

[注]:
正交矩阵是 $\mathrm{QQ}^{\top}=\mathrm{E}$

SVD 奇异值分解

设 $A$ 是秩为 $r(r>0)$ 的 $m \times n$ 实矩阵，
则存在 $m$ 阶正交矩阵 $U$ 与 $n$ 阶正交矩阵 $V$ ，

使得

$\boldsymbol{U}^{\mathrm{T}} \boldsymbol{A} \boldsymbol{V}=\left[\begin{array}{cc}{\Sigma} & {\boldsymbol{O}} \\ {\boldsymbol{O}} & {\boldsymbol{O}}\end{array}\right]=S$

其中 $\Sigma=\operatorname{diag}\left(\sigma_{1}, \sigma_{2}, \cdots, \sigma_{r}\right) \quad(i=1,2, \cdots, r)$
$\sigma_{1} \geq \cdots \geq \sigma_{r}>0$ 为矩阵A的全部奇异值

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 204,530评论 6赞 478
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 86,403评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 151,120评论 0赞 337
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,770评论 1赞 277
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,758评论 5赞 367
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,649评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,021评论 3赞 398
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,675评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,931评论 1赞 299
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,659评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,751评论 1赞 330
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,410评论 4赞 321
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,004评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,969评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,203评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 45,042评论 2赞 350
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,493评论 2赞 343

线性代数基础

标量

定义

表示

向量

定义

表示

分类

行向量

列向量

模

范数

1-范数

2-范数（欧式范数）

∞-范数（无穷范数）

运算

加法

数乘

点积

定义

几何定义

高维

矩阵

定义

表示

运算

加法

基本性质

乘法

转置

定义

特殊矩阵

单位矩阵

零矩阵 / 全0矩阵

全1矩阵

对角矩阵

上三角矩阵

下三角矩阵

基本性质

线性相关

结论

秩

向量组的秩

矩阵的秩

范数

1-范数（列范数）

∞-范数（行范数）

2-范数

范数作用

迹

线性变换

特征值与特征向量

应用

正交投影

二次型

矩阵分解

QR分解

SVD 奇异值分解

推荐阅读更多精彩内容