线性代数基础

标量、向量、矩阵和张量

标量(scalar):斜体 $\mathit{s}$ 表示标量,即一个单独的数, $\mathit{s}\in \mathbb{R}$ 表示 $\mathit{s}$ 是实数集上的一个标量, $\mathit{n}\in \mathbb{N}$ 表示 $\mathit{n}$ 为自然数集上的一个标量.
向量(vector):粗体 $\boldsymbol{x}$ 表示向量, $\boldsymbol{x} \in \mathbb{R}^n$ 表示 $\boldsymbol{x}$ 为实数集上的一个n维向量, $\boldsymbol{x}_n$ 表示向量的第n个元素,不特别说明时向量都表示列向量.
我们约定向量下标从0开始,到n-1结束.并且 $\sum_{i=0}^{n}x_n$ 表示 $x_0+x_1+...+x_{n-1}$
矩阵(matrix):粗体大写字母 $\mathbf{A}$ 表示矩阵, $\mathbf{A} \in \mathbb{R}^{m\times n}$ 表示 $\mathbf{A}$ 是一个在实数集上m行n列的矩阵, $A_{i,j}$ 表示A中第i行第j列的元素, $A_{m,n}$ 表示矩阵右下角的元素, $A_{i,:}$ 表示矩阵第i行(可以认为是一个向量).
张量(tensor):字体 $\mathsf{A}$ 表示张量, $A_{i,j,k}$ 表示张量 $\mathsf{A}$ 中坐标为(i,j,k)的元素.
矩阵转置:用 $\mathbf{A}^T$ 表示 $\mathbf{A}$ 的转置
矩阵加法:shape相同的两个矩阵可以相加, $\mathbf{C} = \mathbf{A} + \mathbf{B}$ ,其中 $C_{i,j} = A_{i,j} + B_{i,j}$ ,即对应位置元素相加
标量点乘矩阵和矩阵加上标量: $\mathbf{C} = \mathit{a} \cdot \mathbf{B}+\mathit{c}$ ,其中 $C_{i,j}=a \cdot B_{i,j} + c$
广播:在深度学习中我们允许矩阵和向量相加(前提是矩阵的列数和向量的长度一致),产生一个新的矩阵,操作是让矩阵的每一行与这个向量相加. $\mathbf{C}=\mathbf{A}+\boldsymbol{b}$ ,其中 $C_{i,j}=A_{i,j}+b_j$ ,这种运算称为广播.

矩阵和向量的乘法运算

矩阵乘积(点乘):若 $\mathbf{A} \in \mathbb{R}^{m \times n}$ , $\mathbf{B} \in \mathbb{R}^{n \times p}$ ,则 $\mathbf{C} = \mathbf{AB}$ ,其中 $\mathbf{C} \in \mathbb{R}^{m \times p}$ 且 $C_{i,j} = \sum_{e=0}^{n}A_{i,e}B_{e,j}$ (即A的第i行和B的第j列做向量点乘的结果)
矩阵元素对应乘积(Hadamard):若 $\mathbf{A}.shape = \mathbf{B}.shape$ ,则有 $\mathbf{C} = \mathbf{A} \odot \mathbf{B}$ ,其中 $C_{i,j}=A_{i,j}B_{i,j}$
向量点乘:若列向量 $\boldsymbol{x} \in \mathbb{R}^{n},\boldsymbol{y} \in \mathbb{R}^{n}$ ,则有 $\mathit{z} = \boldsymbol{x} ^{T} \boldsymbol{y}$ ,其中 $\mathit{z} = \sum_{i=0}^{n}x_i y_i$ ,出于简化目的我们定义点乘运算 $\boldsymbol{x} \cdot \boldsymbol{y} = \boldsymbol{x} ^{T} \boldsymbol{y}$
矩阵乘积满足分配率和结合律:
$\mathbf{A}(\mathbf{B}+\mathbf{C}) = \mathbf{AB} + \mathbf{AC} \\ \mathbf{A}(\mathbf{BC})=\mathbf{A}(\mathbf{BC})$
注意矩阵乘法不一定满足交换律
向量乘积满足交换律:
$\boldsymbol{x} \cdot \boldsymbol{y} =\boldsymbol{y} \cdot \boldsymbol{x}$
向量乘积的转置:
$(\mathbf{AB})^T = \mathbf{B}^T\mathbf{A}^T$
线性代数表示线性方程组:
$\mathbf{A}\boldsymbol{x}=\boldsymbol{b}$
其中 $\mathbf{A} \in \mathbb{R}^{m \times n}$ 是参数矩阵, $\boldsymbol{x} \in \mathbb{R}^n$ 表示未知向量,其中每个元素都是未知的 , $\boldsymbol{b} \in \mathbb{R}^{m}$ 是已知向量,用这种形式可以方便地表示线程方程组.

单位矩阵和逆矩阵

单位矩阵:主对角线上的元素都为1,其余元素都为0的方阵称为n维单位矩阵,记为 $\mathbf{I}_n$ , $\mathbf{I}_n \in \mathbb{R}^{n \times n}$ .单位矩阵乘以任意向量都不会改变向量的值.
$\forall \boldsymbol{x} \in \mathbb{R}^n, \mathbf{I}_n \boldsymbol{x} = \boldsymbol{x}$
矩阵的逆(默认表示左逆):如果某个矩阵乘以 $\mathbf{A}$ 的结果为一个单位矩阵,则称这个矩阵为 $\mathbf{A}$ 的逆,记为 $\mathbf{A}^{-1}$ .即
$\mathbf{A}^{-1}\mathbf{A}=\mathbf{I}_n$
方阵和奇异矩阵: 如果矩阵 $\mathbf{A} \in \mathbb{R}^{m \times m}$ ,则称 $\mathbf{A}$ 为方阵.如果方阵的某两个列向量线性相关(即 $\exists \alpha \in \mathbb{R}\ s.t.\ \alpha \boldsymbol{y}_1 = \boldsymbol{y}_2$ ,其中 $\boldsymbol{y}_1,\boldsymbol{y}_2$ 是矩阵 $\mathbf{A}$ 的任意2个列向量),则称这个方阵为奇异矩阵.奇异矩阵无法使用矩阵逆来求解方程 $\mathbf{A}\boldsymbol{x}=\boldsymbol{b}$
矩阵的右逆:若 $\mathbf{A}\mathbf{A}^{-1}=\mathbf{I}_n$ ,则称 $\mathbf{A}^{-1}$ 为矩阵的右逆.对于方阵而言它的左逆和右逆是相等的.

范数(norm)

范数是满足如下性质的任意函数f:

$f(x) = 0 \Rightarrow \boldsymbol{x} = \boldsymbol{0}$
$f(x+y) \leq f(x)+f(y)$
$\forall \alpha \in \mathbb{R} ,f(\alpha x) = |\alpha| f(x)$
Lp范数:若 $\boldsymbol{x} \in \mathbb{R}^n$ ,则 $\boldsymbol{x}$ 的p范数
$\|\boldsymbol{x}\|_p=\left( \sum_{i=0}^{n}|x_i|^p \right) ^{\frac{1}{p}}$
L2范数:又称欧几里得范数,它表示从原点到向量 $\boldsymbol{x}$ 终点的欧几里得距离.我们可以简化地将 $\|\boldsymbol{x}\|_2$ 表示为 $\|\boldsymbol{x}\|$ .
$\|\boldsymbol{x}\|=\left( \sum_{i=0}^{n}|x_i|^2 \right) ^{\frac{1}{2}}$
L1范数:L1范数对0和非0元素的差异非常敏感,
$\|\boldsymbol{x}\|_1= \sum_{i=0}^{n}|x_i|$
最大范数:即 $L\infty$ 范数
$\|\boldsymbol{x}\| _\infty= max(|x_i|)$
Frobenius范数:可以用于衡量矩阵的大小( $\mathbf{A} \in \mathbb{R}^{m \times n}$ ):
$\|\mathbf{A}\| _F= \left(\sum_{i=0}^{m}\sum_{j=0}^{n}|A_{i,j}|^2 \right) ^{\frac{1}{2}}$
向量点乘也可以使用L2范数来计算
$\boldsymbol{x} \cdot \boldsymbol{y} = \|\boldsymbol{x}\| \cdot \|\boldsymbol{y}\| \cdot \cos \theta$
其中 $\theta$ 是 $\boldsymbol{x}$ 和 $\boldsymbol{y}$ 的夹角.

特殊矩阵和向量

对角矩阵: 若 $\mathbf{D} \in \mathbb{R}^{m \times m}$ ,且 $\forall \ i,j \geq 0; i,j \lt m ; i \neq j \quad s.t. \quad D_{i,j}=0$ ,则称 $\mathbf{D}$ 为对角矩阵.即只有主对角线上存在非0元素的矩阵称为对角矩阵.单位矩阵是一个特殊的对角矩阵.
$diag(\boldsymbol{v})$ 表示对角线上的元素为向量 $\boldsymbol{v}$ 的对角方阵.对角方阵具有如下性质:

$diag(\boldsymbol{v})\boldsymbol{x}=\boldsymbol{v}\odot \boldsymbol{x}$
$diag(\boldsymbol{v})^{-1} = diag([v_0^{-1},v_1^{-1},...,v_{n-1}^{-1}]^T)$

对称矩阵: 若 $\mathbf{A} = \mathbf{A}^T$ 则称 $\mathbf{A}$ 为对称矩阵.
单位向量:若 $\| \boldsymbol{x}\| = 1$ ,则 $\boldsymbol{x}$ 称为单位向量.
正交向量:若 $\boldsymbol{x} \cdot \boldsymbol{y}=0$ 则称 $\boldsymbol{x}$ 和 $\boldsymbol{y}$ 为正交向量.如果这两个向量都有非0范数,则这两个向量的夹角为90°.若这两个向量都是单位向量,则称它们标准正交.
正交矩阵:若方阵行向量和列向量分别标准正交,即 $\mathbf{A}^T\mathbf{A}=\mathbf{A}\mathbf{A}^T=\mathbf{I}$ 则称这个方阵为正交矩阵.正交矩阵具有 $\mathbf{A}^T = \mathbf{A} ^ {-1}$ 的性质.

特征分解

定义:将矩阵分解成一组特征向量和特征值.方阵 $\mathbf{A}$ 的特征向量指与 $\mathbf{A}$ 相乘后相当于对改向量进行缩放的非零向量 $\boldsymbol{v}$ .即
$\mathbf{A}\boldsymbol{v}=\lambda\boldsymbol{v}$
.其中标量 $\lambda$ 称作这个特征向量对应的特征值.
由于如果 $\boldsymbol{v}$ 是 $\mathbf{A}$ 的特征向量,那么 $\mathit{s}\boldsymbol{v}$ 也是 $\mathbf{A}$ 的特征向量( $\mathit{s} \in \mathbb{R},\mathit{s} \neq 0$ ),所以通常我们只关注矩阵的单位特征向量.
假设矩阵 $\mathbf{A}$ 有n个线性无关的特征向量{ $\boldsymbol{v}_0,\boldsymbol{v}_1,...,\boldsymbol{v}_{n-1}$ },对应特征值{ $\mathit{\lambda}_0,\mathit{\lambda}_1,...,\mathit{\lambda}_{n-1}$ }.令矩阵 $\mathbf{V} = [\boldsymbol{v}_0,\boldsymbol{v}_1,...,\boldsymbol{v}_{n-1}],向量\boldsymbol{\lambda}=[\mathit{\lambda}_0,\mathit{\lambda}_1,...,\mathit{\lambda}_{n-1}]^T$ ,则 $\mathbf{A}$ 的特征分解可以记作
$\mathbf{A}=\mathbf{V}diag(\boldsymbol{\lambda})\mathbf{V}^{-1}$ .

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 204,530评论 6赞 478
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 86,403评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 151,120评论 0赞 337
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,770评论 1赞 277
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,758评论 5赞 367
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,649评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,021评论 3赞 398
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,675评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,931评论 1赞 299
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,659评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,751评论 1赞 330
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,410评论 4赞 321
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,004评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,969评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,203评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 45,042评论 2赞 350
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,493评论 2赞 343