矩阵分析 (一) 线性空间和线性变换

我们曾在线性代数里学过向量空间，它是由向量做成的集合。在这个集合里向量可以相加，向量可以乘以一个倍数，由此我们可以讨论向量的线性组合、向量的线性相关等概念。

线性空间的概念

线性空间

定义1.1：数域：一个对和、差、积、商运算都封闭的复数的非空集合 $P$ 称为数域。
定义1.2：设 $V$ 是一个非空的集合，如果在 $V$ 中定义二元运算（加法）,
- 即 $V$ 中任意两个元素 $\alpha$ , $\beta$ 经过这个运算结果仍是 $V$ 中的一个元素，这个元素称为 $\alpha$ 与 $\beta$ 的和，记 $\alpha + \beta$ 。
- 在数域 $P$ 与 $V$ 之间定义一个运算叫作数量乘法，即对于 $P$ 中的任意数 $k$ 与 $V$ 中的任意一个元素 $\alpha$ ，经过这一运算的结果仍然是 $V$ 中的一个元素，称为 $k$ 与 $\alpha$ 的数量乘积，记 $k\alpha$ 。

如果上述运算满足以下规则，则称 $V$ 为数域 $P$ 上的线性空间。 $V$ 中的元素也称为向量。

对任意的 $\alpha$ ， $\beta$ $\in$ $V$ ，则称 $V$ 为数域 $P$ 上的线性空间， $V$ 中的元素也称为向量。
对任意的 $\alpha$ ， $\beta$ , $\gamma$ ， $\in$ $V$ , $(\alpha + \beta) + \gamma = \alpha + (\beta + \gamma)$ ；
在 $V$ 中存在一个零元素，记作 $0$ ，对任意的 $\alpha + 0 = \alpha$ ；
对任意的 $\alpha \in V$ ，都有 $\alpha$ 的负元素，记作 $-\alpha$ ;
对任意的 $\alpha \in V$ ，有 $1 \cdot \alpha = \alpha$ ;
对任意的 $\alpha \in V$ ， $k,l \in P$ ， $k(l \alpha) = (kl)\alpha$ ;
对任意的 $\alpha \in V$ ， $k,l \in P$ ， $(k+l)\alpha = k \alpha + l\alpha$
对任意的 $k \in P$ ， $\alpha,\beta \in V$ ， $k(\alpha+\beta) = k \alpha + k\beta$

线性空间的例子，基底、坐标

定义1.3：(线性相关)在 $V$ 中有一组元素 $\alpha_{1}$ ， $\alpha_{2}$ ， $\cdots$ ， $\alpha_{n}$ 线性无关，且其他元素都可以被它们线性表达，则称 $\alpha_{1}$ ， $\alpha_{2}$ ， $\cdots$ ， $\alpha_{n}$ 为 $V$ 的一组基， $n$ 为空间 $V$ 的维数，记作 $dimV=n$ ，而表达式的系数是这个元素的坐标。
例题：求 $P_{3}[t]$ 中多项式 $1+t+t^{2}$ 在基底1， $t-1$ ， $(t-2)(t-1)$ 下的坐标：

解：

$1+t+t^{2} = k_{1} \times 1+k_{2} \times (t-1) + k_{3}(t-2)(t-1)$

令其对应项相等即可。

基变换与坐标变换

一般来说，一个元素在不同的基底下有不同的坐标，它们的坐标有什么关系呢？

设 $V$ 是 $P$ 上的 $n$ 维线性空间， $\alpha_{1}$ ， $\alpha_{2}$ ， $\cdots$ ， $\alpha_{n}$ 和 $\beta_{1}$ ， $\beta_{2}$ ， $\cdots$ ， $\beta_{n}$ 是 $V$ 的两个不同的基底，因为 $\alpha_{1}$ ， $\alpha_{2}$ ， $\cdots$ ， $\alpha_{n}$ 是基底，所以 $\beta_{1}$ ， $\beta_{2}$ ， $\cdots$ ， $\beta_{n}$ 可以被这个基底线性表达，这两个基底的关系是：
$(\beta_{1}，\beta_{2}，\cdots，\beta_{n})$
$=(\alpha_{1}，\alpha_{2}，\cdots，\alpha_{n})A$

利用过渡矩阵就可以得到这个元素的两个坐标之间的关系：
$\alpha=\left(\beta_{1}, \beta_{2}, \cdots, \beta_{n}\right)\left(\begin{array}{c}{l_{1}} \\ {l_{2}} \\ {\vdots} \\ {l_{n}}\end{array}\right)$
$=\left(\alpha_{1}, \alpha_{2}, \cdots, \alpha_{n}\right) A\left(\begin{array}{c}{l_{1}} \\ {l_{2}} \\ {\vdots} \\ {l_{n}}\end{array}\right)$
$=\left( \alpha_{1}, \alpha_{2}, \cdots, \alpha_{n}\right) \left(\begin{array}{c}{k_{1}} \\ {k_{2}} \\ {\vdots} \\ {k_{n}}\end{array} \right)$

$\left(\begin{array}{c}{k_{1}} \\ {k_{2}} \\ {\vdots} \\ {k_{2}}\end{array} \right)=A\left(\begin{array}{c}{l_{1}} \\ {l_{2}} \\ {\vdots} \\ {l_{n}}\end{array} \right)$

子空间和维数定理

子空间及生成方式

我们知道三维线性空间 $R^{3}$ 的二维平面 $R^{2}$ 也是一个线性空间，这种类型的空间叫作子空间。

定义1.5：设 $V$ 是数域 $P$ 上的线性空间， $W$ 是 $V$ 的非空子集，如果 $W$ 对于线性空间 $V$ 所定义的加法运算及数乘运算也构成 $P$ 上的线性空间，则称 $W$ 为 $V$ 的线性子空间，简称子空间。
定理1.1：设 $W$ 是 $P$ 上的线性空间 $V$ 的非空子集，则 $W$ 是 $V$ 的线性子空间的充要条件是：
1）：若 $\alpha，\beta \in W$ ，则 $\alpha + \beta \in W$ ；
2）：若 $\alpha \in W$ ， $k \in P$ ，则 $k\alpha \in W$ 。
$\{0\}$ 及 $V$ 本身也是 $V$ 的子空间，这两个子空间是 $V$ 的平凡子空间。
设 $\alpha_{1}$ ， $\alpha_{2}$ ， $\cdots$ ， $\alpha_{m}$ 是 $V$ 上的 $m$ 个元素，由这 $m$ 个元素的任意组合构成的集合 $\{k_{1}\alpha_{1}+\cdots+k_{m}\alpha_{m}\}$ 对 $V$ 中的加法及数乘封闭，因而这个子集是 $V$ 中的子空间。记作：

$L(\alpha_{1}，\alpha_{2}，\cdots，\alpha_{m})$

用原有的子空间生成新的子空间的方法：
1）：设 $V_{1}$ ， $V_{2}$ 是 $V$ 的子空间，则 $V_{1} \cap V_{2}$ 是 $V$ 的子空间，叫做两个子空间的交子空间。
2）：设 $V_{1}$ ， $V_{2}$ 是 $V$ 的子空间， $V_{1}+V_{2}$ 也是 $V$ 的子空间，这里：
$V_{1}+V_{2}=\{\alpha_{1}+\alpha_{2}|\alpha_{1} \in V_{1}，\alpha_{2} \in V_{2}\}$

这个子空间叫做 $V_{1}$ 和 $V_{2}$ 的和子空间。

维数定理

由两个子空间 $V_{1}$ ， $V_{2}$ 生成的子空间的维数 $dim(V_{1}+V_{2})$ , $dim(V_{1} \cap V_{2})$ 与原来的子空间的维数之间有一个关系，称之为维数定理，即：
$dimV_{1}+dimV_{2}$
$=dim(V_{1}+V_{2})+dim(V_{1} \cap V_{2})$

定理1.2： $V_{1}+V_{2}$ 是直和的充要条件是 $V_{1} \cap V_{2} = \{0\}$ 。

这个几个概念比较重要，需要记住。

线性空间中的线性变换

定义1.6：设 $T$ 是 $V$ 上的变换，如果对于任意的 $\alpha$ ， $\beta \in V$ 及 $k \in P$ 都有：
$T(\alpha + \beta)=T\alpha + T\beta$
$T(k\alpha)=kT\alpha$

则称 $T$ 为 $V$ 上的线性变换。线性变换保持 $V$ 上的运算。

上面这个线性变换的公式需要记住，经常会考这个改变以及以下变种。比如下文的线性变换的矩阵的公式：

由：

$(\varepsilon_{1}，\varepsilon_{2}，\varepsilon_{3} ) = (e_{1},e_{2},e_{3})C$

能得到：

$T(\varepsilon_{1}，\varepsilon_{2}，\varepsilon_{3} ) = T(e_{1},e_{2},e_{3})C$

这时如果知道：

$T(\varepsilon_{1}，\varepsilon_{2}，\varepsilon_{3} ) = (\varepsilon_{1}，\varepsilon_{2}，\varepsilon_{3} ) A$

即可求出：

$T(e_{1},e_{2},e_{3}) = T(\varepsilon_{1}，\varepsilon_{2}，\varepsilon_{3} ) C^{-1}$

等于：

$T(e_{1},e_{2},e_{3}) = (\varepsilon_{1}，\varepsilon_{2}，\varepsilon_{3} ) A C^{-1}$

等于：

$T(e_{1},e_{2},e_{3}) = (e_{1},e_{2},e_{3})CA C^{-1}$

零变换及单位变换也是线性变换，零变换是把所有元素变成零的变换，单位变换是把每个元素映射成自己的变换。
线性变换作为一种运算也可以组合，如果 $T_{1}$ ， $T_{2}$ 是线性变换，则：

$(T_{1}+T_{2})\alpha =T_{1}\alpha+T_{2}\alpha_{}, \\ (kT_{1})\alpha=k(T_{1}\alpha)$

可以证明，线性空间中的所有线性变换也做成一个线性空间，记作 $L(V)$

即用线性变换，定义的子空间，一个是像子空间，一个是核子空间。
像： $TV=\{T\alpha|\alpha \in V\}$
核： $T^{-1}(0)=kerT=\{\alpha|\alpha \in V,T\alpha=0\}$ 。

像子空间是由 $V$ 中所有元素的像构成的，即任取 $\beta \in TV$ ，则一定存在 $\alpha \in V$ ，使得 $\beta=T\alpha$ 。

核子空间是由所有 $\alpha$ 中的一些元素构成的，这些元素在线性变换的作用下是零。

定理1.3（维数定理）：设 $T$ 是 $n$ 维空间上的线性变换，则
$dimTV+dimT^{-1}(0)=n$

线性变换的矩阵

$V$ 上的所有线性变换构成的子空间是一个比较抽象的空间，我们知道一些具体的线性变换，但是任意一个线性变换是什么样子的，怎么表达呢？

设 $\alpha \in V$ ，

$\alpha = \sum_{i=1}^{n} k_{i}\alpha_{i}=\left( \alpha_{1}, \alpha_{2}, \cdots, \alpha_{n}\right) \left(\begin{array}{c}{k_{1}} \\ {k_{2}} \\ {\vdots} \\ {k_{n}}\end{array} \right)$

$T\alpha=\left( T \alpha_{1},T \alpha_{2}, \cdots, T \alpha_{n}\right) \left(\begin{array}{c}{k_{1}} \\ {k_{2}} \\ {\vdots} \\ {k_{n}}\end{array} \right)$
$=\sum_{i=1}^{n} k_{i}T\alpha_{i}$

可以看出，决定线性变换结果的是：

$T\alpha_{1}，T\alpha_{2} \cdots ,T\alpha_{n}$

即基底在这个线性变换之下变成了什么形式。

因为 $T\alpha_{1}，T\alpha_{2} \cdots ,T\alpha_{n}$ ，仍然是 $V$ 中的元素，当然可以被 $V$ 的基底表达：

$\left\{\begin{array}{l}{T \boldsymbol{\alpha}_{1}=a_{11} \boldsymbol{\alpha}_{1}+\cdots+a_{n 1} \boldsymbol{\alpha}_{n}} \\ {T \boldsymbol{\alpha}_{2}=a_{12} \boldsymbol{\alpha}_{1}+\cdots+\boldsymbol{\alpha}_{n 2} \boldsymbol{\alpha}_{n}} \\ {\vdots} \\ {T \boldsymbol{\alpha}_{n}=a_{1 n} \boldsymbol{\alpha}_{1}+\cdots+a_{n n} \boldsymbol{\alpha}_{n}}\end{array}\right.$

$A=(a_{ij})_{n\times n}$ 为线性变换 $T$ 在基底 $\alpha_{1}，\cdots，\alpha_{n}$ 下的矩阵。

可见每一个线性变换实际上与一个矩阵相对应，反过来，每一个矩阵也对应一个线性变换，即给定一个矩阵 $A$ ,只要定义：
$\left( T \alpha_{1},T \alpha_{2}, \cdots, T \alpha_{n}\right)=(\alpha_{1}，\alpha_{2}，\cdots，\alpha_{n})A$
则这个矩阵对应一个线性变换。

我的微信公众号名称：深度学习与先进智能决策
微信公众号ID：MultiAgent1024
公众号介绍：主要研究分享深度学习、机器博弈、强化学习等相关内容！期待您的关注，欢迎一起学习交流进步！

最后编辑于：2020.02.04 15:28:13

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 217,907评论 6赞 506
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 92,987评论 3赞 395
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 164,298评论 0赞 354
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,586评论 1赞 293
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,633评论 6赞 392
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,488评论 1赞 302
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,275评论 3赞 418
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 39,176评论 0赞 276
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,619评论 1赞 314
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,819评论 3赞 336
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,932评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,655评论 5赞 346
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,265评论 3赞 329
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,871评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,994评论 1赞 269
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 48,095评论 3赞 370
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,884评论 2赞 354