矩阵分析 (一) 线性空间和线性变换

我们曾在线性代数里学过向量空间，它是由向量做成的集合。在这个集合里向量可以相加，向量可以乘以一个倍数，由此我们可以讨论向量的线性组合、向量的线性相关等概念。

线性空间的概念

线性空间

定义1.1：数域：一个对和、差、积、商运算都封闭的复数的非空集合 $P$ 称为数域。
定义1.2：设 $V$ 是一个非空的集合，如果在 $V$ 中定义二元运算（加法）,
- 即 $V$ 中任意两个元素 $\alpha$ , $\beta$ 经过这个运算结果仍是 $V$ 中的一个元素，这个元素称为 $\alpha$ 与 $\beta$ 的和，记 $\alpha + \beta$ 。
- 在数域 $P$ 与 $V$ 之间定义一个运算叫作数量乘法，即对于 $P$ 中的任意数 $k$ 与 $V$ 中的任意一个元素 $\alpha$ ，经过这一运算的结果仍然是 $V$ 中的一个元素，称为 $k$ 与 $\alpha$ 的数量乘积，记 $k\alpha$ 。

如果上述运算满足以下规则，则称 $V$ 为数域 $P$ 上的线性空间。 $V$ 中的元素也称为向量。

对任意的 $\alpha$ ， $\beta$ $\in$ $V$ ，则称 $V$ 为数域 $P$ 上的线性空间， $V$ 中的元素也称为向量。
对任意的 $\alpha$ ， $\beta$ , $\gamma$ ， $\in$ $V$ , $(\alpha + \beta) + \gamma = \alpha + (\beta + \gamma)$ ；
在 $V$ 中存在一个零元素，记作 $0$ ，对任意的 $\alpha + 0 = \alpha$ ；
对任意的 $\alpha \in V$ ，都有 $\alpha$ 的负元素，记作 $-\alpha$ ;
对任意的 $\alpha \in V$ ，有 $1 \cdot \alpha = \alpha$ ;
对任意的 $\alpha \in V$ ， $k,l \in P$ ， $k(l \alpha) = (kl)\alpha$ ;
对任意的 $\alpha \in V$ ， $k,l \in P$ ， $(k+l)\alpha = k \alpha + l\alpha$
对任意的 $k \in P$ ， $\alpha,\beta \in V$ ， $k(\alpha+\beta) = k \alpha + k\beta$

线性空间的例子，基底、坐标

定义1.3：(线性相关)在 $V$ 中有一组元素 $\alpha_{1}$ ， $\alpha_{2}$ ， $\cdots$ ， $\alpha_{n}$ 线性无关，且其他元素都可以被它们线性表达，则称 $\alpha_{1}$ ， $\alpha_{2}$ ， $\cdots$ ， $\alpha_{n}$ 为 $V$ 的一组基， $n$ 为空间 $V$ 的维数，记作 $dimV=n$ ，而表达式的系数是这个元素的坐标。
例题：求 $P_{3}[t]$ 中多项式 $1+t+t^{2}$ 在基底1， $t-1$ ， $(t-2)(t-1)$ 下的坐标：

解：

$1+t+t^{2} = k_{1} \times 1+k_{2} \times (t-1) + k_{3}(t-2)(t-1)$

令其对应项相等即可。

基变换与坐标变换

一般来说，一个元素在不同的基底下有不同的坐标，它们的坐标有什么关系呢？

设 $V$ 是 $P$ 上的 $n$ 维线性空间， $\alpha_{1}$ ， $\alpha_{2}$ ， $\cdots$ ， $\alpha_{n}$ 和 $\beta_{1}$ ， $\beta_{2}$ ， $\cdots$ ， $\beta_{n}$ 是 $V$ 的两个不同的基底，因为 $\alpha_{1}$ ， $\alpha_{2}$ ， $\cdots$ ， $\alpha_{n}$ 是基底，所以 $\beta_{1}$ ， $\beta_{2}$ ， $\cdots$ ， $\beta_{n}$ 可以被这个基底线性表达，这两个基底的关系是：
$(\beta_{1}，\beta_{2}，\cdots，\beta_{n})$
$=(\alpha_{1}，\alpha_{2}，\cdots，\alpha_{n})A$

利用过渡矩阵就可以得到这个元素的两个坐标之间的关系：
$\alpha=\left(\beta_{1}, \beta_{2}, \cdots, \beta_{n}\right)\left(\begin{array}{c}{l_{1}} \\ {l_{2}} \\ {\vdots} \\ {l_{n}}\end{array}\right)$
$=\left(\alpha_{1}, \alpha_{2}, \cdots, \alpha_{n}\right) A\left(\begin{array}{c}{l_{1}} \\ {l_{2}} \\ {\vdots} \\ {l_{n}}\end{array}\right)$
$=\left( \alpha_{1}, \alpha_{2}, \cdots, \alpha_{n}\right) \left(\begin{array}{c}{k_{1}} \\ {k_{2}} \\ {\vdots} \\ {k_{n}}\end{array} \right)$

$\left(\begin{array}{c}{k_{1}} \\ {k_{2}} \\ {\vdots} \\ {k_{2}}\end{array} \right)=A\left(\begin{array}{c}{l_{1}} \\ {l_{2}} \\ {\vdots} \\ {l_{n}}\end{array} \right)$

子空间和维数定理

子空间及生成方式

我们知道三维线性空间 $R^{3}$ 的二维平面 $R^{2}$ 也是一个线性空间，这种类型的空间叫作子空间。

定义1.5：设 $V$ 是数域 $P$ 上的线性空间， $W$ 是 $V$ 的非空子集，如果 $W$ 对于线性空间 $V$ 所定义的加法运算及数乘运算也构成 $P$ 上的线性空间，则称 $W$ 为 $V$ 的线性子空间，简称子空间。
定理1.1：设 $W$ 是 $P$ 上的线性空间 $V$ 的非空子集，则 $W$ 是 $V$ 的线性子空间的充要条件是：
1）：若 $\alpha，\beta \in W$ ，则 $\alpha + \beta \in W$ ；
2）：若 $\alpha \in W$ ， $k \in P$ ，则 $k\alpha \in W$ 。
$\{0\}$ 及 $V$ 本身也是 $V$ 的子空间，这两个子空间是 $V$ 的平凡子空间。
设 $\alpha_{1}$ ， $\alpha_{2}$ ， $\cdots$ ， $\alpha_{m}$ 是 $V$ 上的 $m$ 个元素，由这 $m$ 个元素的任意组合构成的集合 $\{k_{1}\alpha_{1}+\cdots+k_{m}\alpha_{m}\}$ 对 $V$ 中的加法及数乘封闭，因而这个子集是 $V$ 中的子空间。记作：

$L(\alpha_{1}，\alpha_{2}，\cdots，\alpha_{m})$

用原有的子空间生成新的子空间的方法：
1）：设 $V_{1}$ ， $V_{2}$ 是 $V$ 的子空间，则 $V_{1} \cap V_{2}$ 是 $V$ 的子空间，叫做两个子空间的交子空间。
2）：设 $V_{1}$ ， $V_{2}$ 是 $V$ 的子空间， $V_{1}+V_{2}$ 也是 $V$ 的子空间，这里：
$V_{1}+V_{2}=\{\alpha_{1}+\alpha_{2}|\alpha_{1} \in V_{1}，\alpha_{2} \in V_{2}\}$

这个子空间叫做 $V_{1}$ 和 $V_{2}$ 的和子空间。

维数定理

由两个子空间 $V_{1}$ ， $V_{2}$ 生成的子空间的维数 $dim(V_{1}+V_{2})$ , $dim(V_{1} \cap V_{2})$ 与原来的子空间的维数之间有一个关系，称之为维数定理，即：
$dimV_{1}+dimV_{2}$
$=dim(V_{1}+V_{2})+dim(V_{1} \cap V_{2})$

定理1.2： $V_{1}+V_{2}$ 是直和的充要条件是 $V_{1} \cap V_{2} = \{0\}$ 。

这个几个概念比较重要，需要记住。

线性空间中的线性变换

定义1.6：设 $T$ 是 $V$ 上的变换，如果对于任意的 $\alpha$ ， $\beta \in V$ 及 $k \in P$ 都有：
$T(\alpha + \beta)=T\alpha + T\beta$
$T(k\alpha)=kT\alpha$

则称 $T$ 为 $V$ 上的线性变换。线性变换保持 $V$ 上的运算。

上面这个线性变换的公式需要记住，经常会考这个改变以及以下变种。比如下文的线性变换的矩阵的公式：

由：

$(\varepsilon_{1}，\varepsilon_{2}，\varepsilon_{3} ) = (e_{1},e_{2},e_{3})C$

能得到：

$T(\varepsilon_{1}，\varepsilon_{2}，\varepsilon_{3} ) = T(e_{1},e_{2},e_{3})C$

这时如果知道：

$T(\varepsilon_{1}，\varepsilon_{2}，\varepsilon_{3} ) = (\varepsilon_{1}，\varepsilon_{2}，\varepsilon_{3} ) A$

即可求出：

$T(e_{1},e_{2},e_{3}) = T(\varepsilon_{1}，\varepsilon_{2}，\varepsilon_{3} ) C^{-1}$

等于：

$T(e_{1},e_{2},e_{3}) = (\varepsilon_{1}，\varepsilon_{2}，\varepsilon_{3} ) A C^{-1}$

等于：

$T(e_{1},e_{2},e_{3}) = (e_{1},e_{2},e_{3})CA C^{-1}$

零变换及单位变换也是线性变换，零变换是把所有元素变成零的变换，单位变换是把每个元素映射成自己的变换。
线性变换作为一种运算也可以组合，如果 $T_{1}$ ， $T_{2}$ 是线性变换，则：

$(T_{1}+T_{2})\alpha =T_{1}\alpha+T_{2}\alpha_{}, \\ (kT_{1})\alpha=k(T_{1}\alpha)$

可以证明，线性空间中的所有线性变换也做成一个线性空间，记作 $L(V)$

即用线性变换，定义的子空间，一个是像子空间，一个是核子空间。
像： $TV=\{T\alpha|\alpha \in V\}$
核： $T^{-1}(0)=kerT=\{\alpha|\alpha \in V,T\alpha=0\}$ 。

像子空间是由 $V$ 中所有元素的像构成的，即任取 $\beta \in TV$ ，则一定存在 $\alpha \in V$ ，使得 $\beta=T\alpha$ 。

核子空间是由所有 $\alpha$ 中的一些元素构成的，这些元素在线性变换的作用下是零。

定理1.3（维数定理）：设 $T$ 是 $n$ 维空间上的线性变换，则
$dimTV+dimT^{-1}(0)=n$

线性变换的矩阵

$V$ 上的所有线性变换构成的子空间是一个比较抽象的空间，我们知道一些具体的线性变换，但是任意一个线性变换是什么样子的，怎么表达呢？

设 $\alpha \in V$ ，

$\alpha = \sum_{i=1}^{n} k_{i}\alpha_{i}=\left( \alpha_{1}, \alpha_{2}, \cdots, \alpha_{n}\right) \left(\begin{array}{c}{k_{1}} \\ {k_{2}} \\ {\vdots} \\ {k_{n}}\end{array} \right)$

$T\alpha=\left( T \alpha_{1},T \alpha_{2}, \cdots, T \alpha_{n}\right) \left(\begin{array}{c}{k_{1}} \\ {k_{2}} \\ {\vdots} \\ {k_{n}}\end{array} \right)$
$=\sum_{i=1}^{n} k_{i}T\alpha_{i}$

可以看出，决定线性变换结果的是：

$T\alpha_{1}，T\alpha_{2} \cdots ,T\alpha_{n}$

即基底在这个线性变换之下变成了什么形式。

因为 $T\alpha_{1}，T\alpha_{2} \cdots ,T\alpha_{n}$ ，仍然是 $V$ 中的元素，当然可以被 $V$ 的基底表达：

$\left\{\begin{array}{l}{T \boldsymbol{\alpha}_{1}=a_{11} \boldsymbol{\alpha}_{1}+\cdots+a_{n 1} \boldsymbol{\alpha}_{n}} \\ {T \boldsymbol{\alpha}_{2}=a_{12} \boldsymbol{\alpha}_{1}+\cdots+\boldsymbol{\alpha}_{n 2} \boldsymbol{\alpha}_{n}} \\ {\vdots} \\ {T \boldsymbol{\alpha}_{n}=a_{1 n} \boldsymbol{\alpha}_{1}+\cdots+a_{n n} \boldsymbol{\alpha}_{n}}\end{array}\right.$

$A=(a_{ij})_{n\times n}$ 为线性变换 $T$ 在基底 $\alpha_{1}，\cdots，\alpha_{n}$ 下的矩阵。

可见每一个线性变换实际上与一个矩阵相对应，反过来，每一个矩阵也对应一个线性变换，即给定一个矩阵 $A$ ,只要定义：
$\left( T \alpha_{1},T \alpha_{2}, \cdots, T \alpha_{n}\right)=(\alpha_{1}，\alpha_{2}，\cdots，\alpha_{n})A$
则这个矩阵对应一个线性变换。

我的微信公众号名称：深度学习与先进智能决策
微信公众号ID：MultiAgent1024
公众号介绍：主要研究分享深度学习、机器博弈、强化学习等相关内容！期待您的关注，欢迎一起学习交流进步！