线性代数学习总结-正交

概念

如果两个向量的点积等于0，那么则说这两个向量是正交的。（其实也就是垂直啦）

$v\cdot w=0\quad 或者\quad v^{T}w=0$

正交矩阵的性质有着很多实际的应用。首先从4个子空间之间的正交性开始吧。

子空间正交性

这里是接着子空间更进一步引述出的结论。

行空间垂直与零空间垂直

很明显，对于 $Ax=0$ 的情况下，矩阵 $A$ 的每一行都与 $x$ 垂直

列空间垂直与Left Null Space $N(A^{T})$ 垂直

与上面一致，对于 $A^{T}y=0$ 的情况下，矩阵 $A$ 的每一列都与 $y$ 垂直

Orthogonal Complements

对于一个子空间 $V$ 而言，它的正交补码包含每个与子空间 $V$ 垂直的向量，记作 $V^{\perp}$

投影

这里投影就是指一个向量在另一个向量、平面或其他什么东西上的映射，跟字面意思一样。
首先考虑最简单的情况，投影到一条直线跟投影到一个平面上，为了节约纸张，我画在一幅图里了

projection on line/plane

如图，向量 $b$ 在向量 $a$ 或者平面 $a$ 上的投影为 $P$ ，如何求出 $P$ 呢？

假设 $P = x'a\quad与P垂直的向量为e$
有 $e = b - P=b - x'a$
因为 $e$ 与 $a$ 垂直，有 $a\cdot e=a\cdot (b-x'a)=0$
可以得到 $x'=\frac{a^{T}b}{a^{T}a}\qquad P=x'a=\frac{a^{T}b}{a^{T}a}a$
对于平面而言，求解方法一致，得到 $x'=\frac{A^{T}b}{A^{T}A}\qquad P=Ax'=A(A^{T}A)^{-1}A^{T}b$
得解

注意不要随便乱消元哈，这不是自然数。

接着我们考虑一种更复杂的情况，映射到子空间。
假设给出 $n$ 个 $R^{m}$ 空间内的线性无关的向量组 $a_1, a_2,...a_n$ ，找出组合 $p=x'_1a_1+x'_2a_2+...x'_na_n$ ，使得它与向量 $b$ 的差值最小。
所谓差值最小，其实就是求 $b$ 先这个子空间的投影了。那么我们只需要找出投影矩阵就可以了

对于 $p=x'_1a_1+x'_2a_2+...x'_na_n$ 而言，因为 $b$ 的差值与 $a_i$ 是垂直的，有
$a_i^{T}(b-Ax')=0\quad即\quad\begin{bmatrix}a_1^{T}\\a_2^{T}\\...\\a_n^{T}\end{bmatrix}\begin{bmatrix}b-Ax'\\b-Ax'\\...\\b-Ax'\end{bmatrix} = 0$
得到 $A^{T}(b-Ax')=0 \quad \rightarrow \quad A^{T}Ax'=A^{T}b$
$p=Ax'=A(A^{T}A)^{-1}A^{T}b\quad 因此，投影矩阵为\quad P=A(A^{T}A)^{-1}A^{T}$

线性拟合

接下来的内容比较偏应用一点。对于方程 $Ax=b$ 无解是一种比较常见的情况，例如出现线性依赖等情况。在这种情况下，我们需要求出一个最优解，该怎么做呢？
所谓的最优解，就是该解与 $b$ 的差值的平方最小
是的，求投影就行了。如果差值的平方为0的话，则 $b$ 就等于 $Ax$ 。
如下图

Fitting a straight line

对于 $Ax=b\quad 可以表达为\quad C+D_{ti}=b_i\quad即\quad A=\begin{bmatrix}1&t_1\\1&t_2\\...&...\\1&t_n\end{bmatrix}\begin{bmatrix}C\\D\end{bmatrix}=b$
我们需要求出C和D，根据公式 $A^{T}Ax'=A^{T}b$ ，有 $A^{T}A=\begin{bmatrix}1&1&...&1\\t_1&t_2&...&t_m\end{bmatrix}\begin{bmatrix}1&t_1\\1&t_2\\...&...\\1&t_m\end{bmatrix}=\begin{bmatrix}m&\sum_{}t_i\\\sum_{}t_i&\sum_{}t_i^{2}\end{bmatrix}$
$A^{T}b=\begin{bmatrix}1&1&...&1\\t_1&t_2&...&t_m\end{bmatrix}\begin{bmatrix}b_1\\b_2\\...\\b_m\end{bmatrix}=\begin{bmatrix}\sum_{}b_i\\\sum_{}t_ib_i\end{bmatrix}$
那么当 $A^{T}Ax'=A^{T}b的时候，\left||Ax-b\right||^2=e_1^2+e_2^2+...+e_m^2最小$ ： $\begin{bmatrix}m&\sum_{}t_i\\\sum_{}t_i&\sum_{}t_i^{2}\end{bmatrix}\begin{bmatrix}C\\D\end{bmatrix}=\begin{bmatrix}\sum_{}b_i\\\sum_{}t_ib_i\end{bmatrix}$ 求出C、D，回代入公式，得解。

线性拟合在应用中有较多的使用。不过容易出现的问题就是干扰点，这些点离中心数据太远，极大的影响了结果。通常在应用中会选择剔除这些点。

正交基和Gram-Schmidt

上面的过程可以看到，在求解的时候是非常麻烦的，计算量很大。那么这里我们主要通过构造正交矩阵来减少运算量。
对于向量 $v_1,v_2,...v_n$ 而言，如果他们的点积 $d_i\cdot d_j=0(i\neq j)$ ，我们则说他们是正交的。如果向量的长度为1，那么我们则称之为正交单位向量，也叫标准正交。

$q_i^Tq_j=\begin{Bmatrix}0\quad when\quad i\neq j\quad (orthogonal\quad vectors)\\1\quad when\quad i= j\quad (unit\quad vectors:\left||q_i\right||=1)\end{Bmatrix}$