投影

1. 向量在向量上的投影

向量 $a$ 投影到向量 $b$ 上，投影结果为 $c$ ，则：
$b^{\top}(a-c) = 0 \\$
其中， $c = \lambda b$ ，代入上式：
$\begin{align} b^{\top}(a-\lambda b) &= 0 \\ \lambda b^{\top} b &= b^{\top} a \\ \lambda &= \cfrac{b^{\top} a}{b^{\top} b} \end{align} \\$
所以，
$\begin{align} c &= \lambda b \\ &= \cfrac{b^{\top} a}{b^{\top} b} b \\ &= b \cfrac{b^{\top} a}{b^{\top} b} \\ &= \cfrac{bb^{\top}}{b^{\top} b} a \\ &\doteq \mathbf{P}a \end{align} \\$
这样，向量 $a$ 投影到向量 $b$ 上，可以认为做了一次线性变换 $c = \text{Proj}(a) = \mathbf{P}a$ 。其中， $\mathbf{P} = \cfrac{bb^{\top}}{b^{\top} b}$ 称为投影矩阵。

2. 向量在空间上的投影

向量 $a$ 投影到列空间 $C(\mathbf{A})$ 上（列空间可参考另一篇文章），投影结果为 $c$ ，则：
$\mathbf{A}^{\top}(a-c) = 0 \\$
其中， $c = \mathbf{A}x$ ，代入上式：
$\begin{align} \mathbf{A}^{\top}(a-\mathbf{A}x) &= 0 \\ \mathbf{A}^{\top}\mathbf{A}x &= \mathbf{A}^{\top}a \\ x &= (\mathbf{A}^{\top}\mathbf{A})^{-1}\mathbf{A}^{\top}a \end{align} \\$
所以，
$\begin{align} c &= \mathbf{A}x \\ &= \mathbf{A}(\mathbf{A}^{\top}\mathbf{A})^{-1}\mathbf{A}^{\top}a \\ &\doteq \mathbf{P}a \end{align} \\$
和向量在向量的投影有相似的形式，其中， $\mathbf{P} = \mathbf{A}(\mathbf{A}^{\top}\mathbf{A})^{-1}\mathbf{A}^{\top}$ 。

3. 投影矩阵的性质

特征值为 $\{0, 1\}$
秩为2
$\mathbf{P}^{n} = \mathbf{P}$ （因为连续投若干次，其实都是投在同一个地方）
$\cdots$

投影

1. 向量在向量上的投影

2. 向量在空间上的投影

3. 投影矩阵的性质

推荐阅读更多精彩内容