线性代数
使用到的数学符号：
Ax=b
Ax=b的行视图（凸优化中的超平面）：
列视图（矩阵列的线性组合）：
行视图和列视图是从不同的角度去看Ax=b，它们属于不同的空间。
线性相关与线性无关
Span、基和子空间（Subspace）
一个子空间可以由一组基表示，基的维数是固定的，但是基有无数组
四个基本的子空间
列空间：
两个向量的所有线性组合构成一个二维平面，是三维空间的子空间，且子空间必过原点，因为x1,x2可以为0
零空间：
零空间是所有Ax=b的解的所有线性组合构成的子空间
行空间：
左零空间：
四个基本子空间的关系：
两个垂直的子空间如 左零空间和列空间，它们的交点只有原点这一个点。
注意零空间有可能不存在，比如在满秩的情况下。
利用子空间重新看待线性方程组的解：
Ax=b方程的解：
- 只有唯一解，则 b ∈ C（A），N（A）的维数是 0
- 有无情多解，则 b ∈ C（A），N（A）的维数大于 0
- 无解，则 b ∉ C（A）
- 如果有解，解的形式 X = P + V P：特解 V：零空间的解
A * x = A * ( P + V ) = b + 0
特征分解（凸优化中的重要技术）
特征值（Eigenvalues）与特征向量（Eigenvectors）
Ax = λx的几何意义：
特征分解的性质：
Ax 相当于是对 x 向量进行了伸缩，也就是 Ax 与 x 共线，这个伸缩的比例就是 A 相对于 x 的特征值。
对称矩阵的特征分解
对于对称矩阵来说，非零特征值的个数就是矩阵的秩。
二次型（Quadratic Form）
负定矩阵：< 0
不定矩阵： 对有的向量 > 0 , 的有的向量 < 0
注意，正定矩阵、负定矩阵、不定矩阵等概念都是针对 对称矩阵 提出的。
那么，矩阵的正定，负定、不定有什么用呢？
二次型图像：
正定矩阵更容易进行函数的优化，找到最优解。
PCA
这里的Cx，可以理解为先对数据进行去均值，使得均值为0，正对角线可以理解为方差，负对角线可以理解为协方差。
问题： 假设变换矩阵为Y = QX，并先假设Q是方阵（先不降维），则有：
如何使得Cy是一个对角矩阵？
这里的Cy相当于协方差矩阵，这个矩阵如何转变称对角阵呢？
因为协方差矩阵是对称矩阵，可以进行对角化（实对称矩阵一定可以对角化）：
如果有n阶矩阵A，其矩阵的元素都为实数，且矩阵A的转置等于其本身（aij=aji）(i,j为元素的脚标），则称A为实对称矩阵
将 Q 换为 U 的转置就可以啦。U 是正交阵。
PCA的核心就是： 一个对称矩阵可以被U对角化。
PCA降维举例
这里，我们把2行的X，降维称1行，这里的特征值我们取最大值2，因为方差越大蕴含的信息越多，也可以理解为这个数据越重要。
图像表示如下：
这里降维的操作相当于把离散的点映射到了一条直线上。
SVD（Singular Value Decomposition）万能矩阵分解
特征分解的广义化
这里的 σ 表示 奇异值
SVD和特征分解的关系
SVD和子空间的关系
也就是：
SVD 提供了计算四个子空间正交基的一种快速方法
低秩矩阵近似（降维）
奇异值分解比特征分解更加稳定，两者的本质是一样的。
