医准智能基础知识系列读书讨论班笔记二
线性代数（二）
矩阵的迹（trace）
矩阵的迹指的是一个矩阵（方阵）的主对角线上所有元素的和，用记号 或者
表示：
矩阵的迹，常用于矩阵函数的求导中。
- 一些常用的性质：
- 轮换不变：
，可以推广到一般的
个矩阵相乘
- 常用的关于迹的求导[1]
行列式（determinant）
行列式的值为一个方阵所有特征值的乘积，其几何含义为二维有向面积或三维有向体积向一般高维空间的推广。
- 余子式：
为矩阵
除去第
行和第
列的元素后，剩下的矩阵的行列式的值
- 代数余子式：
- 行列式按行展开：
- 行列式按列展开：
主成分分析（PCA）
问题描述：假定我们手中有 个
维空间中的数据点
，希望在一个维数较低为
的子空间中重建这些点，使得重建后的数据点与原始点的最接近，这个接近指的是丢失最小的关于数据点位置和分布关系的信息。书中将该问题分解为两个子问题：
任意给定低维子空间
，如何确定一个点的坐标
在知道如何计算每个点在低维空间坐标的基础上，如何寻找一个最优的子空间
对于子问题 1，我们希望在低维子空间中重建的数据点离原数据点尽可能的接近，于是在限制了子空间 为一个 列标准正交的矩阵的前提下，该问题表示为如下的优化问题：
其中， 表示低维子空间
中点的坐标，
是我们希望找到的最理想的坐标。容易看出该问题是一个二次函数求极值问题，问题的目标函数是凸函数，所以函数的稳定点即为问题的最优解：
则由 列标准正交，可得
故
直观来看，最优坐标可通过与子空间的正交基的内积来计算。
对于子问题2，我们需要选取最合适的子空间 使得对于所有的数据点而言，重建误差的 2-范数 平方和最小。可通过如下的优化问题描述：
其中，矩阵，每一列为一个原始数据点
考虑矩阵 的特征分解
，并假设
. 当
时，
退化为列向量
，问题变为
容易求得该问题的最优解为 ，即最大特征值所对应的特征方向，对于
的情况，可以通过数学归纳法得到，所求问题的最优解为前
个最大特征值所对应的特征方向。
