笔记一

通过训练样本集的“学习”或训练来设计分类器，这是模式识别研究的重要内容。

模式识别的方法：

模板匹配
统计方法
句法方法
神经网络

预备知识：
（1）数理统计。
（2）线性代数和矩阵分析。

迹的计算：
定义：对任意n阶方阵 $A=(a_{ij} )_{n*n}$ 有 $tr(A) = \sum_{i=1}^{n}a_{ii}$
1). $tr(A^T)=tr(A)$
2). $tr(A+B) = tr(A)+tr(B)$
3). $C=(c_{ij})_{m*n} D=(d_{ij})_{n*m}$
有 $tr(CD) = tr(DC) = \sum_{i=1}^m\sum_{j=1}^nc_{ij}d_{ji}$
矩阵导数：
1：函数对向量的导数，结果为向量。
定义：
$\frac{df}{dx} = (\frac{\partial f}{\partial x_1} , ...,\frac{\partial f}{\partial x_n}) , x = (x_1,x_2,...,x_n)^T.$
并且对于之后要用到的我们做一个计算：

$\begin{equation} \begin{aligned} f(x) &= x^TAx = \sum_{i,j=1}^{n}a_{ij}x_ix_j \\ \frac{df}{dx} &= (\frac{\partial f}{\partial x_1} , ...,\frac{\partial f}{\partial x_n})=(\frac{\partial \sum_{i,j=1}{n}a_{ij}x_ix_j}{\partial x_1},...,\frac{\partial \sum_{i,j=1}{n}a_{ij}x_ix_j}{\partial x_n} )^T\\ &=( [(a_{11}+a_{11})x_1+(a_{12}+a_{21})x_2 + ... + (a_{1n}+a_{n1})x_n],...,[(a_{1n}+a_{n1})x_1+(a_{n2}+a_{2n})x_2 + ... + (a_{nn}+a_{nn})x_n] )\\ &=(A+A^T)x \end{aligned} \end{equation}$
要记下来：
$\frac{dx^TAx}{dx} = (A+A^T)x$

并且有其他的推导：
$\begin{equation} \begin{aligned} \frac{dx^TAy}{dx} &= Ay \\ \frac{dy^TAx}{dx} &= A^Ty \end{aligned} \end{equation}$

2:函数对矩阵的求导，结果是矩阵
定义：
$\frac{df}{dX} = (\frac{\partial f}{\partial x_{ij}})_{m*n} , X = (x_{ij})_{m*n}$
列出一些常用的：
设： $A=(a_{ij})_{m*m},B=(b_{ij})_{n*m}$
（1） $\frac{d(tr(BX))}{dX} = \frac{d(tr(X^TB^T))}{dX} = B^T.$
因为：
$\frac{\partial(tr(BX))}{\partial x_{ij}} = \frac{\partial(tr(XB))}{\partial x_{ij}} = \frac{\partial \sum_{i=1}^{m}\sum_{j=1}^{n}x_{ij}b_{ji}}{\partial x_{ij}}=b_{ji}$
（2） $\frac{d tr(X^TAX)}{d X} = (A+A^T)X$
（3） $\frac{d y^TX^TXy}{dX} = 2Xyy^T$ .
（4） $\frac{d|A|}{dA} = |A|(A^{-1})^T$

3：矩阵对矩阵的求导，结果是大矩阵。
定义：
$\frac{dF}{dA} = (\frac{\partial F}{\partial a_{ij}})_{pm*qn}$
其中 $F=(f_{ij})_{p*q},A=(a_{ij})_{m*n}$
$\frac{\partial F}{\partial a_{ij}} = (\frac{\partial f_{ij}}{\partial a_{ij}})_{p*q}$
请尝试一下下面这个：
$\frac{dx^T}{dx} = I$
然后就会了函数的向量矩阵求导。
以及矩阵（向量）对矩阵（向量）的求导。

正定（半正定）矩阵：
定义：对称矩阵的特征值为正数（非负数）
$U^TAU = diag(\lambda_1,..,\lambda_n)$
$\lambda >= 0$

另外：一个矩阵是半正定（正定）的充要条件是存在（非奇异矩阵）Q，使得：
$A=Q^TQ$

有一个十分有用的性质：
正定矩阵A和半正定矩阵B可以同时对角化，即存在非奇异矩阵P使得：
$P^TAP = I$
$P^TBP = D = diag(\lambda_1,...,\lambda_n)$

证明：
$A = Q^TQ 所以 (Q^{-1})^TAQ^{-1} = I$
构造U使得（为什么存在呢？）
$U^T(Q^{-1})^TBQ^{-1}U = diag(\lambda_1,...,\lambda_n)$
并且构造P
$P = Q^{-1}U。而P就是我们要的矩阵。$

奇异值分解：

推荐阅读更多精彩内容