注：暑课听得云里雾里稀里哗啦，简单结合别人博客总结一下一些最基本的模式识别相关技术。为什么简书和Typora不是完美衔接的...好多乱码...摔。

Introduction of PR Approaches

• 统计模式识别——找得到特征并进行描述

  • 特征提取

    • 线性特征提取
      • PCA
      • 2d PCA
      • LDA
    • 滤波
      • Fourier Transform
      • Garbor Filter

• 句法模式识别——存在具有联系的各种结构

• 神经网络模式识别——结构特征均复杂

  • ANN

ANN (Artificial Neural Networks)

• Back Propagation

  1. 利用初始权量，在输入向量上运行前向传播，从而得到所有网络所有神经元的输出。
  2. 由此，每个输出层神经元得到一个误差，即输出值与实际值之差。
  3. 计算作为神经元权量的函数的误差的梯度，然后根据误差降低最快的方向调整权量。
  4. 将这些输出误差反向传播给隐藏层以便计算相应误差。
  5. 计算这些误差的梯度，并利用同样的方式调整隐藏层的权量。

  不断迭代，直到网络收敛。 实际上，度量一个神经网络好不好，也是主要看是否收敛和收敛的速度。

PCA (Principal Component Analysis)

• 步骤 （对m条n维数据降到指定k维）
  1. 将原始数据按列组成一个$m*n$矩阵X；
  2. 将X的每一行（代表一个属性字段（feature））进行0均值化（减去均值）；
  3. 求出协方差矩阵C，$C=\frac{1}{m}XX^\mathsf{T}$
  4. 求出C的特征值及对应的特征向量；
  5. 将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P；
  6. Y=PX即为降维到k维后的数据；
• 解释
  1. 设我们有m个n维数据记录，将其按列排成$m*n$的矩阵X，设$C=\frac{1}{m}XX^\mathsf{T}$，则C是一个对称矩阵，其对角线分别个各个字段的方差，而第i散布矩阵是用来估计多维正态分布协方差的统计量行j列和j行i列元素相同，表示i和j两个字段的协方差（协方差表示字段间的独立性，协方差为0时字段完全独立）。
  2. 第四步即对角化C，这是为了使各字段两两间协方差为0，而字段的方差则尽可能大。
  3. PCA相当于说把训练数据各个类之间相关度高的筛除。这是通过寻找合适的坐标轴表达实现的。
• 分析
  1. PCA本质上是将方差最大的方向作为主要特征，并且在各个正交方向上将数据“离相关”，也就是让它们在不同正交方向上没有相关性。
  2. PCA也存在一些限制，例如它可以很好的解除线性相关，但是对于高阶相关性就没有办法了，对于存在高阶相关性的数据，可以考虑Kernel PCA，通过Kernel函数将非线性相关转为线性相关，关于这点就不展开讨论了。另外，PCA假设数据各主特征是分布在正交方向上，如果在非正交方向上存在几个方差较大的方向，PCA的效果就大打折扣了。
  3. 其主成分分析的训练是非监督的，无法利用训练样本的类别信息。且识别率不是很高，维数基本比较大，计算量大。

2D PCA

• 优势
  1. 直接计算训练样本的协方差矩阵；
  2. 计算特征值与特征向量的用时更少（因为协方差矩阵更小）；
• 与PCA之对比
  1. 使用原始图像数据，协方差矩阵规模小，计算特征值和特征向量对应地更为简单。
  2. 保留了原始图像邻域之间的内在联系，使得准确度得以提高；

LDA (Linear Discrimination Analysis)

• 步骤

  1. 计算散布矩阵$S_w$和类内散布矩阵$S_b$；
  2. 第二步，计算$S_w^{-1}S_b$的特征值及特征向量，从而实现LDA转换；

• 解释

  ​ LDA主要是把训练数据投射到另一个空间上，使其同类间紧凑，不同类之间分得开。

  
  
  LDA示意图

• 优势

  1. 对于区分度高的特征提取有良好效果；
  2. 可降维；

• 限制

  1. LDA至多可生成C-1维子空间；
  2. LDA不适合对非高斯分布的样本进行降维；
  3. LDA在样本分类信息依赖方差而不是均值时，效果不好；
  4. LDA可能过度拟合数据。

2d Fourier Transform

op1=>operation: Spacial Domain f(x,y)
op2=>operation: Frequency Domain F(u,v)
op1->op2

• 概述

  利用傅里叶变换，得到频谱图；频谱图选定范围进行傅里叶逆变换，得到原图像的相应处理图（保持灰度）。根据频谱图，可以提取图像特征。

Gabor Filter

• 概述

  在图像处理中，Gabor函数是一个用于边缘提取的线性滤波器。Gabor滤波器的频率和方向表达同人类视觉系统类似。研究发现，Gabor滤波器十分适合纹理表达和分离。在空间域中，一个二维Gabor滤波器是一个由正弦平面波调制的高斯核函数。

  在实际应用时，可以根据检测对象的方向趋势，选择合适的方向参数进行滤波。如在检测人脸的五官时，可以根据人脸的偏转角度进行滤波，可以使特征点的定位更加准确。