1、人脸微表情识别综述，徐峰，自动化学报，2017.3
（1）微表情的特点：持续时间短，1/25s到1/3s的时间，动作幅度小，不会在上半脸和下半脸同时出现
（2）两个研究方向：
1）一种是通过构建计算机视觉特征，寻找高效的表达形式描述微表情并进行模型学习；
2） 另一种是针对微表情本身的特点， 寻找合适的学习算法进行模型的构建。
（3）识别过程：对于面部图片序列，先检测微表情，再对微表情分类；对于视频人脸检测，寻找微表情进行阶段划分，标注起始点、定点和终止点
（4）微表情数据集：芬兰Oulu大学的SMIC和SMIC2，中科院的CASME和CASME 2，美国南佛罗里达大学的USF-HD，日本筑波大学的Polikovsky dataset
（5）数据集的要点：帧率（普通摄像机、高速摄像机、红外摄像机）、诱导方式（人不能主观模拟微表情）、标注方式（情绪分类、FACS（面部编码系统是一种客观的基于３８个基本元素组合的量化面部运动方法。这些基本元素包含３２个运动单元（AUs）和６个运动描述符（ADs）））
（6）抽取特征的方法：
1）LBP-TOP（Local Binary Pattern on Three Orthogonal Plane）
2）STCLQP（Spatial temporal completed local quantized pattern）
3）六交点局部二值模式 (Local binary pattern with six intersection points, LBP-SIP)
4）基 于 Delaunay 三 角 化 的时域编码模型(Delaunay-based temporal codingmodel, DTCM)
5）基于时空梯度特征的识别方法
6）基于 Gabor 特征的识别方法
7）基于颜色空间变换的特征增强
8）时空局部二值模式积分图 (Spatiotemporal local binary pattern with integral projection, STLBP-IP)
9）面部动力谱特征(Facial dynamics map, FDM)
10）主方向平均光流特征(Main directional mean optical flow feature, MDMO)
11）基于判别式张量子空间分析的识别方法
12）基于稀疏张量典型相关性分析的识别方法
13）基于 MMPTR 的识别方法
（7）微表情分类方法：
1）基于 CBP-TOP 的分类方法
2）基于 Riesz 小波变换的识别方法
3）基于运动模式放大的分类方法：欧拉视频放大技术(Eulerian video magniflcation, EVM)
4）基于特定点跟踪的特定动作单元识别
（8）微表情检测方法：在此过程中需要减小由于面部移动所造成的误差
1）基于几何形变建模的检测方法
2）基于特征差异的检测方法
3）基于光流场积分的阶段分割方法
4）基于 Strain Tensor 的检测方法
（9）结果：
2、Recognising Spontaneous Facial Micro-expressions, Tomas Pfister，2011
（1）算法过程：
1）Active Shape Model, ASM: 物体形状的统计模型，经过迭代变形以适应对象的一个例子。
2）Local Weighted Mean, LWM: 做特征点的局部加权平均计算
3）spatiotemporal local texture descriptors, SLTD: 用于视频中的特征提取，滑动窗口来提取特征
4）LBP-TOP: 用于特征提取
5）MKL: 用于提升分类结果
6）MKL-PHASE 1 & MKL-PHASE 2
3、Spontaneous Facial Micro-expression Analysis using Spatiotemporal Completed Local Quantized Patterns，Xiaohua Huang，NeuroComputing，2015.10
（1）摘要：
1）STCLQP提取了三个有趣的信息，包括sign，magnitude和orientation component
2）向量量化和码本选择（图像编码）
3）discriminative codebooks用于三个信息的提取和融合
（2）优点：将 STCLQP 用于微表情识别的优点在于考虑更多信息, 但这不可避免地引入了高维度, 使用向量量化的技术一定程度上可以缓解这一问题
4、LBP with six intersection points: reducing redundant information in LBPTOP for micro-expression recognition，Yandan Wang，ACCV，2015.4
这项工作的主要改进就是降低了特征的维度，提高了特征抽取的效率
5、A Delaunay-Based Temporal Coding Model for Micro-expression Recognition，Zhaoyu Lu，ACCV，2014
引入了主观表观模型 (AAM) 和 Delaunay 三角化对人脸进行区域的划分, 只编码含有重要信息的区域, 理论上识别能力很强. 但是在所有图像上使用AAM 进行标注可能面临标注结果不稳定的问题, 从而破坏后续处理的有效性
6、Facial micro-expressiondetection in hi-speed video based on facial action coding system (FACS)，Polikovsky S，IEICE Transactions on Information and Systems，2013
使用一种梯度特征描述面部的时空局部动态
1）使用主观形状模型定位人脸关键点, 根据常用 FACS 编码把人脸分割为 12 个区域
2） 对每个区域的图像进行一些预处理, 包括归一化和平滑处理
3）上述过程得到预处理完毕的 12 个时空块, 每个块对应一个面部局部区域.
7、Microexpression Identification and Categorization Using a Facial Dynamics Map，Feng Xu，IEEE Transactions on Afiective Computing，2016
1）着重于解决人脸移动造成的识别问题。利用光流对像素级别的微表情序列进行特征提取。
2）以光流场为描述微表情运动模式的基础特征，并进一步提取更精简表达的形式，提出了面部动力谱特征。其瓶颈在于稠密光流场的计算时间比较长， 不适合做实时、 大规模的微表情识别
8、Face recognition and micro-expression recognition based on discriminant tensor subspace analysis plus extreme learning machine，Wang S J，Neural Processing Letters, 2014, 39(1): 25-43
将微表情看作三维时空中的张量（图像尺寸 * 帧数），通过判别式的子空间学习方法学习最优的特征表达，然后使用极限学习机进行模式分类。
9、Wang S J, Yan W J, Sun T K, Zhao G Y, Fu X L. Sparse tensor canonical correlation analysis for micro-expression recognition. Neurocomputing, 2016, 214: 218-232
通过张量表示微表情序列及其LBP 特征, 并在张量上进行典型相关性分析 (Sparse tensor canonical correlation analysis)，学习微表情序列本身与其LBP 特征的关系。将两种变换后的表达作为最终特征， 并利用最近邻算法进行分类, 性能取得了进一步的提升
8和9分类的准确率都不超过50%。
10、Wang S J, Yan W J, Zhao G Y, Fu X L, Zhou C G.
Micro-expression recognition using robust principal component analysis and local spatiotemporal directional features.
Computer Vision | ECCV 2014 Workshops. Switzerland: Springer International Publishing, 2014
通过 RPCA 将微表情分解成静态面部图像和动态微表情过程。利用使用一种改进的算子局部时空方向特征提取微表情的动态特征，使用SVM进行分类。准确率为60%+。
11、Ben X Y, Zhang P, Yan R, Yang M Q, Ge G D.
Gait recognition and micro-expression recognition based on maximum margin projection with tensor representation.
Neural Computing and Applications, 2015, 127(3): 1-18
把微表情图像序列和步态序列看作三阶张量，并寻找最优投影矩阵。试图优化类间拉普拉斯散度与类内拉普拉斯散度之差。使用MPCA作为预处理，在原高维度空间中找出一种合适的线性变换做最优矩阵投影，再使用KNN做分类。准确率为80.2%。
12、总结：
1）目前的方法主要是对微表情图片特征的提取（如果是视频）、识别和分类进行研究。
2）识别主要是对微表情图片进行切割、区域划分+光流场、图像积分、图像编码、特征点定位等方法进行操作。然后选择特定方法进行分类。
3）同时包括图片的预处理，主要是降噪滤波。
4）识别精度由于训练集的不同无法统一定义，还有评判标准的不同也无法准确判定。大致在60%-80%（自称），30%-80%（他称）
13、毕设：
（1）分块LBP-TOP特征提取：提取LBP特征，采用 uniform code 编码的话，会生成一个 59 维的数组，记录着 LBP 的直方图信息，那么 LBP-TOP特征，在三个正交平面都提取LBP，最终会生成一个 3*59的数组，再乘表情的块数就是整个表情序列的特征维度。
（2）将（1）中的特征做一定的矩阵转换放入CNN中进行训练，测试集也做对应的预处理，使用softmax分类器进行分类
（3）对比试验：
1）不提取特征直接放进CNN
2）提取LBP-TOP特征，使用其他分类方法（如组稀疏最小二乘回归、SVM等）进行对比
3）与其他人工作进行对比
.
