DECA(Detailed Expression Capture and Animation)
目标
在弱监督的情况下训练一个从单张2D图片到3D人脸转换的模型。并且3D人脸可以生成真实的动画。
动机
基本就是为了提升FLAME的效果。基础的FLAME模型会受限于网格密度而丢失一些面部细节，例如皱纹。而DECA就是为了在这方面提升。
主要思想
- 同一个人在不同表情下，面部细节是有区别的（例如皱纹），但是与此同时，面部的整体形状是不会变化的。因此建模的时候应该将面部形状看做静态细节，而皱纹什么的看做动态细节。文中的做法就是将动态细节与表情挂钩，静态细节与身份挂钩（这个和FLAME一样）。
- 除了FLAME参数以外还加入了反射参数，相机参数，光照参数。
方法
- 粗糙重构损失：将原始2D图像通过一个ResNet-50输出对应的FLAME参数，反射参数，相机参数，光照参数。然后再用这些参数重构回原图，计算重构损失。
- 特征点映射损失：计算2D图像的landmark和投射到FLAME模型后再映射回二维的landmark之间的差距。
- 闭眼损失： 和特征点映射损失很想，不过就只包含landmark中上下眼皮的那几个点。之所以单独拿出来是因为他对面部重构结果有较大的影响，生殖会影响到面部形状。
- 光照损失： 使用了别人的方法计算3D投射后和原图的光照区别。
- 身份损失：先训练一个人脸识别模型，将图片输入人脸识别模型后拿到输出的embedding，最后对两个人的embedding做相似度计算。。
- 形状一致性损失：以前的方法（FLAME）都是要求同一个人的不同照片的形状参数的区别小于一定值，但是这个阈值就难以选择。所以他们尝试直接对调同一个人的两个图片的形状参数，要求他们重构损失越小越好。
- 约束项： 约束了情绪和反射参数不能太大。
