(3DMM)A Morphable Model For The Synthesis Of 3D Faces

• 如何表示一张3D脸
  3DMM的鼻祖，即将一个人脸分解为形状S(shape)和纹理T(texture)向量，两个向量共享相同的坐标点数。形状的信息就是x,y,z的坐标点，而纹理的信息就是r,g,b的颜色信息。然后使用pca将不同的脸归纳到一个脸部模型当中，即先计算平均脸的信息，然后计算不同脸之间的差值，进而计算协方差矩阵，最后得到协方差矩阵的特征值和特征向量。最终每个脸都可以表示为平均脸+差值参数的样子。

• 如何将3D脸匹配到2D人脸图像
  为了将3D形变模型匹配到2D图像，我们就要将3D脸渲染。进而就会需要额外的考虑相机位置，光照，反射等信息。因此引入了另外一组p渲染向量。联合优化T,S,q，三组向量，让重构图像和原始图像之间的区别越小越好。

• 如何多视角的2D图像
  各个图像使用同一套T和S，然后使用不同的p，来一起优化。

参考链接：https://zhuanlan.zhihu.com/p/97564880