End-to-end 3D face reconstruction with deep neural networks

提出了 End-to-End 3D FAce Reconstruction (UH-E2FAR)模型，利用DNN来从单张2D图像中拟合出3DMM的形状参数
本文将人脸形状分为两个子任务：身份和表情，然后通过优化两个loss联合训练。
为了表示目标人脸S，先假设我们有平均脸S_bar，然后对所有人的中性脸做pca，就可以得到身份的主成分特征。之后再通过每个人不同扫描之间的偏移量做PCA得到表情的主成分特征。将这两个加到S_bar上就可以表示S了
BFM：53490个顶点，160470个三角形面，有利于表达面部细节
AFM：7597个顶点，14912个三角形面，有利于姿态归一化


architecture

模型是基于VGG-face的，第4,5个pooling层用于学习表情特征，第5个pooling层用于学习身份特征
使用了RMSE做metric

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容