这篇paper主要是做运动迁移的。现有Shape Deformation Transfer的问题:
- 要求成对数据
-
或要求point-wise的对应关系
以上图为例,要把一个瘦子(source域)的动作迁移到胖子(target域)身上。传统的做法往往需要一一对应的动作数据,或者是point-wise的对应关系。所谓point-wise,指的是人体三维模型的每一个顶点对应关系(人体三维模型可以看成是很多个小三角形组成)。显然这两种要求都不太现实。
解决办法
- 使用VAE-CycleGAN解决上述问题。
- 加入相似性约束,使得运动迁移过程中,保持identity信息不变。
下面对这两点进行详细解读:
使用VAE-CycleGAN
上图是模型的训练过程,下图是推断过程。整个网络结构清晰易懂。
推断过程中,输入图片通过Encoder提取特征,然后利用
刚才提到了利用做运动迁移,这里有一个问题是,如何确保迁移的就是运动呢?理论上来说,Decoder为了更好的重构target,那么不仅仅会迁移source的运动信息,还要迁移source的identity信息到target域。这里作者为此加入相似性约束,使得运动迁移过程中,保持identity信息不变。
相似性约束
传统的判别三维人体模型相似性的办法通常采用Light Field Distance。那么,如果我们能根据编码后的特征计算二者之间的光场距离,然后最小化光场距离,也就是最小化运动迁移网络前后的光场距离(identity信息),保证迁移前后identity信息不变就好了。可是有存在一个问题:光场距离计算比较麻烦,且是不可导的
于是,这里作者就设计了一个神经网络去计算拟合光场距离。网络结构如下:
模型的损失函数
模型的损失显然包括三部分,GAN Loss,Cycle consistency loss,similarity network loss。