文献阅读·26-Image to image translation for domain adaptation.

简介

Image to image translation for domain adaptation.CVPR-2018,Cited-114.Open source(official):https://github.com/zmurez/I2IAdapt.

关键字

域转换，域适应，无监督，深度学习，机器学习

正文

1. 任务

就像标题，利用图到图的转换完成域适应，这里的图到图是从把源域的图转换成目标域的图。无监督域适应：从带标签的源域A上训练模型，应用到目标域B上，A和B输入空间分布不一致，标签空间一致。需要注意的是在无监督域适应的假设下两个地方有别于传统机器学习，1）数据分布不一致；2）测试样本不带标签但可见且可用。

2. 结构

论文隐含了一个假设，即相关的不同域可以具有相同的不变的特征子空间，学习的过程就是寻找如何将域样本映射到这个空间内，所以整个模型就是由4个空间（源域，目标域，不变特征空间，标签空间）之间的映射函数构成，这些函数都是由网络及其参数来表达。涉及的函数和损失如图（原文Fig2）：

基本结构.png

以上这个结构，涉及的损失项及相关文献如下（原文Table1）：

损失项汇总.png

3. 损失项

把上面的两个重构损失合在一起一共有6种损失项，目标函数就是所有损失项的和，每项具体的计算表达如下：

（1）源域特征的分类损失，使用交叉熵计算：

$Q_c=\sum_il_c(h(f_x(x_i)),c_i)$

（2）域重构损失，使用 $L_1$ 计算：

$Q_{id}=\sum_il_{id}(g_x(f_x(x_i)),x_i)+\sum_jl_{id}(g_y(f_y(y_i)),y_i)$

（3）特征对抗损失，计算方式同具体使用的GAN判别器：

$Q_z=\sum_il_a(d_z(f_x(x_i)),c_x)+\sum_jl_a(d_z(f_y(y_i)),c_y)$

（4）域对抗损失，计算方式同具体使用的GAN判别器：

$Q_z=\sum_il_a(d_y(g_y(f_x(x_i))),c_x)+\sum_jl_a(d_x(g_x(f_y(y_i))),c_y)$

（5）循环一致性重构损失，使用 $L_1$ 计算：

$Q_{cyc}=\sum_il_{id}(g_x(f_y(g_y(f_x(x_i)))),x_i)+\sum_jl_{id}(g_y(f_x(g_x(f_y(y_i)))),y_j)$

（6）源域转换后特征的分类损失，使用交叉熵计算：

$Q_{trc}=\sum_il_c(g_x(h(f_y(g_y(f_x(x_i)))),c_i)$

4. 实验

共进行了digit，office，gta5上的实验，这里记录前两个的效果，digit上（原文Table2）：

digit分类准确率.png

office上的准确率：

office.png

digit上的转换效果：

digit转换.png

参考资料

[1] Murez, Zak, et al. "Image to image translation for domain adaptation." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018.