文献阅读·53-Unsupervised Attention-guided Image-to-Image Translation

简介

  Unsupervised attention-guided image-to-image translation.NIPS-2018,Cited-53.
  Open source,official,tf,star-240.

关键字

  Image-to-Image，注意力机制，CycleGAN，无监督，深度学习，机器学习

正文

1. 动机

  针对目前的image-to-image任务在图像的全局上使用判别器判别会造成转换的图像背景不一致的问题，提出保持源域背景下的image-to-image，效果如图（原文Fig1）左2所示：

效果.png
2. 思路

  思路是使用attention机制把前景和背景分离，仅在前景上进行域的转换，具体的模型如下图所示（原文Fig2）：

模型.png

  这里的A_S是注意力训练网络，s_a是注意力映射，s_a=A_S(s)，由此可得转换图：

s'=s_a\odot F_{S\rightarrow T}(s)+(1-s_a)\odot s

  上图中的s_b,s_f分别代表背景和前景，s''是转换后的s'转换回来的重构图。

3. 注意力效果

  对源域的图训练出来的注意力可视化效果如图（原文Fig3，Fig4）所示：

注意力可视化

参考资料

[1] Mejjati, Youssef Alami, et al. "Unsupervised attention-guided image-to-image translation." Advances in Neural Information Processing Systems. 2018.

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容