写在开始

在这里，对Xiong W等人的论文《Foreground-aware Image Inpainting》(2019年)做个简要的笔记。不足之处还请在评论区指出。

1 简述

Xiong W等人提出了一种前景感知图像修复系统[1]，它明确地解释了结构推理和内容修复。具体来说，该模型首先预测前景轮廓，然后使用预测得到的轮廓作为引导来修复缺失区域。通过这种方式，轮廓修复模型预测了物体的合理轮廓，并进一步显著提高了图像修复的性能。实验表明，该方法明显优于当时的现有方法，并且在具有复杂成分的具有挑战性的案例中实现了优异的修复效果。

2 问题

现有的图像修复方法通常通过借用来自周围图像区域的信息来填充孔。当孔与前景物体重叠或接触时，由于缺乏关于孔内前景和背景区域的实际范围的信息，它们经常产生不令人满意的结果。但是，这些场景在实践中非常重要，特别是对于诸如分散对象移除等应用程序。为了解决这个问题，Xiong W等人提出了基于前景感知的图像修复系统。

3 方法

依据上述问题，Xiong W等人提出了基于前景感知的图像修复系统。鉴于图像不完整，模型的目标是输出具有视觉上令人愉悦的外观的完整图像。

3.1 网络模型

所提出的基于前景感知的修复系统的总体框架如图1所示。它由三个模块级联，即不完整轮廓检测模块，轮廓修复模块和图像修复模块。系统先使用轮廓检测模块自动检测不完整图像的轮廓；然后采用轮廓修复模块来预测轮廓的缺失部分；最后，将不完整图像和完成的轮廓输入到图像完成模块以预测最终的修复图像。为了训练前景感知模型，需要准备特定的训练样本和孔洞。鉴于篇幅，以及注重网络模型，本文在这里对如何生成适合任务的特定孔掩模不进行介绍，仅仅简要地介绍轮廓修复模块和图像修复模块。

图1 基于前景感知图像修复的网络模型

3.2 轮廓修复模块

轮廓修复模块的目标是修复有孔洞破坏的输入图像的缺失轮廓。给定不完整的图像 $I_{in}$ ，并且孔洞蒙版H表明缺失像素的位置。轮廓修复模块的目标是预测损坏的前景对象的完整轮廓 $C_{c}$ 。 $C_{c}$ 是具有与输入图像相同形状的二进制映射，其中1表示前景对象的边界，0表示图像中的其他像素。轮廓修复模块采用与现有技术的修复方法[2]类似的架构，其由基于GAN的生成器和PatchGAN判别器组成。该生成器是粗粒度网络和精细网络的级联。

修复轮廓是一项具有挑战性的任务。虽然采用了焦点损失来平衡数据，并采用光谱归一化GAN来获得更清晰的结果，但仍然难以训练整个轮廓修复模块。如果同时应用内容损失和对抗性损失，即使仔细调整两种类型的损失之间的权重，训练也会失败。为了避免这个问题，轮廓修复模块使用curriculum learning逐步训练模型。在第一阶段，轮廓修复模块仅需要输出粗略轮廓，因此仅仅训练具有内容损失的模型；在第二阶段，使用对抗性损失来微调预训练的网络，但是与内容损失相比具有非常小的权重，即0.01:1，以避免由于GAN损失的不稳定所导致的训练失败；在第三阶段，使用对抗性损失的权重和内容损失的权重为1:1来微调整个轮廓修复模块。

3.2 图像修复模块

通过前景和背景之间的完整轮廓，模型可以获得前景和背景像素所在位置的基本知识。这些知识为修复图像提供了强有力的线索。图像修复模块将不完整图像 $I_{in}$ ，修复后的轮廓和孔洞蒙版H作为输入，并输出修复图像 $I_{c}$ 。除了生成器和判别器的输入外，它具有与轮廓修复模块相同的架构。

在输入等值线图之前，先将其二值化以获得阈值为0.5的最终轮廓 $C_{c}$ 。图像修复模块的生成器还包含粗粒度网络和细化网络。粗粒度网络输出粗略图像，图像可能模糊，缺少细节。然后细化网络将粗略图像作为输入，并生成更准确的结果。然而，在这样的设置中，发现最终预测倾向于忽略修复轮廓的引导。生成的图像的形状与孔洞区域中的输入轮廓不一致。此问题可能是由图像修复网络的深度引起的。在映射层之后，由于错误累积，由修复的轮廓提供的知识可能被忘记或削弱。为了解决这个问题，将轮廓输入精细网络以增强条件的效果。然后由细化网络生成的图像与孔洞蒙版连接，并反馈到图像判别器以进行对抗学习。

图像修复模块首先在大型Places2数据集上进行预训练，没有轮廓图的额外通道，然后在轮廓修复模块输出的引导下对显著性数据集进行微调。与在Places2数据集上预先训练的网络相比，由于对显著性数据集进行微调的网络采用不同的输入（将额外的轮廓作为输入），当对网络进行微调时，将保留预训练网络中除了第一层之外的所有层的参数，并随机初始化图像修复模块的第一层。

图像修复模块的训练过程有两种设置。第一种是调整轮廓修复模块的参数，并仅微调图像修复模块。第二种方法是联合微调两个模块。在实验中，作者观察到这两者之间存在细微差别，因此作者将方法修复设为第二个设置。

4 实验结果

论文[1]中对该方法进行了多个实验，在这里仅仅只列举代表性的实验结果，如图2所示。

图2 基于前景感知的图像修复结果

5 其他

5.1 创新点

论文[1]的创新点有：

1)明确地解决结构推断和图像修复的问题，解决图像修复中与孔洞重叠或接触前景对象的图像中的挑战性场景；

2)为推断图像的结构，提出了一种明确训练的轮廓修复模块来引导图像的修复；

3)实验表明，与现有方法相比，该系统可以产生更高质量的修复效果。

5.2 优点

论文[1]所提出的方法优点有：

1)能够生成合理的物体轮廓；

2)解决图像修复中与孔洞重叠或接触前景对象的图像中的挑战性场景；

3)产生更高质量的修复效果。

参考文献

[1] Xiong W, Lin Z, Yang J, et al. Foreground-aware Image Inpainting[J]. arXiv preprint arXiv:1901.05945, 2019.

[2] Yu J, Lin Z, Yang J, et al. Free-form image inpainting with gated convolution[J]. arXiv preprint arXiv:1806.03589, 2018.

论文笔记《Foreground-aware Image Inpainting》