1. SRGAN
论文题目:Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network
存在的问题
尽管目前在超分辨率的准确率和速度方面有了很大的进步,但是还是有一个未解决的问题:当我们用一大较大的放大倍数的时候,我们如何恢复出出色的画面质地细节?目前的大部分研究都聚焦于最小化重建均方误差。以此作为优化的结果会带来很高的PSNR(峰值信噪比),但是通常的结果是他们缺乏高频细节以及在感知上不与原图匹配。
解决的问题
这篇论文,提出了一种基于生成对抗网络的超分辨率重建。此外,将损失函数(MSE)改为感知损失函数(perception loss function),其由对抗损失(adversarial loss)和内容损失(content loss)构成。
本文要点
1. 对抗网络结构
(1) 生成网络(generator network):
在Johnson的论文的灵感下,我们应用了block layout. 具体的说,我们在batch-normalization层后面用了两个3x3卷积核和64个feature maps的卷积层。另外用了ParametricReLU作为激活函数,
此外,我们还运用了深度残差网络(ResNet)和skip-connection。
(2) 判别网络(discriminator network):
判别网络用来判别真实图形和从生成网络生成的图片。用了LeakyReLU激活函数,避免了在网络中使用max-pooling。它包含了八个卷积层。Strided卷积被用作减少图片分辨率当每次特征翻倍。
这个网络就是为了训练一个生成模型G,其目标是为了使判别网络迷惑,以至于分不清超分辨率重建的图片和真实的图片。
2. 感知损失函数(Perceptual loss function)
(1) Content Loss
不采用像素级的均方误差, 我们采用VGG损失. 我们定义VGG损失为目标图片与预测图片的欧式距离。
(2) Adversarial Loss
生成损失被定义为判别网络判断的概率:
D(GI)部分指的判别网络判定重建图片是原始高分辨率图的概率。为了更好的计算,我们最小化--logD(GI),而不是log[1-D(GI)]。