Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network论文下载地址

图1. 图像的超分辨率也用了perceptual loss

图像超分辨率的loss

    原代价函数使重建结果有较高的信噪比PSNR，但是缺少了高频信息，出现过度平滑的纹理。重建的高分辨率图像与真实的高分辨率图像无论是低层次的像素值上，还是高层次的抽象特征上，和整体概念和风格上，都应当接近。所以，根据图像风格转移时的内容损失和风格损失就可以参考使用，在那篇论文中对纹理的重建使用了高层全局信息+底层细节信息。也就是我们所说的感知特征。

Perceptual Losses for Real-Time Style Transfer and Super-Resolution论文下载地址。

图2. 图像分割转移也用了perceptual loss，注意看蓝线加黑线呦，她就是内容损失，而且它作用在较低层特征层上的。然后同样看红线和黑线，她就是风格损失，他是作用在从低到高所有特征层上。图像风格转移元老级文章

perceptual loss是是如何做的？

    它是将真实图片卷积得到的feature与生成图片卷积得到的feature作比较，使得高层信息（内容和全局结构）接近，也就是感知的意思。

论文中是如何使用的？

    图二左边是图像转移网络，右边是损失网络。这里对风格迁移变换yc相当于输入图像X，ys就是输入的风格图片，y算是content Target和Style Target的基本结合。在风格重建时，高层特征，全局结构，纹理明显。内容重建时，底层特征，边缘，颜色，细节信息多，效果越好。

转移网络内容的特征重建loss,φj（y）是y的第j层输出特征层

转移网络风格的特征重建loss,φj（x）是x的第j层输出特征层

损失网络有什么优点？

    风格转移或者超分辨率中，速度快，GAN中收敛效果好，具有高频细节信息。

为什么用perceptual loss收敛速度快？

    回传导数时，相比于MSE对pixel与pixel之间的差异， 回传分布更具有普适性。