最近查了一下基于深度学习的超分辨率重建方法,除了John的风格迁移网络直接说明了网络既可以用于风格迁移,也可以用于超分辨率,我还看到了两篇文章(暂时只找到这两篇)。
《Texture Enhancement via High-Resolution Style Transfer for Single-Image Super-Resolution》
论文地址:https://ieeexplore.ieee.org/document/8290957
基于的原理是大图像的纹理由不同尺度的小图像组成(类似于分形的思想?),例如下图缩小0.4倍再平铺的视觉效果和原始HR很像。
算法分为三个步骤:
- 使用一般的SR重建方法生成一幅初始HR图像;
- 将初始HR图像缩小再平铺,生成HR风格图像(缩小的尺度文中有介绍专门的算法,这里不介绍了);
- 以初始HR图像作为内容图像,HR风格图像作为风格图像进行风格迁移,得到最终的结果。
网络的整体结构如下:
《Enhancing Image Quality via Style Transfer for Single Image Super-Resolution》
论文地址:https://ieeexplore.ieee.org/document/8290957
这篇文章没有细看,只看了一下方法图解。
- 用基于MSE损失的网络生成图像HR1;
- 用基于感知损失的网络生成图像HR2(文中使用的是SRGAN);
- 以HR1为内容图像,HR2为风格图像进行风格迁移;
- 风格迁移结果与HR1做一个soft thresholding,得到最终图像。
但是我不知道这个方法这样处理的意义何在,后面有机会可能再细看一下。