做项目时涉及到图像风格迁移的东西，于是补了一下，用本篇博客记录之，并附上pytorch代码，以备不时之需。
所谓风格迁移，其实是图像生成，即用两种图像生成一种结合二者内容和风格的新图像。
如何量化生成图像的内容和风格呢：
（1）生成图像的内容，即两幅图像像素值越相同越好；
（2）生成图像的风格，即两幅图像纹理上越相似越好。
1.生成图像的内容
如图1所示，给定随机图（像素随机生成）和内容图
，以及训练好的CNN（全卷积，不含全连接），随机图输入CNN，在第
层输出的特征图为
。内容图输入CNN，在第
层输出的特征图为
，要想使随机图通过梯度下降法更新至和内容图一样，那么我们只需要定义二者的损失函数为：
此处的损失函数为误差平方损失，很容易理解，就是使二者通过同一个CNN得到的特征图的激活值误差最小。因为相同的两幅图像，输入同一CNN，在某一层输出的特征图是相同的。二者特征图的激活值越相近，那么二者像素点的值也会越相近。
在训练过程中保持CNN的参数不变，使用梯度下降法更新输入图像：
即可实现随机图像更新至内容（像素点）和内容图越来越相近。
2.生成图像的风格
比起内容，风格是一种不容易量化的抽象特征。为了量化图像的风格，我们用纹理结构来描述不同图像的风格特征，而纹理结构可以用CNN提取的不同特征的相关性（协方差）来衡量。
特征图的不同通道表征着图像的不同特征，把特征图的不同通道展开写成一行，则其维度变为
，其不同特征的相关性（协方差）用
矩阵表示：
借用两幅图来表述这一过程：
至此，我们已经知道了量化图像风格的方法。如图1所示，给定随机图和风格图
，要使随机图使用梯度下降法更新至纹理和风格图相近，那么我们在CNN的第
层需要定义的损失函数为：
其中是随机图
在第
层的特征图的
矩阵，
是风格图
在第
层的特征图的
矩阵。这里的损失函数也是误差平方损失，只不过是二者协方差矩阵的误差。输入特征进过计算协方差，由前后变化的维度即可得知损失了位置信息，但是这不影响风格的迁移。
原论文的作者认为CNN不同层生成的风格水平不同，同时采用多个层的风格损失相结合会使生成图像效果更好：
其中是不同层的风格损失的权重，是经验值（就是超参数，随便调）。
同样的，通过保持CNN参数不变，使用梯度下降法在训练中不断更新随机图（更新方法参考公式(2)），即能使其具有风格图的纹理特征。
3.风格迁移：
如图1所示，风格迁移的目标是给定内容图，风格图，以及训练好的CNN，使随机图通过训练不断更新，能够即具有内容图的内容，又具有风格图的纹理，即图1中的结合图。从结果来看，我们是把风格图的风格“迁移”到了内容图上。但从过程来看，实际是一个图像生成的过程。
这一目标实际就是以上两步（内容生成和风格生成）的结合，我们定义的损失函数就是内容损失函数和风格损失函数的加权和：
这里的和
分别是内容损失和风格损失的权重，也是经验值。
越大，结合图的内容就越具像，反之越模糊；
值越大，结合图的纹理越相近。
同样地，和公式(2)一样，在训练过程中，保持CNN参数不变，通过反向传播，利用梯度下降法不断地更新随机图，即可实现内容图和风格图的结合，生成图1所示的结合图。
