姓名:丁新宇
学号:22011211074
学院:通信工程学院
【嵌牛鼻子】风格迁移 深度学习
【嵌牛正文】
1. 神经风格迁移之前的风格迁移方法
1） 基于笔划的渲染（Stroke-based rendering SBR）
基于笔划的渲染是指在数字画布上增加虚拟笔划以渲染具有特定样式的图片的方法。应用场景大多限定在油画、水彩、草图等，不够灵活。
2） 图像类比方法
图像类比旨在学习一对源图像和目标图像之间的映射，以监督学习的方式定位风格化图像。图像类比训练集包括成对的未校正的源图像和具有特定样式的相应的程式化图像。类比方法效果尚可，难点在于实际中很难获得成对的训练数据。
3） 图像滤波方法
考虑到图像风格迁移实际上是一个图像简化和抽象的过程，图像滤波方法采用一些组合的图像滤波器（如双边和高斯滤波器等）来渲染给定的图片。
4） 纹理合成方法
纹理是图像中重复存在的视觉图案。纹理合成是在源纹理图像中增加相似纹理的过程。这些基于纹理合成的算法仅利用低级图像特征，限制了它们的性能。
2. 神经风格迁移（NTS）分类
目前的NST方法分为两类：基于在线图像优化的慢速神经网络方法和基于在线模型优化的快速神经网络方法。
第一类通过逐步优化图像来实现风格迁移和图像重建。第二类优化了生成离线模型并使用单个前向传递产生风格化图像，这实际上利用了快速图像重建技术的思想。
1). 基于在线图像优化的慢速神经网络方法
在线图像优化的基本思想是分别从内容和风格图像中提取内容和风格特征，并将这两个特征重新组合成为目标图像，之后在线迭代地重建目标图像，依据是生成图像与内容和风格图像之间的差异。
内容损失函数定义为两者通过VGG网络提取的特征之间的欧式距离。
风格损失函数定义为两者通过VGG网络提取的特征之间的格拉姆矩阵的欧氏距离。
对于一个深层网络，浅层网络提取的是低维特征如颜色等，深层网络提取的是高维的语义内容信息。所以风格损失经常对比的是浅层网络特征，内容损失对比的是深层网络特征。使用VGG-19网路，一个推荐的选择是内容损失取1到5层的5个特征图，风格损失取第4层特征图。
另一点比较重要的是经常会添加一个整体差异loss，用来平滑生成图像，使结果更自然。
3. 神经风格迁移研究难点
1. 三方面的权衡
速度、灵活性、转换质量三方面的权衡
2. 可解释的神经风格迁移
CNN的黑盒子特性使得过程不可控，很难实现更精细的控制。
3. 抗干扰性能
如果在图像上加一些干扰，网络的结果可能变得不可接受。
