深度学习可以做哪些有趣的事儿?(1)--A Neural Algorithm of Artistic Style

总体结构:

如果构建一个cnn,在浅层更多保留原图的细节(content),而在深层的时候(style),“看起来是梵高星空的样子”,那么一副照片就有了“星空”的风格。如图,内容重构随着层数变深而丢失了越来越多的细节(即滤波器响应F),而风格图随着层数加深越来越能体现出“风格”(即Gram矩阵(见下文))。

模型: vgg19+avg pooling+无全联接

F(lij) 是l层第i个滤波器在位置j的响应.

定义内容损失函数为filter输出与照片的平方误差:


其中P是照片在该层中的内容表示,

定义同一层中不同滤波器之间响应的内积为Gram矩阵:

于是第l层的损失为:

其中Al为风格画在该层的风格表示,

则风格损失函数为各层损失之和:

之后,从两幅白噪声图片开始,分别计算内容损失和风格损失并进行梯度下降迭代,

最终的联合损失函数为:

由于内容和风格的损失函数相互独立,因而可以任意地改变它们之间的比重。

纵轴为不同层风格误差组合,横轴为不同的内容风格比重

paper 链接:https://arxiv.org/pdf/1508.06576.pdf

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容