图像风格迁移--梵高毕加索笔下的世界

想看看梵高笔下的你吗?想看看毕加索眼中的世界吗?今天,这一切已经成为现实,接下来我就来简单介绍一下种深度学习技术来帮助大家了解计算机是真样画画的。

废话不多说,大家可以先看看实验结果:



怎么样,计算机的绘画水平可以吧。第一副图片是厦门大学最高建筑,以下四幅图片就是对应的风格图片和计算机生成的迁移图片啦,很炫酷有木有。目前该技术已经商用,国外有一款app叫prisma,就可以根据用户的需要生成相应的风格迁移图片啦,不过服务器在国外,中国好像下载app后申请服务没有响应。

下面我就简单讲讲这项技术背后的原理啦,网上已经有很多博客讲过啦,但我还是想写,毕竟菜鸡要进化啊,哈哈哈。该技术的首创者也就是“A Neural Algorithm of Artistic Style”这篇论文的一作Leon A. Gatys在研究VGG19网络的时候发现CNN网络的高层可以得到图片的结构信息,低层可以得到图片的风格信息,于是作者就想啊,把两幅图片的风格和结构结合起来不就是图像风格迁移了吗,就这样该技术横空出世,计算机从此学会了画画。

duangduangduang,敲黑板啦,先简单介绍一下VGG19,这个是一种深度学习网络,有·十九层,大概长这样:


作者使用conv4_2提取结构特征,然后使用conv1_1,conv2_1,conv3_1,conv4_1,conv5_1提取风格特征,最后把两个特征按照一定的比例相加,在加点盐啊料酒啊,还有爱心啊神马的,一副特定艺术风格的图片就诞生了,是不是棒棒的。


考虑到简书是个文艺的平台,什么损失函数,Gram矩阵都去死吧,大家可以想象有三个管道,风格图片从左边管道进去被分解成许多小碎片,结构图片从右边管道进去,用来限定生成图片的样子,然后两种内容在中间相遇,不停的迭代优化,慢慢的就产生了结合两者自身特点的风格迁移图片啦。

但是该技术有个缺点,就是太慢啊,是一个生成过程,要不停的迭代优化,直到得到满意的结果为止,同时不同的结构图片和风格图片的差异性不同,要得到满意的风格迁移图片还要调整参数,这就极大的影响了该方法的泛化性能。于是2016年,李飞飞老师的学生出手了,他们对该方法进行了优化调整,设计出了一种实时的快速风格迁移网络,大概长这样:


该网络主要训练后面彩色的那部分损失网络,一劳永逸,训练完就可以直接拿来用啦,效果也比初始方法好很多。第二种网络还没来得及仔细看,以后看完再回来详细讲吧,就酱。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,451评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,172评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,782评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,709评论 1 294
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,733评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,578评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,320评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,241评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,686评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,878评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,992评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,715评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,336评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,912评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,040评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,173评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,947评论 2 355

推荐阅读更多精彩内容