阅读笔记:CAN: Creative Adversarial Networks Generating “Art”

来了,来了……将近一周没有更新blog,无奈于真的太忙了。所幸今晚没有要紧的事,恰好有很想读的paper,就开始读一读吧。
源于:声称对抗性网络,搞出一个有创造力的计算机,论文来源于之前写过的创意游戏的衍生品,搜索到了这篇觉得很好的并且已经实现了的论文,本文主要瞄准于画作的生成。

Abstract

通过学习艺术品的风格生成艺术作品,采用Generative Adversarial Network (GAN) 。评判方式是人类难以分辨出系统创造出的艺术品与人类创作出的区别。

I.Introduction

Previous work

A. 迭代过程(Evolutionary Process):一个遗传算法框架(这里需要去学习一下什么是遗传算法),通过产生候选,使用fitness函数评估,为提高fitness值用于下一次迭代同时进行修改。以上方式不断迭代,然后生成结果……(说实话我没有搞懂,可能得去学一下遗传算法。。)
很多算法的中心问题是如何得到一个fitness函数,为此引入了人类来驱动这一过程,人类进行观察得到反馈。由此认识到感知和认知在其中的重要性。
B. ColinMartindale提出了基于心理学的关于创造性的一个想法。那就是打破常规,不依据习惯风格,碰巧发生会增加激发创造力的潜能,他在理论上介绍了艺术方面创造力的过程。本文是受到他的启发,发现Martindale的思想在技术上是可行的。

The goal of this paper

本文的目标是艺术家不参与,由计算机单独完成艺术品的创作,但还是会利用艺术家之前的作品。然而有一个问题是,艺术家的作品是由关于作品方面的知识和人生经历构成的。因此需要建模出这样一个理论:如何将艺术品的内容与个人经历经验整合起来。

The work of the paper

本文提出了生成对抗性网络,用于解决在给定训练分布上来创造出新颖的艺术作品,然而一般情况下还是难以突破原始作品所形成的围墙。因此在这里依据Martindale的理论,设计出最大化与已建立风格的偏差,最小化与艺术分布的偏差的作品。在这里可以理解为突破重围又坚持底线。

II. Methodology

1.Background

提出的方法受到了Berlyne的影响。

  • Berlyne的主张:激发的心理学概念与学习美学现象有很强的相关性。“激发的等级”表示一个人的兴奋程度。从高到低为激动、暴力、烦躁的状态到睡眠、放松的状态。外部刺激模式导致激发的产生,另外除了常见的心理学和生态学的刺激模式的特性以外,Berlyne强调了美学方面最重要的激发特性是新颖性(与之前观察者看到的或者体验到的刺激不同)、惊喜(缺乏新颖)、复杂性(在一个刺激生长中随着独立元素的数目增加)、不确定性(语义和句法信息的矛盾性)和困惑性(属于不确定性,由于多样、潜在的不一致性和意义造成),他讲这些词统一命名为委任变量。
  • 太多或太少的刺激都具有消极意义,这种行为与快乐论相联系,Berlyne同样认为应该适度刺激,艺术中最重要的是习惯,回应刺激的重复次数减少唤醒。
  • Martindale的看法:艺术作品的产生是因为潜能的激发,因此设计的系统应该增加潜能的激发次数,但要适度,秉着“最小努力”的原则。
  • Wundt的看法:激发次数增加值维持在最低值为了抵消习惯而不调入消极快乐论的范畴,适度刺激。
    因此,在艺术方面要有渐变的脚步。

2.Art Generating Agent

提出了一个 艺术生产代理的模型,主要是在一定激发程度的情况下利用原有的作品,增加风格不确定性与标准风格作品的偏差,同时避免与可接受的作品相去甚远,探索创作空间产生新作品,再讲新作品加入到艺术生产代理的记忆编码中。
提出的网络在生产艺术品时有两种模糊性:通过设计和固有属性。
固有属性:计算机产生的艺术作品因为没有明确的图片和可解释的主体,因此设计出的作品会模糊不清或者荒诞(激发太多,消极性的快乐),这时人类站出来说这是机器生成的作品,因此提出应该让计算机具备感知力。在20世纪,人们不会把机器与人类创作的作品混为一谈。
设计时风格不确定性:真正的艺术家会遵循一定规则在一个结构化的领域创作,最终打破它。
Creative Adversarial Network(CAN):艺术生产代理通过CAN实现,不遵循已建立的艺术轨迹或风格,但会最大程度的混淆视听让人觉得这个风格就是这个艺术家的。

3.GAN:Emulative and not Creative

GAN中包含生成器和判别器(判别“真实”图片与“骗人”图片的区别),另外判别器不告诉Machine生成的图片与真实图片的差距。
根据Berlyne和Martindals,艺术家应该增加激发潜能,通过创造新颖、惊奇、不确定性或困惑的艺术品。这是在生成创新工作时使用GAN的基础限制。

4.From being Emulative to being creative

Generator接收两个信号(包含两个矛盾点实现三点):

  • 产生新颖作品
  • 新颖不要太过新颖
  • 生成的作品增加风格的不确定性

Generator会收到判别器的两个信号:

  • art or not art: 使生成器改变权重生成图片达到欺骗判别器的目的,满足相同分布。
  • 分类器怎样更好地将生成器生成的作品与已建立的作品无二样。
    Art->(风格分类)->迷惑判别器生成关于作品的、模糊不清的风格

Generator的目的:##探索创造空间,接近艺术分布(最大化第一对象),在适应标准艺术风格范围内最大化艺术品的不确定性。

III. Technical Details

1. Generative Adversarial Networks

目标方程

2. Creative Adversarial Networks

Generator 与discriminator

3. Evaluation standard

Loss Function

这一部分也是最关键的部分我看得很模糊,不是很理解。

IV. Results and Validation

这一块很有意思,首先作者选出了一些很有代表性的测试训练集,然后从定性的角度对艺术家与计算机创作的画进行了分析,更重要的是定量的使用了对人提问的方式以判定生成的画作是否具有价值。这里进行了三个实验:
a. 测试系统产生艺术的能力,人类是否能与其创作的和艺术家创作的区分开来。
b. 在询问所显示的图像是否由人类艺术家或计算机生成之前首先询问受试者一系列问题,比如喜欢、新颖、惊喜、简单程度……
c. 判断CAN生成的图像是否可以被视为艺术品。
d. 评估将风格模糊度损失添加到CAN模型中的效果。
具体的实验结果我没有看。

V. Discussion and Conclusion

Conclusion

这样一篇论文就这样草草完事了,从第三节开始就开始很乱了。之后的一段时间除了老师让看的论文以外不想花功夫在看论文上面了,还是站稳脚跟,从打基础开始吧。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,752评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,100评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,244评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,099评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,210评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,307评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,346评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,133评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,546评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,849评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,019评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,702评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,331评论 3 319
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,030评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,260评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,871评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,898评论 2 351

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,918评论 25 707
  • 用两张图告诉你,为什么你的 App 会卡顿? - Android - 掘金 Cover 有什么料? 从这篇文章中你...
    hw1212阅读 12,709评论 2 59
  • 黄昏雨,又渡清风,思雨至此流水,多少花开又不来,花簪几人落,心门几时伤,逢别一秋,散了一场,离秋离有还魂枕,诉不尽...
    世界十大杰出青年阅读 212评论 0 0
  • 手里拿着手机 看着刚拍的老照片 内心已经释然 不在像从前 不见照片也泪雨连连 或许是因为白天 我们在您们的坟前 已...
    付朝兰阅读 559评论 12 23