为什么选择 Edward

本来想写“为什么选择深度学习”。

向同事推荐Edward,这个工具建在Tensorflow之上,Tensorflow又和深度学习有些关联,同事问:“其他更简单的工具一样解决问题,为什么用这么复杂的工具?”。

或者就写"为什么选择Edward"。

今年年初,哥伦比亚大学、Adobe Research、Google 联合发表了 “DEEP PROBABILISTIC PROGRAMMING”,深度概率编程,即Edward。

Dustin Tran是David M.Blei的学生

国内媒体机器之心很快翻译了这篇文章。

实际上,我在去年就开始试用Edward,至于为什么会使用Edward,现在梳理一下,是很有意思的事情。说起来有点长。首先,从“DEEP PROBABILISTIC PROGRAMMING” 第六作者David M.Blei 讲起。

我电脑上也有个文件夹叫 David M.Blei ,我已经不记得在什么样的情况下建这个文件夹,查了下维基百科,David M.Blei 是LDA(Latent Dirichlet Allocation)最早期的开发者之一,2015年,为奖励其在概率话题模型和贝叶斯机器学习的理论和实践上的贡献,美国计算机协会授予其 ACM FOLLOW。全球有五百多位 ACM FOLLOW ,其中有二十位华人,去年南京大学周志华老师也获得了 ACM FOLLOW(以后再也不讨论周志华《机器学习》是不是本好书这个话题了)。讲这么多FOLLOW的事,是想说,在信息“爆棚”的今天,大家很容易忽略一篇文章某个角落里的一些关键信息,例如,如果我们意识到 David M.Blei 在学术和工业上的贡献,把新闻标题改为 “ LDA大佬携手谷歌推出深度概率编程,贝叶斯与频率学派再起军备竞赛 ”,好不好啊?

还是回到为什么使用Edward这条线上,“DEEP PROBABILISTIC PROGRAMMING” 的摘要上有一些线索。例如,“  Turing-complete " ,图灵完备,我和同事开玩笑时,会说:我这个方法是图灵完备的(潜台词是:别问为什么,我解释不清)。“ MCMC ”,马尔可夫链蒙特卡洛仿真,这是求贝叶斯后验概率分布的常用方法,我去年刚好用MCMC解决了某个问题(的一部分),有段时间我很想再拓展一下。“ 35X faster than Stan ",Stan是一个很好的概率编程语言,老板给我推荐的是 Winbugs,可是我觉着 Winbugs 2012年之后,就停止版本更新了,不放心就跳到了Stan,也许某个原因我又发现了 David M.Blei,而他的学生 Dustin Tran又恰好是Edward的主要开发者。

我关注的关键字:Turing-complete、MCMC、Stan

这大概解释了我为什么使用Edward的原因。我刚好用MCMC,需要有一定的拓展,于是找到了Stan,Stan作为一种贝叶斯编程语言,我一定会找到 David M.Blei,而我也一定会找到他学生主导的Edward。我那时选择Edward,很大原因是Stan的文档太厚了,我一时啃不下来,而Edward刚刚出来,要轻很多,就自然而然地选了Edward。不过,当我真想用Edward时,我又发现它太轻了,我还得回头啃Stan,多么痛的选择啊!

“ 35X faster than Stan ",这个要多说几句。在“DEEP PROBABILISTIC PROGRAMMING” 里,有下面这个比较。Stan用一个CPU算了171秒,Edward用GPU算了4.9秒,Edward比Stan快了35倍,一个用GPU算,一个用CPU算,这好比开汽车的甲和骑自行车的乙比赛,甲赢了,然后甲说:我比乙厉害。这么比好像不那么公平。不过,我又查了下Stan文档,发现Stan也是哥伦比亚大学开发的,而在开发者里有两个成员也是Edward的开发成员,就是“DEEP PROBABILISTIC PROGRAMMING” 的第一、第二作者,不过,最新一版Stan文档里,第二作者已经被“除名”了(也不能说除名,是退出)。挺好玩的一个细节。

Edward 对 Stan 说:我用GPU打败你CPU,你是不是不服气啊! Stan 对 Edward 说:煮豆燃豆萁,豆在釜中泣。。。

其实,Edward和Stan,连起名字,都有一拼。Edward是为了纪念统计学家George Edward Pelham Box。这位老先生提出了统计建模的若干思想。

George Edward Pelham Box提出了“建立一个科学的模型、用数据推断模型、用数据批评模型”的思想

George Edward Pelham Box 老先生很有意思,他在1974年写了一篇纪念更有名统计学家R.A.Fisher的文章“Science and Statistics”(科学与统计学),下图是他在文章中的注释。大意就是作为获得Wisconsin大学统计系的R.A.Fisher教职的他,以及作为R.A.Fisher女婿的他,写了一篇纪念R.A.Fisher的文章。

至于Stan,我在 Stan 文档找到了这张图。Stan是为了纪念Stanislaw Ulam,他是第一颗原子弹“曼哈顿项目”的参与者,大家对原子弹争议很大,但曼哈顿项目确实聚集了当时最优秀的人才,我们现在所使用的很多技术都是源于这个项目,例如仿真技术、计算机等。

Stan作为一种贝叶斯编程语言,它的推断方法中有一种就是MCMC,MCMC和Stanislaw Ulam是有关系的

总之,哥大在给编程语言起名字上要更加传统、更加人性化。很多计算机语言,例如python,是蟒蛇的意思,hadoop是小孩给玩具起的名字,很难看到知识的传承。(码农可能会奋起反击我)。

我解释了我为什么选择Edward的原因,以及Edward和Stan的八卦。但是我仍然没有从我同事的角度解释为什么选择Edward?贝叶斯和频率主义的学派竞争有意义吗?我用频率主义的那些机器学习算法好好的,干嘛改换们庭呢?

我好像都回答不了这些问题。毕竟贝叶斯和频率主义的竞争存在一百年了,很多频率主义机器学习算法主导着工业界的应用,大多数人习惯了这些算法,并习惯了这些算法所产生的应用。

先不解释了。留给下集吧。本质上我当然赞同我同事的看法:能用简单方法实现的问题,绝对不要复杂化。

贴一张从Edward文档的图。大家都很熟悉的图,学校或补习班贴过无数的图,里面有分类、回归、聚类、降维、模型选择、处理等。加了一句话后,就变成贝叶斯的呐喊了:这是机器学习正确的抽象组织吗?

如果不是,我们应该作出什么选择(我加的多余的话)

说一些题外话。关于选择和被选择,看似是无限的选择,其实又是尴尬的有限的选择(人话就是没得选)。家人有天突然劝我:“你。。。能不能找份安稳的工作?”,倘若我处在清醒状态的时候,我一定会说:“一定要对我有信心,你知道嘛,就要到达光明顶了!”,可是当我饮完一瓶啤酒(酒量不行)之后,恍惚之间,眼前无数武林豪杰,加无数马仔,厮杀于山脚之间,那光明顶岂是那厢容易去的地方,然后我看到其中一名马仔就是我。

可能这就是王小波小说中有关“荒谬”的意思,荒谬代表了真实。同时代的人,他们不承认他们之间所产生的荒谬,例如,从我们这个时代看王小波所描述的时代,我们觉着他那个时代是荒谬的,在黑板上贴大字报,一层层贴,帖的人之间产生了纠纷,结果把人打红肿了,被打红肿的人居然认为被打的原因是印度同学对他的诅咒。可是,我们这个时代就不荒谬了吗?例如,很多人在没日没夜的造着机器学习的马甲,这些马甲和大字报应该都差不多吧。这些马甲也会起纷争,也会被打红肿。

娃下去买冰淇淋,回来给我一包辣条,说:“你写东西这么辛苦,我带给你你最爱吃的辣条”。我心里想我什么时候说过我最爱吃辣条了。

娃转身走时,甩给我一句话:记得还我辣条的钱,四块五。

好吧,你赢了!



最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,386评论 6 479
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,939评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,851评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,953评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,971评论 5 369
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,784评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,126评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,765评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,148评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,744评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,858评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,479评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,080评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,053评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,278评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,245评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,590评论 2 343

推荐阅读更多精彩内容