是这个人,一步步把“深度学习”从边缘课题变成Google等网络巨头仰赖的核心技术

Geoffrey Hinton

早在1960年代,Geoffrey Hinton的高中时期,就有一个朋友告诉他,人脑的工作原理就像全息图一样。

创建一个3D全息图,需要大量的记录入射光被物体多次反射的结果,然后将这些信息存储进一个庞大的数据库中。大脑储存信息的方式居然与全息图如此类似,大脑并非将记忆储存在一个特定的地方,而是在整个神经网络里传播。Hinton为此深深的着迷。

对Hinton来说,这是他人生的关键,也是他成功的起点。“我非常兴奋,”他回忆到,“那是我第一次真正认识到大脑是如何工作的”。在高中时代谈话的鼓舞之下,Hinton在他的求学期间,在剑桥大学以及爱丁堡大学继续他的神经网络的探索。在80年代早期,他就参与了一个雄心勃勃的关于使用计算机的软硬件来模拟大脑的研究,这形成了早期的AI的一个分支,也就是我们现在所说的“深度学习”。

三十多年的努力,深度学习已成为学术界炙手可热的课题。现如今,Hinton和他的深度学习小团队,包括纽约大学的Yann LeCun教授,蒙特利尔大学的Yoshua Bengio教授,在互联网上已然大有名气。作为多伦多大学的教授和研究员,Hinton也同时为Google工作,使用深度学习技术来改进语音识别,图像标记和其他在线工具。LeCun也在Facebook从事类似的工作。AI风靡全球,微软,IBM,百度和许多网络巨头都为之着迷。

在剑桥大学的心理学专业的本科学习当中,Hinton发现,科学家们并没有真正理解大脑。人类大脑有数十亿个神经细胞,它们之间通过神经突触相互影响,形成极其复杂的相互联系。然而科学家们并不能解释这些具体的影响和联系。神经到底是如何进行学习以及计算的,对于Hinton,这些正是他所关心的问题。

他不知道所有的答案,但在他的努力之下已经取得了进展。“我非常兴奋,我们改进了神经网络,而这是一个比较接近大脑真实工作的方式。”他很高兴的说到。在Hinton的世界里,神经网络本质上就像一个运行在多层面上的软件。他和他的伙伴建立了一层层互相连接的人工神经元模型,模仿大脑的行为,处理视觉和语言等复杂问题。这些人工神经网络可以收集信息,也可以对其做出反应。它们能对事物的外形和声音做出解释。它们对语言的理解也在进步。它们可以自行学习与工作,而不需要人为提示或者参与控制。这些正是它们与传统的学习机器的区别。

随着时间的推移,计算机能力的发展,神经网络也更加快速,灵活,高效,得到了很好的扩展。因为这一切已经酝酿了30年了。


从非主流到核心技术

早在80年代初期,当Hinton和他的同事们刚开始这项研究时,那时的电脑还不够快,不足以处理有关神经网络的这些庞大的数据,他们取得的成就是有限的。而当时AI普遍的研究方向也与他们相反,都在试图寻找捷径,直接模拟出行为,而不是试图通过模仿大脑的运作来实现。

在这样艰难的环境下,Hinton和LeCun仍旧坚持了下来。就算到了2004,学术界对他们的研究仍未提起兴趣。而这时距离他们首次提出“反向传播”算法已经过了20年。这个算法是他们神经网络研究的垫脚石。但也就在这一年,靠着少量的来自Canadian Institute for Advanced Research(CIFAR)以及LeCun和Bengio的资金支持,Hinton创立了Neural Computation and Adaptive Perception(NCAP,神经计算和自适应感知)项目。该项目邀请了来自计算机科学,生物,电子工程,神经科学,物理学和心理学等领域的专家参与。

精心挑选了这些研究人员,Hinton的目的是创建一个世界一流的团队,致力于创建生物智能的模拟——至少他打算模拟出大脑运用视觉、听觉和书面的线索来做出理解并对它的环境做出反应这一过程。Hinton认为建立这样一个小组对AI的研究将是一个创举。在此之前,科学家们和工程师们各自为政,很少与其他领域的人合作。
事实证明他是对的。

得益于计算机能力的提高,NCAP实现了一些早期的想法。他们定期的举行研讨会,研究步伐也加快了。最终他们建立了更有效的深度学习的算法。赢得全球AI界的关注,并成功的吸引到了网络巨头们的注意。

2011年,NCAP研究成员同时也是斯坦福大学的副教授Andrew Ng在Google创立并领导了Google Brain项目,今天,Google正在用神经网络来帮助识别Android手机上的语音命令和Google+网络上标记的图像。去年,Hinton与其他多伦多大学的研究人员加盟了Google,目的就是要把这项工作做进一步的发展。

与此同时,百度也在中国和硅谷创建了自己的AI实验室。微软也把深度学习技术用到了自己的语音识别研究上头。而有了LeCun,Facebook也在进一步探索定向广告和人脸识别技术。

另一个NCAP研究成员,Terry Sejnowski则正在帮助奥巴马实施他斥资1亿美元的“脑计划”(全称:推进创新神经技术脑研究计划)。Sejnowski正是与Hinton一起在80年代初发明了玻尔兹曼机的人,这可是最早的生成式随机神经网络之一。

只用了一年,Hinton和他的团队就让CIFAR看到他们的投资会有多么丰厚的回报。而Google已经尝到了甜头。在这个过程中,Hinton和NCAP已然让人刮目相看。相比传统的工程技术,大学生们更乐意去从事深度学习的研究,来自阿姆斯特丹大学的计算机科学教授Max Welling如是说,“就算是远在荷兰的大学生,他们也知道正在发生什么事,他们都想投奔到这个行业来呢。”

换句话说,深度学习是目前的主流。“我们不再是极端分子了,”Hinton说,“我们现在可是炙手可热的核心技术呢。 ”


Hinton和深度学习的未来

秋季,NCAP在旧金山举行了年度研讨会。该研讨会探讨范围广泛,包括了神经系统科学,机器学习,计算机图形设计,面部识别和运动检测等方面。在演讲途中,Hinton静静的站在讲台附近,大多数情况下,他只是聆听,只是偶尔打断演讲者提出一两个问题,或鼓励他的智囊团提出问题并及时讨论。他的冷静、谦逊与公平,对NCAP的成员来说,建立了一个良好的开放合作的氛围,这给他们带来了鼓励,也直接推进了世界的AI研究工作。

深度学习的革命是迟早会发生的,但有了NCAP,有了Hinton,微软、Google、雅虎等网络巨头在语音识别、人工视觉系统等方面的发展就提前了许多。“Geoff就像正能量,每个人都想向他看齐。”Bruno Olshausen,加州大学伯克利分校的Redwood神经系统科学研究中心的主任如是评价。

即便不是NCAP的成员也对此表示同意。 “在过去的20到30年里,他一直在推动着神经网络和深度学习在前进,”余凯,百度深度学习研究院副院长提到,“在此之前,机器学习或者AI技术从未如此对行业产生过如此迅猛的影响。”

Hinton也在世界范围进行深度学习的演讲,他在多伦多大学依然指导着研究生工作。通过NCAP和CIFAR,Hinton还创办了一个暑期学校,由NCAP的成员进行教学,努力培养新一代的AI研究员。现在有了这么多的公司进军该领域,事情可比以前好办多了。这领域也不仅仅是科技巨头的专利了,像Ersatz, Expect Labs和Declara这样的公司,正在起步。

深度学习下一步会朝着什么方向呢?首要的应该是破译人们发布到网络上的话吧,包括那些状态的更新,即时消息和评论等。这些就有够Facebook,Google和雅虎公司忙上一阵了,他们的目标就是在没有人工的情况下真正理解他们的用户到底在说什么。

“我们希望把AI和CIFAR带到一个美妙的新领域,”Hinton说,“一个还没有人或者程序到达的境界。”

那是要去哪里呢?

原创文章,作者:Kryptoners,原文出处:http://36kr.com/p/209216.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,470评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,393评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,577评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,176评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,189评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,155评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,041评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,903评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,319评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,539评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,703评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,417评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,013评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,664评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,818评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,711评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,601评论 2 353

推荐阅读更多精彩内容