深度神经网络和宇宙性质的非凡连系

https://www.technologyreview.com/s/602344/the-extraordinary-link-between-deep-neural-networks-and-the-nature-of-the-universe

没人知道为什么深度神经网络这么擅长解决复杂问题。现在物理学家说秘密藏在物理法则里。

过去几年中,深度学习技术改变了人工智能的世界。一个一个曾被认为是人所特有的那些能力和技巧,被越来越强大的机器所征服。现在,深度神经网络已经在人脸识别和物体识别方面超越了人类。他们甚至学会了古老的围棋,并且击溃人类棋手。

但是有个问题:没有数学理论能解释,为什么层叠的网络会擅长这些挑战。数学家对此完全困惑。尽管深度神经网络取得了巨大的成功,没有人能确定它们是怎么做到的。

今天哈佛大学的 Henry Lin 和 MIT 的 Max Tegmark 的工作改变了这个状况。这两位说,之所以数学家对这个问题这么尴尬,是因为问题的答案在于宇宙的特性。换句话说,答案源于物理规则,而不是数学规则。

首先,让我们设定问题:就拿从百万字位灰度图片区分猫和狗为例。

这样的图片包含一百万像素,每个像素可以从256个灰度里取值。理论上,一共存在256^1000000 张可能的图片,其中每一张都需要计算图片上到底是只猫还是只狗。可是神经网络,只用区区几千个到百万个参数,不知怎么着就能轻松完成这个任务。

用数学家的语言说,神经网络的机理是用简单的数学函数来近似复杂数学函数。当它在分类猫狗图片的时候,神经网络用一个函数,这个函数的输入是一百万个灰度像素,输出是它代表猫或者狗的概率分布。

问题是,这样的数学函数的数量,比可能的神经网络的数量,多出很多数量级。然而深度神经网络不知怎么着就是能得到正确答案。

现在 Lin和Tegmark 说他们找到了原因。答案是:宇宙是由所有可能的函数中,极小的一个子集来支配的。换句话说,所有的宇宙法则都可以用数学函数来表达,而这些函数只有一些很不寻常的简单属性。

所以深度神经网络不需要去近似所有可能的数学函数,而仅仅是一个很小的子集。

为了恰当理解这个问题,考虑一个多项式的阶数,也就是它的最高方次项的次数。比如一个二元方程 y=x2 的阶数是2,方程式 y=x24 的结束是24,以此类推。

很明显,阶数是无限的,而且自然定律中只出现了所有多项式中非常小的一个子集。Lin和Tegmark说:“因为某些不可知的原因,我们的宇宙可以用低阶多项汉密尔顿方程精确描述”。一般情况下,物理定律多项式的阶数载2到4之间。

物理定律还有其他一些重要性质。比如,在旋转和位移方面,它们通常是对称的。把一只猫和一条狗旋转360度,它们看起来和原来一样;把它们平移10米或者100米,它们看起来还是那样。这个性质也大大简化了猫狗识别过程的近似任务。

这些性质意味着,神经网络不需要去近似无穷多的所有可能的数学函数,而只需要由简单函数组成的很小的一个子集。

神经网络还利用宇宙的另一个属性:宇宙的层级结构。Lin和Tegmark说“基本粒子组成原子,原子组成分子,细胞,器官,行星,星系,银河系,等等”。复杂结构常常是经过一系列简单步骤形成的。

这也是为什么神经网络的结构非常重要:这些网络的分层,可以逼近因果关系中的步骤。

Lin 和Tegmark 举了宇宙中微波背景辐射的例子。微波背景辐射是宇宙大爆炸的回响,至今弥漫在宇宙中。近些年,不同的宇航设备用越来越高的分辨度记录了这些辐射。当然,物理学家很困惑这些记录下来的微波的形式的成因。

Tegmark 和 Lin 指出,无论原因是什么,毫无疑问它们是某种因果性层级关系的结果。他们说:“一些宇宙参数(暗物质的密度,等)决定了我们宇宙的密度波动的能量谱,能量谱又决定了从宇宙早期延伸至今的宇宙微波背景辐射的模式,微波背景辐射又和我们银河系的前景射频噪音一起,形成了频率依赖的天空图谱,被我们卫星载的望远镜记录下来。”

以上每一个因果层都包含了更多的数据。一开始只有一小撮宇宙参数,可是哪些图谱和其中的噪音包含了亿万数值。物理学的目标,就是分析大量的数值,揭露那一小撮参数。

而当一些自然现象呈现出层级结构时,神经网络使得分析这些现象显著地变容易。

Tegmark 和 Lin 得出结论:“我们表明了,深度而低成本的学习,不但依赖数学,更依赖物理学。物理偏爱某些类的异常简单的概率分布,而深度学习异常适合对于这些分布建模。”

这是有意思、重要、并有重大影响的工作。人工神经网络众所周知是基于生物神经网络发展出来的。所以,Lin 和 Tegmark的想法不但解释了为什么深度学习机器这么好用,也解释了为什么人脑能够理解宇宙。不知怎么着,大脑进化出了这么一个理想的结构,让它很适于破解宇宙的复杂。

这项工作为人工智能取得更显著进展打开了局面。既然我们终于理解了为什么深度神经网络这么好用,数学家就可以去探索那些让他们性能这么好的数学性质。Lin 和 Tegmark 说:“加强对深度学习的分析理解,可能带来改进深度学习的方式”。

深度学习今年里取得了长足的进步。有了这个改进的理解,进步的速度注定会加速。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,444评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,421评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,036评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,363评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,460评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,502评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,511评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,280评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,736评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,014评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,190评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,848评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,531评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,159评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,411评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,067评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,078评论 2 352