研究发现:人工智能算法将产生惊人的能耗!

当今最成功的人工智能算法—深度神经网络(DNN),基于人类大脑真实、复杂的神经网络。但人工神经网络与人类高效的大脑不同,在计算机上运行深度学习算法会产生惊人的能耗。最大的神经网络模型在其生命周期中消耗的能量几乎与五辆汽车一样多。

进入神经形态计算,更接近人类大脑的设计原理和物理特性,可能成为节能型人工智能的未来。人工神经形态设计不是在中央处理单元和内存芯片之间长距离穿梭的数据流,而是模仿模仿人类大脑中果冻状的物质结构,计算单元(神经元)放置在内存旁边(存储在连接神经元的突触中)。 为了使类脑芯片更像大脑,研究人员将神经形态芯片与模拟计算相结合,模拟计算可以处理连续信号,就像真正的神经元一样。由此产生的芯片与当前依赖于0和1二进制信号处理的纯数字计算机的架构和计算模式有很大不同。

0%

人类大脑神经元结构

以大脑为向导,神经形态芯片有望消除人工智能等数据密集型计算任务的能耗。但目前不幸的是,由于硬件不匹配问题,人工智能算法在现有芯片上模拟大脑计算的能力表现不佳:在芯片上,模拟神经元中的微小组件由于制造工艺、流程等问题而在尺寸上不匹配,边缘设备芯片的计算能力远远不够,无法实时运行最新的训练程序,因此必须首先在计算机上对算法进行训练。而且当算法转移到芯片上时,一旦遇到硬件不匹配,算法的性能很难得到有效发挥。

2022年1月发表在《美国国家科学院院刊》上的一篇论文终于揭示了如何绕过上述问题的方法。弗里德里希·米歇尔生物医学研究所和海德堡大学的研究人员开发了一种尖峰神经网络的人工智能算法,这种算法受到人类大脑独特通信信号机制的启发,可以与硬件芯片一起学习如何补偿设备不匹配的问题。这篇论文的发布代表着人类朝使用AI进行模拟神经形态计算的里程又迈出了重要的一步。

荷兰国家数学和计算机科学研究所的脉冲神经网络专家表示:“令人惊奇的是,尖峰神经网络人工智能算法运行得非常好,这是一项相当大的成就,甚至是更多模拟神经形态计算机系统的蓝图”。

模拟计算对基于人类大脑神经网络计算的重要性是不言而喻的。虽然,数字计算可以有效地模拟大脑尖峰信号的二进制状态,即一种像闪电一样穿过神经元的电脉冲信号。这与二进制数字信号机制一样,要么发出尖峰信号,要么不发出尖峰信号,即0或1。但是随着时间的推移,尖峰是连续发送的,这明显是一个模拟信号。人类的神经元决定发出尖峰信号的方式也是连续的,尖峰信号取决于细胞内随时间变化的电压。(与细胞外电压相比,当电压达到特定阈值时,神经元会发出尖峰信号)



2011年,海德堡大学的一组研究人员开发了一种兼具模拟和数字功能的神经形态芯片,以对人类大脑结构进行高关联建模以进行神经科学实验。现在海德堡大学的团队又推出了最新版本的芯片,称为 BrainScaleS-2。芯片上的每个模拟神经元都模拟脑细胞的输入和输出电流和电压变化。

海德堡大学的神经形态工程师开发的BrainScaleS-2神经形态芯片能够模拟人类大脑中真实的神经元计算过程。

海德堡大学的研究人员表示:“人类真的拥有一个不断交换信息的动态系统”。而且由于新材料具有更强大的电气特性,芯片传输信息的速度比人类的大脑快 1000倍。但是,由于模拟神经元(芯片计算单元)的特性变化非常之小,但人类神经系统内的电压和电流水平却因神经元而异。显然,目前的人工算法无法处理类似的问题,因为人工算法是在具有完全相同数字神经元的计算机上训练的,直接移植到类脑芯片将会导致性能直线下降。

虽然还存在很多问题,但是新成果展示了人工智能科学的前进方向。通过将芯片包含在训练过程中,表明脉冲神经网络可以学习如何校正BrainScaleS-2芯片上的不同电压。这种训练设置展现了令人振奋的成果,证明可变性不仅可以补偿,而且还可能被利用。

为了解决设备不匹配问题,海德堡大学的研究团队研发了允许芯片与计算机对话方法与代理梯度方法相结合的新方式,专门用于脉冲神经网络。通过改变神经元之间的连接,最小化神经网络在任务中产生的错误数量及影响。(类似于非尖峰神经网络或传统神经网络使用的反向传播方法。)

代理梯度方法能够在计算机训练期间纠正芯片的缺陷。首先,脉冲神经网络使用芯片上模拟神经元的变化电压执行一项简单的任务,将电压记录发送回计算机。通过计算机,该算法自动学习如何最好地改变其神经元之间的连接,以便与模拟神经元更好地配合,并在学习的同时不断地在芯片上更新,当训练完成后,脉冲神经网络在芯片上执行任务。研究人员表示:脉冲神经网络在语音和视觉任务上达到了与在计算机上执行任务的顶级尖峰神经网络相同的准确度水平。

代理梯度方法能够在计算机训练期间纠正芯片的缺陷。首先,脉冲神经网络使用芯片上模拟神经元的变化电压执行一项简单的任务,将电压记录发送回计算机。通过计算机,该算法自动学习如何最好地改变其神经元之间的连接,以便与模拟神经元更好地配合,并在学习的同时不断地在芯片上更新,当训练完成后,脉冲神经网络在芯片上执行任务。研究人员表示:脉冲神经网络在语音和视觉任务上达到了与在计算机上执行任务的顶级尖峰神经网络相同的准确度水平。

百度

相关前沿知识链接:


“超级网络”为人工智能打开新大门!

Neuralink招募顶级医学神经主任,或开启人类脑机接口临床实验!

脑科学颠覆性研究成果-大脑神经网络与人工智能学习策略类似

前沿颠覆性科技之——全球首部“语言型”脑机接口系统测试成功

人类历史上最强大人工智能之间令人“毛骨悚然”的对话!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,794评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,050评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,587评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,861评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,901评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,898评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,832评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,617评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,077评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,349评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,483评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,199评论 5 341
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,824评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,442评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,632评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,474评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,393评论 2 352

推荐阅读更多精彩内容