当今最成功的人工智能算法—深度神经网络(DNN),基于人类大脑真实、复杂的神经网络。但人工神经网络与人类高效的大脑不同,在计算机上运行深度学习算法会产生惊人的能耗。最大的神经网络模型在其生命周期中消耗的能量几乎与五辆汽车一样多。
进入神经形态计算,更接近人类大脑的设计原理和物理特性,可能成为节能型人工智能的未来。人工神经形态设计不是在中央处理单元和内存芯片之间长距离穿梭的数据流,而是模仿模仿人类大脑中果冻状的物质结构,计算单元(神经元)放置在内存旁边(存储在连接神经元的突触中)。 为了使类脑芯片更像大脑,研究人员将神经形态芯片与模拟计算相结合,模拟计算可以处理连续信号,就像真正的神经元一样。由此产生的芯片与当前依赖于0和1二进制信号处理的纯数字计算机的架构和计算模式有很大不同。
0%
人类大脑神经元结构
以大脑为向导,神经形态芯片有望消除人工智能等数据密集型计算任务的能耗。但目前不幸的是,由于硬件不匹配问题,人工智能算法在现有芯片上模拟大脑计算的能力表现不佳:在芯片上,模拟神经元中的微小组件由于制造工艺、流程等问题而在尺寸上不匹配,边缘设备芯片的计算能力远远不够,无法实时运行最新的训练程序,因此必须首先在计算机上对算法进行训练。而且当算法转移到芯片上时,一旦遇到硬件不匹配,算法的性能很难得到有效发挥。
2022年1月发表在《美国国家科学院院刊》上的一篇论文终于揭示了如何绕过上述问题的方法。弗里德里希·米歇尔生物医学研究所和海德堡大学的研究人员开发了一种尖峰神经网络的人工智能算法,这种算法受到人类大脑独特通信信号机制的启发,可以与硬件芯片一起学习如何补偿设备不匹配的问题。这篇论文的发布代表着人类朝使用AI进行模拟神经形态计算的里程又迈出了重要的一步。
荷兰国家数学和计算机科学研究所的脉冲神经网络专家表示:“令人惊奇的是,尖峰神经网络人工智能算法运行得非常好,这是一项相当大的成就,甚至是更多模拟神经形态计算机系统的蓝图”。
模拟计算对基于人类大脑神经网络计算的重要性是不言而喻的。虽然,数字计算可以有效地模拟大脑尖峰信号的二进制状态,即一种像闪电一样穿过神经元的电脉冲信号。这与二进制数字信号机制一样,要么发出尖峰信号,要么不发出尖峰信号,即0或1。但是随着时间的推移,尖峰是连续发送的,这明显是一个模拟信号。人类的神经元决定发出尖峰信号的方式也是连续的,尖峰信号取决于细胞内随时间变化的电压。(与细胞外电压相比,当电压达到特定阈值时,神经元会发出尖峰信号)
2011年,海德堡大学的一组研究人员开发了一种兼具模拟和数字功能的神经形态芯片,以对人类大脑结构进行高关联建模以进行神经科学实验。现在海德堡大学的团队又推出了最新版本的芯片,称为 BrainScaleS-2。芯片上的每个模拟神经元都模拟脑细胞的输入和输出电流和电压变化。
海德堡大学的神经形态工程师开发的BrainScaleS-2神经形态芯片能够模拟人类大脑中真实的神经元计算过程。
海德堡大学的研究人员表示:“人类真的拥有一个不断交换信息的动态系统”。而且由于新材料具有更强大的电气特性,芯片传输信息的速度比人类的大脑快 1000倍。但是,由于模拟神经元(芯片计算单元)的特性变化非常之小,但人类神经系统内的电压和电流水平却因神经元而异。显然,目前的人工算法无法处理类似的问题,因为人工算法是在具有完全相同数字神经元的计算机上训练的,直接移植到类脑芯片将会导致性能直线下降。
虽然还存在很多问题,但是新成果展示了人工智能科学的前进方向。通过将芯片包含在训练过程中,表明脉冲神经网络可以学习如何校正BrainScaleS-2芯片上的不同电压。这种训练设置展现了令人振奋的成果,证明可变性不仅可以补偿,而且还可能被利用。
为了解决设备不匹配问题,海德堡大学的研究团队研发了允许芯片与计算机对话方法与代理梯度方法相结合的新方式,专门用于脉冲神经网络。通过改变神经元之间的连接,最小化神经网络在任务中产生的错误数量及影响。(类似于非尖峰神经网络或传统神经网络使用的反向传播方法。)
代理梯度方法能够在计算机训练期间纠正芯片的缺陷。首先,脉冲神经网络使用芯片上模拟神经元的变化电压执行一项简单的任务,将电压记录发送回计算机。通过计算机,该算法自动学习如何最好地改变其神经元之间的连接,以便与模拟神经元更好地配合,并在学习的同时不断地在芯片上更新,当训练完成后,脉冲神经网络在芯片上执行任务。研究人员表示:脉冲神经网络在语音和视觉任务上达到了与在计算机上执行任务的顶级尖峰神经网络相同的准确度水平。
代理梯度方法能够在计算机训练期间纠正芯片的缺陷。首先,脉冲神经网络使用芯片上模拟神经元的变化电压执行一项简单的任务,将电压记录发送回计算机。通过计算机,该算法自动学习如何最好地改变其神经元之间的连接,以便与模拟神经元更好地配合,并在学习的同时不断地在芯片上更新,当训练完成后,脉冲神经网络在芯片上执行任务。研究人员表示:脉冲神经网络在语音和视觉任务上达到了与在计算机上执行任务的顶级尖峰神经网络相同的准确度水平。
相关前沿知识链接:
“超级网络”为人工智能打开新大门!
Neuralink招募顶级医学神经主任,或开启人类脑机接口临床实验!
脑科学颠覆性研究成果-大脑神经网络与人工智能学习策略类似
前沿颠覆性科技之——全球首部“语言型”脑机接口系统测试成功
人类历史上最强大人工智能之间令人“毛骨悚然”的对话!