来源：Dædalus特刊，作者Jeff Dean
在过去的十年里，人工智能取得了巨大的进步。计算机具备看、听和理解世界的能力，得益于此，许多领域也取得了巨大的进步。这篇文章重点关注促进计算硬件和软件系统进步的原因、机器学习领域的重要应用、如何通过创建更强大的机器学习系统实现创建智能机器的目标。
自计算机诞生之初，人类就梦想着能够创造出“会思考的机器”。1956年，达特茅斯学院组织了一个研讨会，John McCarthy提出了人工智能这一概念，一群数学家和科学家聚在一起，研究“如何让机器使用语言，形成抽象概念，解决现在留给人类的各种问题，并提高自己”，人工智能领域由此诞生。与会者乐观地认为，他们能够在几个月的时间里解决这个问题，取得进展。
然而，用几个月的时间解决这些问题过于乐观了。在接下来的50年里，创建人工智能系统的各种方法不断涌现，诸如基于逻辑的系统、基于规则的专家系统和神经网络等，但结果都不乐观。
直到2011年，得益于摩尔定律，人们拥有了如此强大的计算机，神经网络开始复苏，成为最先进的能看、能听、能理解、能学习的人工智能方法(被重新命名为深度学习)，人工智能进入了发展的关键阶段。从此开始，到2021年，这十年的时间里，机器学习(ML)和人工智能在1956年达特茅斯研讨会制定的目标上取得了显著的进展。
软硬结合，共同进步
与通用计算机程序不同的是，深度学习通过组合不同的线性代数，例如矩阵乘法、向量点积等操作进行运算。由于计算操作的类型较少，所以人们有可能创造出专门用于支持这类计算的计算机或加速器芯片，与通用 CPU相比，这种专业化的加速器芯片具备新的计算效率和设计选择。
在21世纪初，一些研究人员开始研究如何使用GPU来实现深度学习算法，尽管设计的初衷是绘制图形，但研究人员发现，它们也非常适合深度学习算法。与CPU相比，它们具有相对较高的浮点运算速率。2004年，计算机科学家Kyoung-Su Oh和Keechul Jung展示了使用GPU对神经网络算法近20倍的速度提升。2008年，计算机科学家Rajat Raina及其团队证明，与使用CPU的最佳实现相比，使用GPU的速度提升高达72.6倍。
随着深度学习技术在图像识别、语音识别和语言理解方面的显著提升，以及更多的计算密集型模型(在更大的数据集上训练)效果不断提升，机器学习领域真正开始腾飞。技术人员开始研究如何将深度学习模型扩展到计算密集程度更高的领域。早期的一种方法是使用大规模分布式系统来训练单一的深度学习模型。谷歌研究人员开发了DistBelief框架，这是一个使用大规模分布式系统训练单个神经网络的软件系统，可以在YouTube视频中的大量随机帧上进行训练。这证明模型中的单个人工神经元（神经网络的构建块）能够学会识别人脸或猫等高级概念，虽然除了原始图像的像素外，从未获得任何关于这些概念的信息。
深度学习算法有两个非常好的特性可以构建专门的硬件：首先，它们对精度的降低非常宽容；其次，深度学习算法所需的计算几乎完全由密集矩阵或向量上不同序列的线性代数运算组成，如矩阵乘法或向量点积。
随着GPU和其他面向机器学习的硬件的崛起，研究人员开发了开源软件框架，促进了深度学习模型和计算的发展。直到今天，开源框架依旧帮助广泛的研究人员、工程师等推动深度学习研究，并将深度学习应用到更加广泛的领域。
从2003年开始，Torch、Theano、DistBelief 、Caffe等框架较为流行。到2015年，谷歌开发、开源的 TensorFlow已被下载超过5000万次，这是一个允许表达机器学习计算的框架，并结合了 Theano 和 DistBelief 等早期框架的想法，是世界上最受欢迎的开源软件包之一。随后，2016年， PyTorch发布，因其使用Python轻松表达各种研究想法而受到研究人员的欢迎。2018年，JAX诞生，这是一个流行的面向python的开源库，结合了复杂的自动微分和底层XLA编译器，TensorFlow也使用它来高效地将机器学习计算映射到各种不同类型的硬件上。
诸如TensorFlow、PyTorch这样的开源机器学习库和工具的重要性毋庸置疑。它们让研究人员能够在这些框架上快速落地各种想法。随着世界各地的研究人员和工程师更轻松地在彼此的工作基础上进行构建，这个领域的发展速度都加快了。
研究成果爆炸式增长
随着研究的进步，GPU和TPU等面向ML硬件的计算能力不断增强，TensorFlow和PyTorch等开源机器学习框架被广泛应用，机器学习及其应用领域的研究成果迅速增加。一个重要指标是发布到arXiv机器学习领域的论文数量，2018年发布的论文预印本数量是2009年的32倍多，现在，每天有超过100篇与机器学习相关的研究论文发布在arXiv上，而且这种增长没有任何放缓迹象。
计算能力的变革性增长、机器学习软、硬件系统的进步，以及机器学习研究成果的激增，促进了机器学习在科学和工程等领域的应用。机器学习研究人员正在帮助解决对社会有益、促进人类进步的重要问题。
神经科学
神经科学是机器学习加速科学进步的一个重要领域。2020年，研究人员研究了一只苍蝇的大脑，以更多地了解人类大脑的工作方式。他们建立了一个连接体，一个突触分辨率级别的整个苍蝇大脑连接图。如果没有机器学习和现如今的计算能力，这需要很多年才能实现。例如，在20世纪70年代，研究人员花了大约10年的时间，煞费苦心地绘制了蠕虫大脑中的大约300个神经元。相比之下，苍蝇的大脑有10万个神经元。幸运的是，基于深度学习的计算机视觉技术进步，极大简化了这个复杂的研究过程，人们可以使用交互式3D模型自己探索苍蝇的大脑。
分子生物学
机器学习还可以帮助人们更好地了解基因构成，最终更有效地解决基因疾病。这些新技术使科学家通过更精确的模拟、估计和数据分析更快地探索潜在实验的前景。有的开源工具可以准确地处理来自DNA测序机的原始信息，并通过卷积神经网络对其进行分析，相对于参考基因组数据，更准确地识别序列中真正的基因变异。一旦确定了遗传变异，深度学习还可以帮助分析遗传序列，更好地理解导致特定健康或其他结果的单个或多个DNA突变的遗传特征。
卫生保健
机器学习还提供了检测和诊断疾病的新方法。例如，当应用于医学图像时，计算机视觉可以帮助医生诊断一些严重的疾病，比医生自己诊断更快速、更准确。此外，深度学习技术也让人们更准确地了解疾病的传播方式，有更好的机会预防疾病。机器学习可以模拟复杂事件，如全球COVID-19大流行，这需要全面的流行病学数据集、开发新的可解释模型和基于代理的模拟器，为公共卫生应对提供信息。
天气、环境和气候变化
气候变化是当前人类面临的最大挑战之一。机器学习可以帮助人们更好地了解天气和环境，尤其是预测日常天气和气候灾害。
此外，深度学习在机器人、无障碍访问、个性化学习、计算机辅助创意生成、Transformers、计算机系统ML等方面也有着重要的应用。应用领域爆炸式增长
机器学习的未来
在ML研究社区中出现了一些有趣的研究方向，如果把它们结合起来，可能会产生更有价值的研究结果。
1.稀疏激活模型，例如稀疏门控混合专家模型，展示了如何构建非常大容量的模型，其中对于任何给定的实例只有一部分模型被激活(例如，2048个专家中只有2或3个被激活)。这些模型中的路由函数与不同的专家同时联合训练，使路由函数了解哪些专家擅长于哪类示例，而专家同时学习针对所给出的示例流的特征进行专门研究。这与现在大多数的ML模型形成了鲜明的对比，在ML模型中，每个实例都要激活整个模型。研究科学家Ashish Vaswani及其同事表明，这种方法在训练时效率提高了约9倍，在推理时效率提高了约2.5倍，而且更准确。
2.自动化机器学习(AutoML)，其中，神经架构搜索（NAS）或进化架构搜索（EAS）等技术可以自动学习 ML 模型或组件的高效结构或其他方面以对给定任务的准确率进行优化。AutoML 通常涉及运行很多自动化实验，每个实验都可能包含巨量计算。
3.多任务训练，以几个到几十个相关任务的适当规模进行多任务训练，或者从针对相关任务的大量数据训练的模型中迁移学习然后针对新任务在少量数据上进行微调，这些方式已被证明在解决各类问题时都非常有效。到目前为止，多任务机器学习的大多数应用通常是在单一模态环境下(如所有视觉任务或所有文本任务)，尽管也有少数作者考虑了多模态设置。
一个非常有趣的研究方向是把以上三个趋势结合起来，其中在大规模 ML 加速器硬件上运行一个系统。目标是训练一个可以执行数千乃至数百个任务的单一模型。这种模型可能由很多不同结构的组件组成，实例（example）之间的数据流在逐实例的基础上是相对动态的。模型可能会使用稀疏门控专家混合和学习路由等技术以生成一个非常大容量的模型，但其中一个任务或实例仅稀疏激活系统中总组件的一小部分。
每个组件本身可能正在运行一些类 AutoML 的架构搜索，以使组件的结构适应路由到它的数据类型。新的任务可以利用在其他任务上训练的组件，只要它有用就行。通过非常大规模的多任务学习、共享组件和学习路由，模型可以迅速地以高准确率来完成新任务，即使每个新任务的新实例相对较少。
在人工智能和计算机系统工程领域，构建一个能够处理数百万任务并学习自动完成新任务的单一机器学习系统是一个巨大挑战。这需要机器学习算法、分布式系统和计算机架构等很多领域的专业知识，从而通过构建一个能够泛化以在机器学习所有应用领域中独立解决新任务的系统，来推动人工智能领域的发展。
结语
2010年代是深度学习研究和进步的黄金十年。在这十年里，1956年达特茅斯会议上提出的问题接连取得巨大进展。机器能够以早期研究人员所希望的方式看、听、理解语言。这些核心技术的进步使许多科学领域取得了很大突破，不仅使手机更加智能，随着更复杂、强大的深度学习模型的诞生，也使人们看到了未来更多的可能性。得益于强大的机器学习系统，未来将变得更有创造力、更有能力，充满更多希望。
(原文链接：https://www.amacad.org/publication/golden-decade-deep-learning-computing-systems-applications)
