Deep Learning est mort. Vive Differentiable Programming!
---Yann LeCun
翻译成中文就是：深度学习已死，可微分编程万岁！
为什么这么说呢?
image.png
但重点的是，人们现在正通过组装参数化功能模块网络，构建一种新软件，并用某种基于梯度优化的方法来训练它们。
越来越多的人正在以一种依赖于数据的方式（循环和条件）来程序化定义网络，让它们随着输入数据的动态变化而变化。这与普通的程序非常类似，除了前者是参数化的、可以自动可微分，并且可训练和优化。动态网络变得越来越流行（尤其是对于NLP），这要归功于PyTorch和Chainer等深度学习框架（注意：早在1994年，之前的深度学习框架Lush，就能处理一种称为Graph Transformer Networks的特殊动态网络，用于文本识别）。
现在人们正在积极研究开发命令式可微分编程语言编译器，这对开发基于学习的AI（learning-based AI）来说是一条非常令人兴奋的途径。
