神经网络的发展历程：
神经网络的发展史大致可以分为三个阶段。第一阶段：最早的神经网络数学模型由Warren McCulloch教授和Walter Pitts教授与1943年在论文 A logical calculus of the ideas immanent in nervous activity 中提出。该模型使用线性加权和的方式将输入信号进行变换经过阈值函数得到一个0或1的输出。
在此阶段 Frank Rosenblatt教授于1958年提出感知机模型，是首个可以根据样例数据来学习特征权重的模型。1969年Marvin Minsky教授和Seymour Papert教授出版的Perceptrons：An Introduction to Computational Geometry一书中证明感知机只能解决线性可分问题，并明确指出感知机无法解决异或问题。
第二个阶段，20世纪80年代末，分布式知识表达和神经网络反向传播算法提出。分布式知识表达的核心思想是现实世界中的知识和概念应该通过多个神经元来表达，而模型中的每一个神经元也应该参与表达多个概念。分布式知识表达大大加强了模型的表达能力，让神经网络从宽度的方向走向了深度的方向，解决了线性不可分问题，奠定了深度学习的基础。在降低神经网络计算复杂度的研究上David Everett Rumelhart教授、Geoffrey Everest Hinton教授和Ronald J.Williams教授与1986年在《自然》杂志上发表的Learning Representations by Back-propagating errors首次提出反向传播算法（back propagation），大幅降低了训练神经网络的时间。
第三阶段（目前），深度学习开启了一个AI的新时代。深度学习已经从最初的图像识别领域扩展到了机器学习的各个领域。
