说明： 此文为学习邱锡鹏教授《神经网络》一书的总结。
机器学习余温未减，深度学习也在持续升温，成为近年来发展十分迅速的研究领域，在AI领域取得了巨大成功。今天来海底捞一捞深度学习、人工智能的历史。
深度学习与机器学习：深度学习是从一批有限个样例中，通过算法总结出一般性规律，再将这个规律应用于未知样例中。如此看来，深度学习问题根本上也是属于机器学习问题的。但数据在深度学习过程中由输入到产生最终的输出，会经过多个线性或非线性组件的加工，因此深度学习常采用的模型都是比较复杂的，这也是与传统机器学习不同的地方。
深度学习的问题：由于会经过多层组件加工，且前序组件会对后序组件产生影响，因此在整个过程中对每个组件的贡献度进行分配就是十分重要的，也称为贡献度分配问题（Credit Assignment Problem,CAP,也称为信用分配问题）。深度学习中，贡献度分配问题是涉及到学习每个组件中的参数。当前很好解决贡献分配问题的模型是人工神经网络（Aritificial Neural Network,ANN）。ANN是一种受人脑的神经系统工作方式启发而构建的一种数学模型。
神经网络和深度学习并不等价：深度学习是一种学习流程，即将多个组件通过某种方式进行排列，给定相应输入后会生成规定格式的输出。在深度学习的过程中存在多个组件，需要解决组件贡献度分配问题，神经网络只是解决CAP问题的一种很好的方式，但不是唯一方式。神经网络是一种模型，通过各种不同的优化器、网络连接结构来求解连接各组件的贡献度。
人工智能（AI）是什么：就是让机器具有人类的智能。智能一词难以定义，但一般认为是知识和智力的总和。阿兰.图灵（Alan Turing）在论文《Computing Machinery and Intelligence》(1950)讨论了创造一种“智能机器”的可能性。由于“智能”一词难以定义，于是提出了著名的图灵测试：一个人在不接触对方的情况下，通过一种特殊的方式，和对方进行一系列的问答。如果在相当长时间内，他无法根据这些问题判断对方是人还是计算机，那么就可以认为这个计算机是智能的。图灵测试是促使人工智能从哲学探讨到科学研究的一个重要因素，也引导了人工智能的许多研究方向。
“人工智能”的诞生：人工智能是计算机科学的一个分支，主要研究、开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统等。其诞生有明确的标志性事件：1956年的达特茅斯(Dartmouth)会议。John McCarthy提出了人工智能的定义：人工智能就是要让机器的行为看起来就像是人所表现出的智能行为一样。
人工智能的主要领域：感知：模拟人的感知能力，对外部刺激信息进行感知和加工，主要包括语音处理、计算机视觉；学习：模拟人的学习能力，研究如何从样例或与环境交互中进行学习，主要包括监督学习、无监督学习和强化学习；认知：模拟人的认知能力，包括知识表示、NLU、推理、规划、决策等。
人工智能发展历史。人工智能从诞生至今，其发展历史大致可以分为“推理期”、“知识期”和“学习期”。
（1）“推理期”：自1956年达特茅斯提出人工智能以来，大部分研究者通过人类的经验，基于逻辑或事实归纳出规则，然后通过编写程序让计算机完成任务。取得了部分初步研究成果，开发了一系列智能系统，这也使得研究者对开发出具有人工智能的机器过于乐观。随着研究的深入，研究者意识到推理规则过于简单，对项目难度评估不足，原来的乐观预期受到严重打击。
（2）“知识期”：到了20世纪50年代，研究者意识到知识对于AI的重要性。对于一些复杂的任务，尤其需要专家来构建知识库。在这一时期内出现了各种各样的专家系统，并在特定领域取得了成果。专家系统可以简单理解为“知识库+推理机”，是一类具有专门知识和经验的计算机智能程序系统，其一般采用知识表示和知识推理等技术来完成通常由领域专家才能解决的复杂问题，因此也称为基于知识的系统。
（3）“学习期”：“知识期”建立的专家系统大多是靠专业领域知识生成相关推理来解决问题，就出现了”知其然，不知其所以然“的情况。对于人类的很多智能行为，就很难知道其中的原理，也无法描述这些智能行为背后的”知识“。为了解决专家系统难以解决语言理解、图像理解等问题，研究者就将研究重点转向让计算机从数据中自己学习。事实上，”学习“本身也是一种智能行为。
人工智能的流派：人工智能的流派主要分为两大门派：符号主义和连接主义。
符合主义：又称为逻辑主义、心理学派或计算机学派，是通过分析人类智能的功能，然后通过计算机来实现这些功能。符号主义主要有两个假设:（1）信息可以用符号来表示；（2）符号可以通过的规划来操作。人类的认知过程可以看作是符号操作过程。
连接主义：又称仿生学派、生理学派，是认知科学领域中的一类信息处理方法和理论。在认知科学领域，人类的认知过程可以看做是一种信息处理过程。连接主义认为人类的认知过程是由大量简单神经元构成的神经网络中的信息处理过程，而不是符号运算。因此连接主义模型的主要结构是由大量简单的信息处理单元组成的互联网络，具有非线性、分布式、并行化、局部性计算以及适应性等特点。
符号主义的一个优点是可解释性，而这正是连接主义的弊端。深度学习的主要模型神经网络就是一种连接主义模型。
