学习的核心就是进化。
一、机器学习普遍定义
所谓机器学习，可近似等同于在数据对象中，通过统计或推理的方法，寻找一个适用特定输入和预期输出功能函数。机器学习近似等同于找一个好用的函数。习惯上，我们把输入变量写作大写的X ，而把输出变量写作大写的Y ，就是完成如下变换：Y= f(X) 。
函数的每个具体的输入X，都是一个实例（instance），它通常由特征空间（feature vector）构成。在这里，所有特征向量存在的空间称为特征空间（feature space），特征空间的每一个维度，对应于实例的一个特征。此处特征空间可以理解为线性代数中的矩阵特征空间。
一个函数的好坏，需要构建一个评估体系来辨别。具体说来，机器学习要想做得好，需要走好三大步：
建模问题： 如何找一系列函数来实现预期的功能。
评价问题： 如何找出一组合理的评价标准，来评估函数的好坏。
优化问题：如何快速找到性能最佳的函数。
二、深度学习普遍理解
含多隐层的多层感知机就是一种深度学习结构。所以说到深度学习，就不能不提神经网络。
深度学习的概念源于人工神经网络的研究。
在人工智能领域，有两大主流门派。
1、符号主义
2、连接主义
符号主义的理念是，知识是信息的一种表达形式，人工智能的核心任务，就是处理好知识表示、知识推理和知识运用。这个门派核心方法论是，自顶向下设计规则，然后通过各种推理，逐步解决问题。很多人工智能的先驱（比如CMU的赫伯特•西蒙）和逻辑学家，很喜欢这种方法。
连接主义的理念是，试图编写一个通用模型，然后通过数据训练，不断改善模型中的参数，直到输出的结果符合预期。这个门派认为，人的思维就是某些神经元的组合。因此，可以在网络层次上模拟人的认知功能，用人脑的并行处理模式，来表征认知过程。这种受神经科学的启发的网络，被称之人工神经网络（Artificial Neural Network，简称ANN）。目前，这个网络的升级版，就是目前非常流行的深度学习。
三、机器学习的通用定理
机器学习在本质就是寻找一个好用的函数。
通用近似定理（Universal Approximation Theorem）:
只需一个包含足够多神经元的隐藏层，多层前馈网络能以任意精度逼近任意复杂度的连续函数。
人工神经网络最“牛逼”的地方在于，它可以在理论上证明：通用近似定理。神经网络可在理论上解决任何问题，这就是目前深度学习能够“牛逼哄哄”最底层的逻辑。
深度学习是高度数据依赖型的算法，它的性能通常随着数据量的增加而不断增强，也就是说它的可扩展性（Scalability）显著优于传统的机器学习算法。
四、参考
1、一入侯门“深”似海，深度学习深几许（深度学习入门系列之一）
2、人工“碳”索意犹尽，智能“硅”来未可知（深度学习入门系列之二）
3、Bojarski M, Testa D D, Dworakowski D, et al. End to End Learning for Self-Driving Cars[J]. 2016.
