1.1 人工智能，机器学习与深度学习
1.目前计算机可以解决一些简单的问题，但一些人类通过直觉可以很快解决的问题，比如自然语言理解，图像识别，语音识别等，目前却很难通过计算机解决。这些就是人工智能需要解决的问题。
2.早期的人工智能应用于特定的环境，比如下象棋等。创建知识图库可以让计算机掌握更多的知识，但耗费人力物力，比如人类的经验等无法明确定义。
3.《Machine Learning》中机器学习的定义是：如果一个程序可以在任务T上，随着经验E的增加，效果P也随之增加，则称为这个程序可以从经验中学习。在垃圾邮件分类问题中，“一个程序”指机器学习算法，比如逻辑回归算法;“任务T”是指区分垃圾邮件的任务；”经验E“为已经区分过是否为垃圾邮件的历史邮件，在监督式机器学习问题中，称为训练数据;”效果P“为正确率。
4.在大部分情况下，逻辑回归算法可以根据训练数据增加提高垃圾邮件分类问题上的正确率，但它除了依赖训练数据，还依赖从数据中提取的特征，比如时间，标题等。这个算法无法从训练数据中得到更好的特征表达。
5.同样的数据使用不同的表达方式会极大的影响解决问题的难度，一旦解决了数据表达和特征提取，很多人工智能任务也就解决了90%.
6.深度学习解决的核心问题之一就是自动地将简单的特征组合成更加复杂的特征，并使用这些组合特征解决问题。深度学习是机器学习的分支。
7.传统机器学习算法和深度学习算法的比较：
传统机器学习算法：输入->人工提取特征——>权重学习->预测结果
深度学习算法：输入->基础特征提取->多层复杂特征提取->权重学习->预测结果
8.深度学习领域主要关注如何搭建智能的计算机系统，解决人工智能中遇到的问题，计算神经学主要关注如何建立更准确的模型来模拟人类大脑的工作。
9.人工智能，机器学习，以及深度学习的关系如下：
1.2 深度学习的发展过程
1.目前大家所熟知的”深度学习“基本上是深层神经网络的一个代名词。
2.神经网络发展史分三个阶段：
- 早期的神经网络模型类似于仿生机器学习。阈值和权重来判断0或1输出。感知机模型，通过样例数据来学习特征权重的模型，只能解决线性问题。
- 分布式表达式和神经网络反向传播算法。前者解决线性不可分问题，后者降低了训练神经网络的时间。
- 云计算，GPU出现之后，计算量已经不再是阻碍神经网络发展的问题。深度学习的发展开启了AI的新时代。
1.3 深度学习的应用
1.计算机视觉：图像识别，人脸识别，光学字符识别。
2.语音识别：混合高斯模型被深度学习的语音模型取代。同声传译系统。语音识别，机器翻译及语音合成。
3.自然语言处理：语言模型，机器翻译，词性标注，实体识别，情感分析，广告推荐以及搜索排序等。
4.人机博弈：AlphaGo围棋。
1.4 深度学习工具介绍和对比
Caffe，Deeplearning4j，Microsoft Cognitive Toolkit，MXNet，PaddlePaddle，TensorFlow，Theano，Torch。其中社区参与度和活跃度当属TensorFlow的优势明显。
