概念
深度学习是一种机器学习，机器学习是一种人工智能。
机器学习是一种从“数据”中找出“模型”的技术。数据可以是文档，音频，图像等。机器学习的最终产物是模型。
机器学习的基本思想实在方程和定律都不可行的情况下，使用训练数据建立模型。
泛化（Generalization）: 机器学习算法对新鲜样本的适应能力。
过拟合（Overfitting）：创建的模型与训练数据过于匹配，对新数据产生低性能，模型被称为过拟合。
克服过拟合的方法：Regularization和validation。
机器学习分为： 监督学习，无监督学习，强化学习。
监督学习常见的两种类型是分类和回归。
无监督学习的典型应用是聚类。
神经网络
机器学习可以由多种形式实现，神将网络就是其中之一。
神经网络模仿大脑的机制，由节点连接构成，使用权重来模拟神经元的联系。神经网络的信息以权重和偏差的形式存储。
神经网络分类：
nw.jpg
单层神经网络只能解决线性可分的问题。
根据给定信息修改权重的系统方法称为学习规则。Delta规则是神经网络的典型学习规则。常用的三种更新权重的方案
-Stochastic Gradient Descent
-Batch
-MiniBath
Back-propagation算法用来实现多层神经网络的训练问题。
深度学习框架
早期，具有C++和CUDA等专业知识的人才能实现DL算法，但随着许多组织的深度学习框架开源，实现DL算法变得很容易。目前业内使用的一些流行的深度学习框架有TensorFlow、Caffe2、Keras、Theano、PyTorch、Chainer、Dynet、MXnet和CNTK等。
深度学习训练步骤
- 构建数据集
- 构建神经网络结构
- 使用损失函数评估模型的准确性
- 使用优化算法来修改权重。
