深度学习简介
深度学习的历史
- 1958: Perceptron (linear model)
- 1969: Perceptron has limitation
- 1980s: Multi-layer perceptron
- Do not have significant difference from DNN today
- 1986: Backpropagation
- Usually more than 3 hidden layers is not helpful
- 1989: 1 hidden layer is “good enough”, why deep?
- 2006: RBM initialization (breakthrough)
- 2009: GPU
- 2011: Start to be popular in speech recognition
- 2012: win ILSVRC image competition
感知机（Perceptron）非常像我们的逻辑回归（Logistics Regression）只不过是没有sigmoid激活函数。09年的GPU的发展是很关键的，使用GPU矩阵运算节省了很多的时间。
深度学习的三个步骤
Step 1: 神经网络
- 完全连接前馈神经网络
概念：前馈（feedforward）也可以称为前向，从信号流向来理解就是输入信号进入网络后，信号流动是单向的，即信号从前一层流向后一层，一直到输出层，其中任意两层之间的连接并没有反馈（feedback），亦即信号没有从后一层又返回到前一层。
在传递时方向是从后往前，所以叫前馈
全连接和前馈的理解
- 输入层（Input Layer）：1层
- 隐藏层（Hidden Layer）：N层
- 输出层（Output Layer）：1层
矩阵计算
- 输入
- 输出
从结构上看每一层的计算都是一样的，也就是用计算机进行并行矩阵运算。
这样写成矩阵运算的好处是，你可以使用GPU加速。
本质：通过隐藏层进行特征转换
Step 2: 模型评估
最小化损失函数
Step 3: 选择最优函数
梯度下降
