一、Motivations
- "Non-linear Hypotheses"
- 解决复杂非线性问题的方法之一
- 解决复杂非线性分类问题比Logistic回归有优势
二、Model representation
三、Cost Function
四、Backpropagation Algorithm
-
从误差传递理解
-
前面的每一项都需要对后面的所有误差承担责任
-
-
回归初心，从计算梯度理解
-
对输出层：
-
对隐藏层：
- 要特别小心向量化操作
-
-
累计梯度矩阵
五、Neural network process
- 搭建神经网络框架
- 随机初始化权重
- 对每一个样本执行前向传播算法，计算激励值（各层的z，a）
- 计算代价函数
- 对每一个样本误差执行后向传播算法，计算各自梯度（最后将累计梯度矩阵的均值作为模型的梯度）
- 梯度检查
- 执行最优化算法计算权重矩阵
六、技术细节
- 参数向量化（掌握矩阵和向量之间的转化）
- 梯度检查
- 梯度检查完毕后记得关掉
-
随机初始化
- 隐藏层数目默认选择单个隐藏层；如果选择多个隐藏层，保证每个隐藏层单元数相同
- 隐藏单元一般越大越好，但是考虑计算量问题，略多于输入特征数也可接受
