神经网络入门

一、Motivations

• "Non-linear Hypotheses"
• 解决复杂非线性问题的方法之一
• 解决复杂非线性分类问题比Logistic回归有优势

二、Model representation

三、Cost Function

四、Backpropagation Algorithm

• 从误差传递理解

  1. 前面的每一项都需要对后面的所有误差承担责任

     
     

• 回归初心，从计算梯度理解

  1. 对输出层：

     
     

  2. 对隐藏层：

     
     
  3. 要特别小心向量化操作

• 累计梯度矩阵

  
  
  
  

五、Neural network process

1. 搭建神经网络框架
2. 随机初始化权重
3. 对每一个样本执行前向传播算法，计算激励值（各层的z，a）
4. 计算代价函数
5. 对每一个样本误差执行后向传播算法，计算各自梯度（最后将累计梯度矩阵的均值作为模型的梯度）
6. 梯度检查
7. 执行最优化算法计算权重矩阵

六、技术细节

1. 参数向量化（掌握矩阵和向量之间的转化）
2. 梯度检查
   • 梯度检查完毕后记得关掉

3. 随机初始化

   
   
4. 隐藏层数目默认选择单个隐藏层；如果选择多个隐藏层，保证每个隐藏层单元数相同
5. 隐藏单元一般越大越好，但是考虑计算量问题，略多于输入特征数也可接受