经过一周的学习,我基本掌握了深层神经网络的搭建方法,以下是我的一点总结:
一、深度学习分以下6个基本步骤:
1.初始化参数W和b(参数的初始值必须随机;权重值W需要根据训练集数据大小去调整)
2.向前传播(除了最后一层用sigmod函数,前面都是用relu或其他更好的函数)
3.计算损失(这里就是套公式)
4.向后传播(从最后一层开始,一层一层向前面求导,得到每层的dW和db)
5.向后传播(根据每层的dW和db,用梯度下降法去更新参数W和b)
6.预测(将最后得到的参数代入第2步的向前传播函数,最终求出预测值Y_prediction)
二、神经网络搭建好后,非常关键的一步就是调参数,使得损失能更好地收敛。有几个参数是比较关键的:
1、学习率;
2、网络层数和各层节点;
3、W的初始值设置
通过调试可以发现,以上几个参数都是直接影响损失函数收敛的,那应该按照什么准则去调这些参数,我目前还没发现什么规律和原理,有待进一步的学习和研究探索。