阶段1—神经网络和深度学习

经过一周的学习,我基本掌握了深层神经网络的搭建方法,以下是我的一点总结:

一、深度学习分以下6个基本步骤:

1.初始化参数W和b(参数的初始值必须随机;权重值W需要根据训练集数据大小去调整)

2.向前传播(除了最后一层用sigmod函数,前面都是用relu或其他更好的函数)

3.计算损失(这里就是套公式)

4.向后传播(从最后一层开始,一层一层向前面求导,得到每层的dW和db)

5.向后传播(根据每层的dW和db,用梯度下降法去更新参数W和b)

6.预测(将最后得到的参数代入第2步的向前传播函数,最终求出预测值Y_prediction)

二、神经网络搭建好后,非常关键的一步就是调参数,使得损失能更好地收敛。有几个参数是比较关键的:

1、学习率;

2、网络层数和各层节点;

3、W的初始值设置

通过调试可以发现,以上几个参数都是直接影响损失函数收敛的,那应该按照什么准则去调这些参数,我目前还没发现什么规律和原理,有待进一步的学习和研究探索。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容