合在一起(Putting it together)

当我们在训练一个神经网络的时候:

  1. 建立网络的大体框架,确定几个输入,几个隐藏层几个单元,几个输出;
    我们通常使用一个隐藏层;如果不使用一个隐藏层,我们一般多个隐藏层的单元也是一样的,隐藏层越多越好,但是计算量会变大;隐藏层的单元数一般是输入的两倍三倍四倍,只要大于输入层的单元数,一般都是可以接受的。
  1. 训练神经网络

1). 随机初始化权重;
2). 前向传播,计算出h(x),也就是每一个x对应输出的y的向量;
3). 用代码实现代价函数(cost function)J;
4). 反向传播算法,算出J对于参数(权重)Θ的偏微分;

5). 梯度检查,把反向传播计算得到的偏导值和数值方法计算得到的估计值对比,确保二者约等。这个是为了验证我们反向传播算法计算得到的结果是正确的;验证完成,关闭梯度检查。
6). 使用梯度下降或者更高级的算法和反向传播算法相结合,最小化代价函数J。


假设我们的神经网络有两个参数:我们目的就是想让代价函数最小。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 其实关于喜欢你这件事,我并不想说的这么认真 玩了一晚上的王者荣耀,被小学生虐出血…开始怀疑人生了,还不开学? 情人...
    凉风一梦是归途阅读 840评论 1 0
  • 有句话是这么说的:“能吃能喝不健康,会吃会喝才健康,胡吃海喝要遭殃”。现在社会物质丰富,不缺吃也不少吃,并且吃的比...
    度人自度阅读 755评论 0 0

友情链接更多精彩内容