2018-02-19 浅层神经网络(一)

写在前面

今天学的大概就是单隐层神经网络,可是为什么要加一个隐藏层进行训练不是很明白。开始讲了一些notation,然后是如何计算神经网络的输出,每一层每个节点的计算,以及实现一个训练样本的向量化,从而推广到多个训练样本,其实都是举一反一,不过要注意的是写法,通常在一个矩阵中,竖向排列的通常是每个节点的数据,而横向排列的通常是训练样本。最后讲了不同层不同激活函数的优劣。

神经网络表示

  • 中括号表示第几层,没什么特别好说明的,图已经很详细了


    屏幕快照 2018-02-19 下午11.17.49.png

计算神经网络输出

  • 选sigmod函数作为激活函数,和单个神经元算法接近,同时,第一层的输出作为输出层的输入计算,以及向量化。如图:


    屏幕快照 2018-02-19 下午11.19.38.png

多个样本中的向量化(略)

激活函数

sigmod tanh() ReLU
优点 二分分类 均值接近0 学习速度快
缺点 当z很大或很小时梯度很小 同前 当z为负时,导数为0

(附markdown格式注意事项:短横线必须和表头字母个数相同,空格数也要相同)

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 我没有梦想,因为深知自己已经过了做梦的年纪,但我有理想。 小时候作文课,老师让写自己以后想做什么,大家写的都大同小...
    ash_文子阅读 389评论 0 0
  • 打开手机,屏幕显示20:30 眼睛略微酸涩,于是使力的去搓揉。在抬头办公室里就只剩下自己了,时间就这样在格子间里的...
    蔷薇1021阅读 167评论 1 0
  • 网上的一些定义 tabBar 点击动画的做法一般是自定义一个 tabBar 把这个 tabBar 通过 KVC 设...
    Metaz阅读 340评论 0 1
  • 傍晚,太阳公公一个人在天上孤单地走着,想:我的云宝宝跑哪儿去了儿? 这是风哥哥来了,它看见太阳公公这么叹气,心想一...
    陈靖文爸爸阅读 203评论 0 0