Sigmoid 算法

欢迎Follow我的GitHub, 关注我的简书.

Sigmoid Function, 即双弯曲函数.

公式

sigmoid

取值范围:

sigmoid

当z=0时, sigmoid值是0.5;
当z=4时, sigmoid值是0.982≈1;
当z=-4时, sigmoid值是0.018≈0;

梯度

sigmoid梯度

即

关系

取值范围:

sigmoid梯度

优缺点:

  1. 神经网络中的激活函数, 其作用就是引入非线性;
  2. 输出范围有限, 数据在传递的过程中不容易发散; 缺点是饱和的时候梯度太小;
  3. 输出范围为(0, 1), 所以可以用作输出层, 输出表示概率;
  4. 容易求导, y'=y(1-y), 这样很容易做bp(back propagation, 反向传播).

关于Sigmoid算法, 非常全面的讲解. That's all! Enjoy it!

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容