240 发简信
IP属地:天津
  • 不同激活函数与对应的初始化方法

    1. ReLu. 当使用ReLu激活函数时, 需要使用正态分布的初始化方法,给参数加一点噪声,来打破完全对称并且避免0梯度。有时还需要给偏置附上一些小的非0值来避免dead ...