ReLU ReLU激活函数的优势 ReLU求导容易ReLU会使一部分神经元的输出值为0，这样就造成了网络的稀疏性，减少了参数间的相互依存关系，避免出现过拟合很好的传播梯度，避...
发简信
IP属地：英格兰
-
深度学习知识总结 (1)
-
深度学习优化算法（2）—— Momentum、AdaGrad、RMSProp、Adam算法概述 动量法：梯度转化为速度 AdaGrad：每个参数反比于历史梯度平方总和的平方根 RMSProp：AdaGrad的升级（将梯度积累替换为滑动平均） Adadelta：...
