发简信
IP属地：安徽
-
卷积运算的优化 - Im2Col
前言 在卷积网络中，卷积运算的运算量是巨大的，如果使用Naive的for循环来完成卷积运算，真的是很Naive。而另一方面，无论是CPU还是GP...
-
Batch Normalization 简记 - 梯度求导与算法实现前言 在神经网络训练过程中，随着网络的加深，隐含层的非线性函数的输入分布逐渐趋向于其取值范围的上下限，导致反向传播过程中经过非线性函数时梯度弥散...
-
权值更新 SGD Momentum AdaGrad RMSProp Adam
前言 反向传播传播获得梯度之后如何选择合适的权值更新策略，在神经网络训练过程中是重要的影响因素。在CS231n上学习到了几种常用的权值更新策略，...
-
Softmax 损失函数 梯度求导在线性分类器中，softmax损失函数用于评估分类结果的好坏(损失)，与SVM不同之处在于，Softmax鲁棒性稍差，计算量稍大，但这并不影响其...