转载知乎深度炼丹，如何找到最优学习率：https://zhuanlan.zhihu.com/p/31424275
转载知乎机器之心，神经网络学习速率设置：
https://zhuanlan.zhihu.com/p/34236769
转载github,Cyclical Learning Rates :
https://github.com/automan000/CyclicLR_Scheduler_PyTorch
https://github.com/falloutdurham/pytorch-clr/blob/master/clr.py
转载CSDN,过拟合和欠拟合:https://blog.csdn.net/willduan1/article/details/53070777
神经网络不工作:http://theorangeduck.com/page/neural-network-not-working
训练CNN时，loss不收敛原因分析 :https://blog.csdn.net/sinat_24143931/article/details/78663659》
语义分割中的loss
基本不变
- 初始状态为均匀分布，每个类别的分类概率均为0.5（二分类），损失函数-ln(0.5)=0.69,loss一直为0.69，俗称高原反应，说明训练还没有收敛的迹象，(建议调大学习速率,有的说要调小学习率)，或者修改权值初始化方式;
- batch size越小，梯度随机性越大，batch size越大，梯度随机性越小
epoch 和 iteration
- one epoch: 指所有training samples的一次forward pass和一次backward pass.当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一个 epoch。
- batch size: 指一次forward/backward pass中training samples的数量．batch size越大，所需的内存空间越多．
- iterations: number of passes, each pass using [batch size] number of examples.在一个 epoch 中，batch 数和迭代数是相等的。
- one pass = one forward pass + one backward pass
- 例：对于1000个训练样本，batch size是500,那么每个epoch需要迭代两次
