| VIDEO |
|---|
[机器学习入门] 李宏毅机器学习笔记-10 （Tips for Deep Learning；深度学习小贴士）
| VIDEO |
|---|
Recipe of Deep Learning
这里写图片描述
这里写图片描述
在 training data上的performance不好
这里写图片描述
Deeper usually does not imply better
这里写图片描述
Vanishing Gradient Problem
这里写图片描述
这里写图片描述
这里写图片描述
ReLU（Rectified Linear Unit）
这里写图片描述
这里写图片描述
这里写图片描述
ReLU - variant
这里写图片描述
那么除了ReLU有没有别的activation function了呢？
所以我们用 Maxout来根据training data自动生成activation function
ReLU is a special cases of Maxout
Maxout
这里写图片描述
ReLU is a special cases of Maxout
这里写图片描述
More than ReLU
这里写图片描述
这里写图片描述
Maxout - Training
这里写图片描述
这里写图片描述
Adaptive Learning Rate
这里写图片描述
这里写图片描述
RMSProp
这里写图片描述
Hard to find optimal network parameters
这里写图片描述
Momentum（gradient descent 融入惯性作用）
这里写图片描述
这里写图片描述
这里写图片描述
所以，加了momentum后：
这里写图片描述
Adam
这里写图片描述
在testing data上performance不好
这里写图片描述
Early Stopping
这里写图片描述
Regularization
这里写图片描述
这里写图片描述
这里写图片描述
Regularization - Weight Decay
这里写图片描述
Dropout
这里写图片描述
这里写图片描述
这里写图片描述
Dropout- Intuitive Reason
这里写图片描述
这里写图片描述
Dropout is a kind of ensemble
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
