超参数调优：Grid Search vs 随机搜索
- 神经网络中参数主要包括：学习率、优化器
、batch size等；常采用的超参数选择的方法有：Grid Search方法和随机搜索的方法，更建议使用随机搜索的方法，因为可能很多参数并不重要，也不确定哪个取值范围才是最好的。
image.png
- 从粗粒度到细粒度，现在整个空间中随机找到一个结果较好的参数范围，然后再此范围中再进行随机搜索。找到最优的参数组合。
image.png
超参数取值尺度问题
- 对于网络层数，神经元个数这类参数可以采用等间距取值的方式。但是对于学习率这样的参数，不适合采用等间距取值的方式。应该从
这样的间距中取值。
image.png
超参数调优实践
- 第一种方式，如果资源不充足的情况下，可以每天观察模型学习的曲线进而针对性改变超参数继续训练。对于资源充足的情况下，可以设置不同的超参数并行的进行训练。
image.png
Batch Normalization
- Batch Normalization的具体实现。BN实现中引入了参数
这两个参数。BN相当于在batch维度做归一化，比如
的维度为
，则BN就是在列维度做归一化。对于输入层BN就是对输入特征做归一化。
image.png
- BN做用的是
，然后使用此值得到激活值
。
image.png
测试时BN如何使用？
- 从下图左边训练时BN的计算公式可以看出，计算BN需要用到
；测试的时候可以用训练时，每个batch的指数加权平均得到
image.png
Softmax回归
- softmax回归是逻辑回归的一般形式，用于解决多分类问题。softmax激活函数，首先需要计算各个输出的
的值，然后再进行归一化得到一个概率和为1的向量。从下面的第三张图可以看出，softmax层可以学习出非线性的决策边界，但是逻辑回归是做不到的。
图片多分类问题.png
softmax层.png
softmax可以学习非线性的决策边界.png
Softmax回归训练
- 当C=2的时候，softmax回归就退化成了逻辑回归。softmax回归使用的损失函数为负对数似然损失，计算公式如下：
image.png
softmax回归损失函数.png
