这次课，小哥哥回来了，小姐姐走了
一、 更好的优化
- 神经网络的训练，其实是一个优化的过程
- 假设在二维的情况下，我们只要确定最优的W_1 和 W_2就可以了
- 我们使用的最简单的优化方法是随机梯度下降，只有三行代码，如图：
优化
随机梯度下降在实际中的问题
问题1
- 在二维情况下，当损失在一个方向上敏感，而在另一个方向不敏感时，随机梯度下降会成之字形变化，在水平方向上变化很慢
- 在高纬度的情况下，这种情况会更严重
问题1
问题2
- 局部极小值或鞍点
- 在高纬度这种情况很严重
问题2
问题3
- 梯度下降很曲折，很缓慢
问题3
SGD+Momentum
- 在随机梯度下降中，加入一个动量项
- 保持一个不随时间变化的速度，并且将梯度估计添加到这个速度上，在这个速度方向上步进，而不是在梯度反向
- 我们还引入一个超参数，使用这个超参数来对速度进行衰减
- 这种方法，解决了SGD的所有问题
SGD+Momentum
- 当它下降的时候，会加速，这样就越过了局部极小值和鞍点（类似给了它惯性）
- 右图中，黑色时SGD，蓝色是加了动量的，表现更好
解决了问题
- 图中可以看到，我们实际的移动方向，是速度和梯度的综合
动量的作用
- Nesterov Momentum，如图，我们根据速度，沿着一个方向移动，然后再计算出梯度
Nesterov Momentum
- 通过变量的替换，我们可以使得公式更加优美
Nesterov Momentum公式
- 图中比较了三中方式
比较
AdaGrad算法
- 在训练中保持一个梯度平方项，一直累加梯度的平方到这个平方项
- 更新参数时，除以这个平方项
AdaGrad
- 这样会使不敏感的那个方向的速度变快
- 使敏感的方向的速度变慢
- 随着时间的推移，梯度会越来越小，参数更新会越来越慢，可能会困在局部最小值
RMSProp算法-AdaGrad的变体
- 这种算法依然是保持一个平方项，但是会对它进行缩减
- 会导致训练变慢
RMSProp
比较
Adam（almost）算法
- 结合了上面两种优化方式的策略
- 引入两个动量
- 会导致第一步（前几步）的步长很大，因为第二个动量的初始值很小，除法后就会变得很大（这是我们不想看到的）
Adam（almost）
Adam(full form)算法
- 引入第一动量和第二动量的无偏估计
- 它在实际应用中表现良好的算法
Adam(full form)
- 可以看到Adam表现很好
比较
学习率
- 在任何的算法中，都会有学习率这个超参数，该如何选择超参数呢？
- 可以随着训练的推进，减小学习率的值
学习率
- 右图中，损失的阶段性递减，是由于使用了学习率递减
- 那些骤降的节点，是由于学习率乘上了某个因子
递减
一阶优化算法
- 用到一阶导数
- 一阶泰勒逼近
一阶
二阶优化算法
- 用到一阶导数和二阶导数
- 二阶泰勒逼近
二阶
- 这样的优点是没有超参数，没有学习率
优点
- 对于深度学习，这个方法是不实际的，内存存不下
缺点
- 人们会使用类牛顿算法，来减小内存的耗费
类牛顿算法
L_BFGS是一个二阶逼近算法
- 有些实际中会用到
- 但是一般不常用，不做深入研究
二阶逼近算法
实际中优化算法的选择
- 实际中，Adam算法是很好的选择
- 在某些情况下，L_BFGS也会是好的选择
实际
减小训练误差后的事
- 在实际中，我们真正关心的不是训练误差，而是测试误差，以及训练误差与验证误差之间的差距
解决方法就是模型集成
- 在随机的初始值上，进行不同的模型训练
- 将不同模型的测试结果求平均
模型集成
使用多个学习率
学习率
Polyak
Polyak
后边很多没搞懂，以后遇到了再仔细研究吧
二、正则化
- 如何提高单一模型的效果？——正则化
-
防止模型的过拟合
提高单一模型效果
在损失函数中加一项
add term to loss
Dropout
dropout
向前传播时，在每一层，随机的将一些神经元置为0
-
为什么Dropout有作用？
- 避免了特征间的相互适应，某种程度上抑制了过拟合
- dropout使一个单一的网络变成了多个子网络
-
在测试时的情况：
- dropout使得输出随机化，积分无法求
- 使用局部逼近来求积分，为每个神经元乘以一个丢弃率
批量归一化 ，数据增强 ，部分最大池化等都是类似的作用
三、迁移学习
- 训练一个卷积网络需要大量的数据
- 当你的数据不够的时候，可以使用迁移学习
tansfer learning
transfer learning
