机器学习笔记(二)——梯度下降算法实践Tips

Tips 1: 特征缩放


在训练的样本中会容易出现数据相差很大的情况,这就会造成训练过程中需要经历很长的迭代才能找到最优参数,情况如下图所示,两种不同的数据,找到最优参数的路径不同。


第二种方法就是采用了特征缩小的方法,这样就减少了迭代次数,我们可以采用归一化的方法来使对我们的特征进行缩放


Tips 2:学习率a的选择



学习率a是梯度下降算法的重要参数。如果选择过小,会使迭代次数过多,造成不必要的计算;如果选择过大,则会出现无法收敛的情况。

在选择适当的学习率的情况下,随着迭代次数的增加,代价函数应该是一个减函数,逐渐趋向于平滑。

当选定了一个a之后,我们可以利用自动收敛测试:

然而,0.001这个阈值的选择在实际过程中是很难选择的,因此,我们最好还是依靠图像来判断。


吴教授对a选定习惯:


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容