机器学习入门(6)--(单变量)梯度下降与线性回归

申明:此文章内容来自于 Doctor AndrewNG的视频,经过编辑而成

按照前文所说,梯度下降能够求出一个函数的最小值;线性回归需要求出,使得cost function的最小;因此我们能够对cost function运用梯度下降,即将梯度下降和线性回归进行整合,如下图所示:

梯度下降与线性回归

对我们之前的线性回归问题运用梯度下降法,关键在于求出代价函数的导数:

线性回归代价函数代入梯度下降算法求导
当j=0,线性回归代价函数代入梯度下降算法求导
当j=1时,线性回归代价函数代入梯度下降算法求导

我们刚刚使用的算法,有时也称为批量梯度下降。实际上,在机器学习中,通常不太会给算法起名字,但这个名字”批量梯度下降”,指的是在梯度下降的每一步中,我们都用到了所有的训​​练样本,在梯度下降中,在计算微分求导项时,我们需要进行求和运算,所以,在每一个单独的梯度下降中,我们最终都要计算这样一个东西,这个项需要对所有m个训练样本求和。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容