当梯度算法应用于线性回归的情况时，可以导出梯度下降方程的新形式。 我们将梯度下降和平方误差代价函数结合：
梯度下降和平方误差代价函数结合
参数求导替换函数
线性回归下的梯度下降
用于线性回归的代价函数是一个弓形，这个函数的专业术语是一个凸函数。这个函数没有任何局部最优解，只有一个全局最优解，并且无论什么时候这种代价函数使用线性回归（所以任何函数都有局部最优的说法是错误的），梯度下降法得到的结果总是收敛到全局最优值，因为没有全局最优以外的其他局部最优点。
所有这一切的要点是，如果我们从假设开始，然后重复应用这些梯度下降方程，我们的假设将变得越来越准确。
弓形函数
因此，这只是原始成本函数J的梯度下降。该方法在每个步骤中查看整个训练集中的每个示例，并称为批量梯度下降。 需要注意的是，虽然梯度下降一般可以对局部最小值敏感，但我们在线性回归中提出的优化问题只有一个全局，而没有其他局部最优; 因此，梯度下降总是收敛（假设学习率α不是太大）到全局最小值。 实际上，J是凸二次函数。 下面是梯度下降的示例，因为它是为了最小化二次函数而运行的。
二次函数的轮廓
上面显示的椭圆是二次函数的轮廓。 还示出了梯度下降所采用的轨迹，其在（48,30）处初始化。 图中的x（由直线连接）标记了渐变下降经历的θ的连续值，当它收敛到其最小值时。
