代价函数 Cost Function
为了度量预测函数(hypothesis)的精确性,我们引入了代价函数。它用对所有基于输入(x)的预测结果和输出(y)取平均差。
它其实是平均值的1/2,这个平均值是m项加起来最后除以m所得。
这个代价函数又叫“平方误差函数”,或者“均方差函数”[1]。
均值前面的1/2是为了方便梯度下降的计算(用1/2抵消1/2平方项求导产生的2)。
例子
想象着数据集分散在xy轴所构成的画板上,有一条线尽可能穿过所有的点. 这时J(θ0,θ1)将等于 0. 接下来的例子是一种理想状态的代价函数,它的值为0.
当 θ1=1 时, 斜率为1的直线穿过了所有的点。
当 θ1=0.5 时,我们所画的线到数据点之间的距离增加。
这时代价函数值为 0.58。 再继续画几个点就会得到如下所示的图:
我们的目标就是得到代价函数的最小值。在这个案例中,θ1=1就是目标的最小值。
注:
[1] 这里用均方误差来衡量,是经过实践校验比较合理精确的方法,还有其他的方法后续也会介绍。均方误差——百度百科