[线性回归] 模型和代价函数

代价函数 Cost Function

为了度量预测函数(hypothesis)的精确性,我们引入了代价函数。它用对所有基于输入(x)的预测结果和输出(y)取平均差。

代价函数

它其实是平均值的1/2,这个平均值是m项加起来最后除以m所得。
这个代价函数又叫“平方误差函数”,或者“均方差函数”[1]
均值前面的1/2是为了方便梯度下降的计算(用1/2抵消1/2平方项求导产生的2)。

Prof.Ng 的PPT草图

例子

想象着数据集分散在xy轴所构成的画板上,有一条线尽可能穿过所有的点. 这时J(θ0,θ1)将等于 0. 接下来的例子是一种理想状态的代价函数,它的值为0.


当 θ1=1 时, 斜率为1的直线穿过了所有的点。
当 θ1=0.5 时,我们所画的线到数据点之间的距离增加。

这时代价函数值为 0.58。 再继续画几个点就会得到如下所示的图:


我们的目标就是得到代价函数的最小值。在这个案例中,θ1=1就是目标的最小值。

注:
[1] 这里用均方误差来衡量,是经过实践校验比较合理精确的方法,还有其他的方法后续也会介绍。均方误差——百度百科

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容