代价函数
预测函数:hθ(x) = θ0 + θ1x
实际的值为:y1,y2,y3 ... ym
预测值和实际值之间的误差评估,即用标准方差表示:
其中2m一般情况下用m,2m是方便以后计算,无实质性影响。
代价函数的最简单示例
给定数据集:x = 1,y = 1; x = 2,y = 2;x =3, y =3
预测函数简化为:hθ(x) = θx
代价函数:
当θ = 0时:预测函数是 hθ(x) = 0,就是x轴,代价函数值为:
J(0) = ((0 - 1)2 + (0 - 2)2 + (0 - 3)2 )/(2 x 3) = (1 + 4 + 9) / 6 = 14/6
当θ = 1时:预测函数是 hθ(x) = x,就是45度斜线,代价函数值为:
J(1) = ((1 - 1)2 + (2 - 2)2 + (3 - 3)2 )/(2 x 3) = (0 + 0 + 0) / 6 = 0
当θ = 2时:预测函数是 hθ(x) = 2x,代价函数值为:
J(2) = ((2 - 1)2 + (4 - 2)2 + (6 - 3)2 )/(2 x 3) = (1 + 4 + 9) / 6 = 14/6
把θ上所有x的值算出来,就是一条开口向上的抛物线,当x = 1时J(θ) = 0,值最小。
多变量的代价函数
预测函数:hθ(x) = θ0 + θ1x
其中θ0 不简化为0时,,就有两个变量θ0和 θ1
代价函数的计算仍然同简化的一样,但图形就不再是一个二维平面的抛物线,而是一个三维的值了,其中θ0和 θ1的值就组成了等高线。