在图形学中有一个关于插值的例子可以很好的帮助我们理解cost function,假设我们已知一组点,(x1,y1),(x2,y2)... (xn,un),我们需要找到一个函数f,函数要求可以通过所有点,也就是f(x1)=y1,f(x2)=y2 ... f(xn)=yn,这个函数我们可以暂且称其为预测函数,当我们有一个新的不在样本集中的x ,就可以根据预测函数得出对应的函数值。
当样本足够多,要寻找一个能通过所有函数的函数是困难的,但找到一个大致符合样本点曲线的函数是可行的,但如何衡量找到的预测函数与样本集的实际函数的差距呢,就用到了cost function 损失函数。
损失函数可以简单的理解为,我们的预测函数和实际函数在每个点的差值的和。
其公式为
h函数就是我们的预测函数,y就是一个样本点的y值,这个公式可能看起来复杂,但其原理和上面的讨论是类似的,只是用了最小二乘法。
然后一个问题就是为什么需要损失函数。emmm,在线性回归问题中,我们使用一个线性函数
来作为预测函数,这个函数中有两个待定量
θ1和θ2,这两个量的取值决定了预测函数的预测准确性,这个时候就用到了损失函数,损失函数就是用来确定θ1和θ2,当损失函数取最小值时,θ1和θ2的取值就是预测函数最优解。至于如何确定θ1和θ2,下次在梯度下降中会讨论。