在图形学中有一个关于插值的例子可以很好的帮助我们理解cost function，假设我们已知一组点，(x1,y1),(x2,y2)... (xn,un)，我们需要找到一个函数f，函数要求可以通过所有点，也就是f(x1)=y1,f(x2)=y2 ... f(xn)=yn，这个函数我们可以暂且称其为预测函数，当我们有一个新的不在样本集中的x ，就可以根据预测函数得出对应的函数值。

当样本足够多，要寻找一个能通过所有函数的函数是困难的，但找到一个大致符合样本点曲线的函数是可行的，但如何衡量找到的预测函数与样本集的实际函数的差距呢，就用到了cost function 损失函数。

损失函数可以简单的理解为，我们的预测函数和实际函数在每个点的差值的和。

其公式为

损失函数

h函数就是我们的预测函数，y就是一个样本点的y值，这个公式可能看起来复杂，但其原理和上面的讨论是类似的，只是用了最小二乘法。

然后一个问题就是为什么需要损失函数。emmm，在线性回归问题中，我们使用一个线性函数

预测函数

来作为预测函数，这个函数中有两个待定量

θ1和θ2，这两个量的取值决定了预测函数的预测准确性，这个时候就用到了损失函数，损失函数就是用来确定θ1和θ2，当损失函数取最小值时，θ1和θ2的取值就是预测函数最优解。至于如何确定θ1和θ2，下次在梯度下降中会讨论。