损失函数和代价函数是同一个东西，目标函数是一个与他们相关但更广的概念，对于目标函数来说在有约束条件下的最小化就是损失函数（loss function）
举个例子解释一下:（图片来自Andrew Ng Machine Learning公开课视频）
不同程度的数据拟合
上图从左至右依次为：线性拟合，二次拟合，多次拟合。人工智能的训练其实就是调整其内部参数对输入的数据拟合输出数据。输入数据为x，输出数据为y‘，而真实的数据为y；那么为了表示拟合的好坏，就要使用一个函数来度量拟合的程度，例如RMS（y-y'）；这个度量拟合的程度就叫做损失函数，也称为代价函数，因此训练过程中，损失函数值越小，再结合损失函数的期望：风险函数以及平均风险函数的值，来评价模型的拟合程度，模型的拟合程度越强，其识别能力也就越强。
参考：https://www.zhihu.com/question/52398145
