【Andrew Ng机器学习】单变量线性回归-代价函数

课程：吴恩达机器学习

代价函数

弄清楚如何把最有可能的直线与我们的数据相拟合

模型参数

我们把 $\theta$ ₀和 $\theta$ ₁称为模型参数
而我们要做的就是选择这两个参数值 $\theta$ ₀和 $\theta$ ₁

不同的模型参数对应不同的h

代价函数的引出

在线性回归中，我们有一个训练集如下图：

我们要做的就是得出 $\theta$ ₀和 $\theta$ ₁，来让假设函数表示直线，尽量的与这些数据点更好的拟合

如何选择模型参数使h与数据点更好的拟合？

idea：选择 $\theta$ ₀和 $\theta$ ₁，使得h_$\theta$(x)，也就是输入x时我们预测的值，最接近该样本的y值的参数 $\theta$ ₀和 $\theta$ ₁。

所以，我的训练集中我们会得到一定数量的样本，我们知道x表示卖出哪所房子，并且知道这所房子的实际价格。

在线性回归中我们要解决的是一个最小化问题,所以要写出关于 $\theta$ ₀和 $\theta$ ₁的最小化。
我们希望 ( h_$\theta$ - y )² 极小，要做的事情是尽量减少( 假设输出 - 房子真实价格 )²。
所以我们要做的事情就是对 ( h_$\theta$ - y )² 进行一个求和：

$\sum_{i=1}^m$ ( h_$\theta$ $x^{(i)}$ - $y^{(i)}$ )²

为了变得容易理解，实际上考虑的是平均误差也就是：

(1/m) $\sum_{i=1}^m$ ( h_$\theta$( $x^{(i)}$ - $y^{(i)}$ )²
为了使其他数学计算更简单一些，这里可以把式子变为
(1/2m) $\sum_{i=1}^m$ ( h_$\theta$ $x^{(i)}$ - $y^{(i)}$ )²
两个得出的 $\theta$ ₀和 $\theta$ ₁是相同的。

此时，我们正在把这个问题变成：找到使得
(1/2m) $\sum_{i=1}^m$ ( 我们的预测值 - 真实值 )² 最小的 $\theta$ ₀和 $\theta$ ₁

这个函数将会是线性回归的整体目标函数，为了使它更明确一些，我们要改写这个函数。定义一个代价函数(cost function):

J ( $\theta_0$ , $\theta_1$ ) = (1/2m) $\sum_{i=1}^m$ ( h_$\theta$ $x^{(i)}$ - $y^{(i)}$ )²

我们要做的就是关于 $\theta_0$ 和 $\theta_1$ 对函数J ( $\theta_0$ , $\theta_1$ ) 求最小值.

代价函数也被称作平方误差函数，有时也被称为平方误差代价函数。事实上我们之所以要求出误差的平方和是因为误差平方代价函数对于大多数问题，特别是回归问题都是一个合理的选择。还有其他代价函数也能很好地发挥作用。但是平方误差代价函数可能是解决回归问题最常用的手段了。后续还会谈到更多的代价函数。
【Andrew Ng机器学习】单变量线性回归-代价函数（一）

最后编辑于：2022.08.10 11:15:50

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

【Andrew Ng机器学习】单变量线性回归-代价函数