一元回归模型

回归模型

• y = β1 * x + β2 + ε
• ε ~ N(0,σ^2)

模型解释：
β1：斜率、β2：截距、 ε：随机变量
注： 每一个x都有一个对应的随机变量ε

模型假设

• E(ε) = 0
• D(ε) = σ^2
• Cov(ε1,ε2) = 0
• ε ~ N

回归模型是一个多总体的模型x的水平不同，因变量y的分布也不同

参数估计

我们希望最后回归出来的直线能够比较好的描述问题，即散点均匀的分布在回归的直线左右。这里会引入一个概念——‘残差’。

• 残差
  我们回归出来的方程是一条确定的直线，但现实是随机的。所以实际的（x，y）总是落在回归方程附近。那么实际值记为y1，理论值记为y2。那么残差=y1-y2。
• 最小二乘估计
  考虑到残差有正有负，我们将残差的平方进行求和。那么最小的残差平方和对应的 β1、β2是我们希望回归出来的参数，记作Q( β1，β2)。这种方法也叫做最小二乘法。
  Q( β1，β2) = sum((y1 - y1)^2) = sum((y1 - β1 * x + β2)^2)
  • β1 = sum((x - x_mean) * (y - y_mean)) / sum((x - x_mean)^2)
  • β2 = y_mean - β1 * x_mean
    名词解释：sum()是求和、x_mean、y_mean是x、y的均值。

今天先就这样，明天学习β1、β2参数的性质，极大似然估计，显著性检验和残差分析。