线性回归模型是一类统称,根据模型中误差项的分布情况,可以分为针对具有独立同分布误差的线性模型,以及具有异方差或自相关误差的线性模型。
线性统计模型的一般形式为:
Y=Xβ+μ, where μ∼N(0,Σ).
基于Σ的性质,现在可以将线性回归模型简单分为四类:
- GLS : 针对任意协方差Σ的广义最小二乘法模型(generalized least squares)
- OLS : 针对独立同分布的误差,即Σ=I的普通最小二乘法模型(ordinary least squares)
- WLS : 针对存在异方差性,即diag(Σ)的加权最小二乘法模型(weighted least squares) 。WLS知道异方差性的真实方差比例,要求权值与误差方差的倒数成正比。
- GLSAR : 针对存在自相关的误差,即Σ=Σ(ρ)的具有自相关的可行广义最小二乘模型(feasible generalized least squares with autocorrelated AR(p))