R语言学习-OLS回归

回归分析是统计学的核心，通指那些用一个或多个预测变量（自变量）来预测相应变量（因变量）的方法
OLS回归法又称普通最小二乘回归法，主要包括简单线性回归，多项式回归，多元线性回归
如果要了解更多OLS回归发的原理，可自行百度
这里主要学习如何在R上建立回归模型

用lm()拟合回归模型

在R中，拟合线性模型最基本的函数就是lm()，调用格式为：
lm(formula,data=)
其中formula是一个公式，data是数据框，包含了用于拟合模型的数据
表达式的形式如下：
Y~X1+X2+X3·····
Y是因变量，X1，X2，X3是自变量，公式的意思是用X1,X2,X3来预测Y的值
其中公式常用的符号有以下几个

~ 分割符号左边为因变量，右边为自变量
加号分割自变量
：表示预测变量的交互项，比如用x,z,x和z的交互项来预测y y~x+z+x:z
^ 表示交互项达到的次数 y_{(x+z+w)^展开为y}x+z+w+x:z+x:w+z:w
I() 从算术的角度来解释括号中的元素 y_{x+I((z+w)^2)展开为y}x+h,其中h是一个由z和w的平方和创建的新变量

简单线性回归

当回归模型中只含有一个自变量和一个因变量时，成为简单线性回归
示例的数据来源于R语言内置数据集women，其中包含了15个年龄在30~39岁之间女性的身高和体重数据
我们这里想通过身高来预测体重

> women
   height weight
1      58    115
2      59    117
3      60    120
4      61    123
5      62    126
6      63    129
7      64    132
8      65    135
9      66    139
10     67    142
11     68    146
12     69    150
13     70    154
14     71    159
15     72    164
> fit<-lm(weight~height,data = women)
> fit

Call:
lm(formula = weight ~ height, data = women)

Coefficients:#可以看出回归截距为-87.52，回归系数为3.45
(Intercept)       height  
     -87.52         3.45  
> summary(fit)#展示拟合模型的详细结果

Call:
lm(formula = weight ~ height, data = women)

Residuals:
    Min      1Q  Median      3Q     Max 
-1.7333 -1.1333 -0.3833  0.7417  3.1167 

Coefficients:
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) -87.51667    5.93694  -14.74 1.71e-09 ***
height        3.45000    0.09114   37.85 1.09e-14 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.525 on 13 degrees of freedom#残差标准误
Multiple R-squared:  0.991, Adjusted R-squared:  0.9903 
F-statistic:  1433 on 1 and 13 DF,  p-value: 1.091e-14
> fitted(fit)#显示预测值
       1        2        3        4        5        6        7        8        9       10       11 
112.5833 116.0333 119.4833 122.9333 126.3833 129.8333 133.2833 136.7333 140.1833 143.6333 147.0833 
      12       13       14       15 
150.5333 153.9833 157.4333 160.8833 
> residuals(fit)#显示残差，残差=预测值-实际值
          1           2           3           4           5           6           7           8 
 2.41666667  0.96666667  0.51666667  0.06666667 -0.38333333 -0.83333333 -1.28333333 -1.73333333 
          9          10          11          12          13          14          15 
-1.18333333 -1.63333333 -1.08333333 -0.53333333  0.01666667  1.56666667  3.11666667
> plot(women$height,women$weight)#绘图
> abline(fit)#添加拟合模型曲线

image.png

通过上述操作可以得到预测公式
weight=-87.52+3.45*height

多项式回归

上面的结果图表明可以添加一个二次项来得到一个弯曲的曲线来提高预测的精度
当只有一个自变量，但同时包含变量的幂（x^2,x3）时,成为多项式回归

> fit<-lm(weight~height+I(height^2),data = women)
> fit

Call:
lm(formula = weight ~ height + I(height^2), data = women)

Coefficients:
(Intercept)       height  I(height^2)  
  261.87818     -7.34832      0.08306  
> summary(fit)

Call:
lm(formula = weight ~ height + I(height^2), data = women)

Residuals:
     Min       1Q   Median       3Q      Max 
-0.50941 -0.29611 -0.00941  0.28615  0.59706 

Coefficients:
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) 261.87818   25.19677  10.393 2.36e-07 ***
height       -7.34832    0.77769  -9.449 6.58e-07 ***
I(height^2)   0.08306    0.00598  13.891 9.32e-09 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.3841 on 12 degrees of freedom
Multiple R-squared:  0.9995,    Adjusted R-squared:  0.9994 
F-statistic: 1.139e+04 on 2 and 12 DF,  p-value: < 2.2e-16
> plot(women$height,women$weight)
> lines(women$height,fitted(fit))

image.png

可以看到新的拟合模型较旧拟合模型更加贴近实际值
因此可以得到预测公式为
weight=261.87818-7.34832height+0.083063height^2

多元线性回归

当预测变量（自变量）不止一个时，简单线性回归就变成了多元线性回归
以基础包中的state.x77数据集为例，探究犯罪率和其他因素的关系，包括人口，文盲率，收入，结霜天数
lm()函数需要输入数据框，因此我们要对原始数据集进行转化

> class(state.x77)
[1] "matrix"
> state<-as.data.frame(state.x77[,c("Murder","Population","Illiteracy","Income","Frost")])
> class(state)
[1] "data.frame"
> state
               Murder Population Illiteracy Income Frost
Alabama          15.1       3615        2.1   3624    20
Alaska           11.3        365        1.5   6315   152
Arizona           7.8       2212        1.8   4530    15
Arkansas         10.1       2110        1.9   3378    65
California       10.3      21198        1.1   5114    20
Colorado          6.8       2541        0.7   4884   166
Connecticut       3.1       3100        1.1   5348   139
Delaware          6.2        579        0.9   4809   103
Florida          10.7       8277        1.3   4815    11
Georgia          13.9       4931        2.0   4091    60
Hawaii            6.2        868        1.9   4963     0
Idaho             5.3        813        0.6   4119   126
Illinois         10.3      11197        0.9   5107   127
Indiana           7.1       5313        0.7   4458   122
Iowa              2.3       2861        0.5   4628   140
Kansas            4.5       2280        0.6   4669   114
Kentucky         10.6       3387        1.6   3712    95
Louisiana        13.2       3806        2.8   3545    12
Maine             2.7       1058        0.7   3694   161
Maryland          8.5       4122        0.9   5299   101
Massachusetts     3.3       5814        1.1   4755   103
Michigan         11.1       9111        0.9   4751   125
Minnesota         2.3       3921        0.6   4675   160
Mississippi      12.5       2341        2.4   3098    50
Missouri          9.3       4767        0.8   4254   108
Montana           5.0        746        0.6   4347   155
Nebraska          2.9       1544        0.6   4508   139
Nevada           11.5        590        0.5   5149   188
New Hampshire     3.3        812        0.7   4281   174
New Jersey        5.2       7333        1.1   5237   115
New Mexico        9.7       1144        2.2   3601   120
New York         10.9      18076        1.4   4903    82
North Carolina   11.1       5441        1.8   3875    80
North Dakota      1.4        637        0.8   5087   186
Ohio              7.4      10735        0.8   4561   124
Oklahoma          6.4       2715        1.1   3983    82
Oregon            4.2       2284        0.6   4660    44
Pennsylvania      6.1      11860        1.0   4449   126
Rhode Island      2.4        931        1.3   4558   127
South Carolina   11.6       2816        2.3   3635    65
South Dakota      1.7        681        0.5   4167   172
Tennessee        11.0       4173        1.7   3821    70
Texas            12.2      12237        2.2   4188    35
Utah              4.5       1203        0.6   4022   137
Vermont           5.5        472        0.6   3907   168
Virginia          9.5       4981        1.4   4701    85
Washington        4.3       3559        0.6   4864    32
West Virginia     6.7       1799        1.4   3617   100
Wisconsin         3.0       4589        0.7   4468   149
Wyoming           6.9        376        0.6   4566   173

在多元回归分析中，最好先检查一下变量之间的相关性

> cor(state)
               Murder Population Illiteracy     Income      Frost
Murder      1.0000000  0.3436428  0.7029752 -0.2300776 -0.5388834
Population  0.3436428  1.0000000  0.1076224  0.2082276 -0.3321525
Illiteracy  0.7029752  0.1076224  1.0000000 -0.4370752 -0.6719470
Income     -0.2300776  0.2082276 -0.4370752  1.0000000  0.2262822
Frost      -0.5388834 -0.3321525 -0.6719470  0.2262822  1.0000000

可以看出，谋杀率随着人口数量和文盲率的增加而增加，收入和结霜天数的增加而下降
car包中的scatterplotMatrix()函数会生成散点图矩阵，可以很容易的绘制二元关系图

> library(car)
载入需要的程辑包：carData
> scatterplotMatrix(state)

image.png

确定了相关性后，就可以使用lm()函数拟合多元线性回归模型

> fit<-lm(Murder~Population+Illiteracy+Income+Frost,data = state)
> fit

Call:
lm(formula = Murder ~ Population + Illiteracy + Income + Frost, 
    data = state)

Coefficients:
(Intercept)   Population   Illiteracy       Income        Frost  
  1.235e+00    2.237e-04    4.143e+00    6.442e-05    5.813e-04  

> summary(fit)

Call:
lm(formula = Murder ~ Population + Illiteracy + Income + Frost, 
    data = state)

Residuals:
    Min      1Q  Median      3Q     Max 
-4.7960 -1.6495 -0.0811  1.4815  7.6210 

Coefficients:
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) 1.235e+00  3.866e+00   0.319   0.7510    
Population  2.237e-04  9.052e-05   2.471   0.0173 *  
Illiteracy  4.143e+00  8.744e-01   4.738 2.19e-05 ***
Income      6.442e-05  6.837e-04   0.094   0.9253    
Frost       5.813e-04  1.005e-02   0.058   0.9541    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 2.535 on 45 degrees of freedom
Multiple R-squared:  0.567, Adjusted R-squared:  0.5285 
F-statistic: 14.73 on 4 and 45 DF,  p-value: 9.133e-08

可以看出谋杀率和文盲率呈极显著线性相关
当有多个自变量时，回归系数的含义为：一个预测变量增加一个单位，其他预测变量不变时，相应变量将要增加的数目

有交互项的多元线性回归

示例数据来源于mtcars数据集，通过汽车重量（wt）和马力（hp）来预测汽车的每加仑行驶英里数（mpg）

> class(mtcars)
[1] "data.frame"
> fit<-lm(mpg~wt+hp+wt:hp,data = mtcars)
> fit

Call:
lm(formula = mpg ~ wt + hp + wt:hp, data = mtcars)

Coefficients:
(Intercept)           wt           hp        wt:hp  
   49.80842     -8.21662     -0.12010      0.02785  

> summary(fit)

Call:
lm(formula = mpg ~ wt + hp + wt:hp, data = mtcars)

Residuals:
    Min      1Q  Median      3Q     Max 
-3.0632 -1.6491 -0.7362  1.4211  4.5513 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) 49.80842    3.60516  13.816 5.01e-14 ***
wt          -8.21662    1.26971  -6.471 5.20e-07 ***
hp          -0.12010    0.02470  -4.863 4.04e-05 ***
wt:hp        0.02785    0.00742   3.753 0.000811 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 2.153 on 28 degrees of freedom
Multiple R-squared:  0.8848,    Adjusted R-squared:  0.8724 
F-statistic: 71.66 on 3 and 28 DF,  p-value: 2.981e-13

可以看出马力与汽车重量的交互项是显著的
这说明这两个自变量之间存在着相互的影响