1.多重共线性
多重共线性是解释变量存在线性关系或者近似的线性关系,多重共线性影响的模型一般为底层是线性的模型,例如:回归、SVM等
如果变量间不存在多重共线性,则变量系数组成的矩阵应该是满秩的,且变量间不存在共线性不代表变量间不存在非线性关系
产生变量相关性的原因有很多,一般为经济变量之间的相同变化趋势,模型中包含滞后变量和截面数据等等
1.1多重共线性的检验
&计算相关系数,因为相关系数是对线性相关的度量
&对于线性回归来说,删除或者增加变量系数是不是有较大变化
&系数的正负号是否与现实相违背
&系数通不过显著性检验
&变量之间做回归,计算可决系数和VIF=1/(1-可决系数)来度量,也称为方差扩大因子法
1.2多重共线性的影响后果
&共线性使最小二乘法预估的参数不确定且估计值方差较大,方差较大又会导致参数的置信区间增大
&回归显著但是回归系数通不过检验,甚至会出现回归系数的正负号的不到合理的解释
但是如果遇到必须使用这些变量度量且为了预测Y,则可以对这些变量进行线性组合
1.3多重共线性的处理方法
&删除变量--这个方法一般不推荐使用,因为删除变量会导致异方差增大,异方差后面会讲到
&增加样本容量--这个好像现实中也不是很好实现,毕竟能用的数据肯定都会用的,时效性不强的也没太大用
&变换模型--对数据求差分;计算相对指标;吧相关变量做线性组合,即小类合并成大类;----比较靠谱的做法
&逐步回归----常用方法,添加删除变量之后做可决系数、F检验和T检验来确定是否增加或者剔除变量,若果增加变量对这些指标的影响较小,也认为指标为多余的,如果增加指标引起R和F的变动且通不过T检验,说明存在共线性---常常使用的方法
&岭回归---但是岭回归的参数k不好选择,k的选择严重影响方差和偏倚程度
2.异方差性
什么是异方差呢,我们前面写线性回归的时候说过,做线性回归应假定随机扰动项满足l平均值和同方差,同方差表示的是所有变量对其均值的分散程度相同,由于u=0,所以也可以说是Y围绕回归线均值的分散程度,但是如果u对不同x呈现的离散程度不同,则称u具有异方差性,也就是被解释变量的观测值分散程度随着解释变量的变化而 变化,也可以说异方差是某个解释变量引起的
2.1产生异方差的原因
模型的设定(例如多重共线性变量的删除,但是变量与y具有相关性,也会产生异方差)
测量误差和截面数据的影响
2.3异方差的影响
&存在异方差将不能保证最小二乘法估计的方差最小,但是模型的拟合依然是无偏性和一致性,但不具有有效性,即不具有最小方差
&异方差会导致参数的方差增大,如果还是使用不存在异方差时的方法进行估计,则会低估参数方差
&破坏t检验和f检验的有效性
&由于参数估计不满足方差最小,所以不是有效的,则对Y的预测也是无效的
2.4异方差的检验
&相关图检验---观察随着x的增加y的离散程度是否增加,如果增加说明存在递增的异方差
&残差图分析
&White检验
基本思想是如果存在异方差,x与u存在相关关系,所以white检验不但可以检验异方差,还可以检验时哪个变量导致的异方差,但该方法要求大样本,但是解释变量过多又会导致丧失自由度,所以一般用u与预测值y和y的平方做回归,用F检验检验是否存在异方差,H0所有系数为0不存在异方差,否则存在异方差
2.5异方差的处理
&加权最小二乘法
方差越小,样本偏离均值的程度越小,越重视,权重越大,否则越小,一般权重使用1/x,1/x2,1/根号x
&模型对数变换,log之后缩小了异方差的范围
3.自相关
自相关即u存在自相关,即cov(u)不等于0,不满足线性回归的假定
3.1自相关产生的原因
经济活动滞后和经济系统的惯性
3.2自相关的后果
&存在自相关将不能保证最小二乘法估计的方差最小,但是模型的拟合依然是无偏性和一致性,但不具有有效性,即不具有最小方差,所以估计的参数不是最佳线性无偏估计
&低估真实的方差会导致高估t检验的值,夸大参数显著性,本来不重要的变量会变为重要的变量,失去t检验的意义
&方差的变大导致预测变量的区间增加,降低了预测的精度
3.3自相关的检验
&残差图---et与e(t-1)的相关图
&DW检验
但是DW检验的前提条件较多,首先需要u为一阶自回归,而且回归必须存在常数项
3.4自相关的处理
&差分法
&科克伦--奥克特迭代
基本思想是对变量回归,求残差u,u=相关系数*u(t-1)+随机扰动项
然后根据计算出来的相关系数做差分,yt-相关系数*y(t-1)=yt*
用yt*和xt*做回归
然后令最终计算的参数=上一步计算的参数/(1-上一步的相关系数)
迭代直到两次相关系数相差很小时作为最佳的相关系数