数据标准化处理之per SD change

文献中经常出现“自变量变化一个标准差，因变量变化多少（per SD change/increase(%))”的提法。医学文献中较为常用，如“BMI每增加1个标准差，收缩压增加0.19mmHg，高血压风险增加1%”。对于常规指标，每增加一个单位，如BMI每增加1kg/m2，临床意义清楚；对于非常规指标，如HDL流出能力每增加一个单位，则不清楚到底增加了多少。SD可以直观反应X值在人群中的分布，95%的可信区间是±1.96倍的SD，因此4个SD约覆盖95%的样本。每增加一个SD，临床意义更加直观清楚。

那么，如何衡量自变量变动一个标准差对因变量的影响呢？目前主要有两种计算方法：

同时对自变量和因变量进行标准化处理，即计算标准化回归系数，得到因变量变化多少个标准差；
只对自变量进行标准化处理，即计算每增加1个标准差对应的回归系数，得到因变量变化多少个单位。

标准化回归系数 VS 未标准化回归系数

标准化回归系数是指将数据标准化（减均值除方差）后计算得到的回归系数。因为数据进行了标准化，因此就消除了量纲的影响。

Calculation

假设原始回归方程为
$Y=\beta_0*X+\varepsilon$

则有
$\mu_Y=\beta_0*\mu_X$

$Y-\mu_Y=\beta_0*(X-\mu_X)+\varepsilon$

标准化回归方程为
$\frac{Y-\mu_Y}{\sigma_Y}=\beta_1*\frac{X-\mu_X}{\sigma_X}+\varepsilon$

可知标准化系数与原始系数的关系为
$\beta_1=\beta_0*\frac{\sigma_X}{\sigma_Y}$

Interpretation

假设因变量为y，自变量为x，标准回归系数为a。那么在解释时就要说，当x变化1个标准差是，y变化a个标准差。

标准化后的回归系数在不同自变量之间是可比的，没有标准化之前是不可比的。

举个例子：

假设因变量是一个人的外貌给人的印象y，自变量有身高x1、体重x2，未标准化的回归系数分别为a1、a2。
在解释时就要说，在体重不变的前提下，当身高增加1厘米时，y增加a1个单位；在身高不变的前提下，体重增加1千克，y就增加a2个单位。
假设a1>a2，那我们能说身高对一个人的外貌比体重更重要吗？不能。因为身高的1厘米和体重的1千克对于指标自身来说重要程度是不一样的。
必须用标准化的回归系数才能比较，因为那时都是身高或体重增加一个标准差，外貌打分增加多少。这时，身高跟体重都增加了一个标准差，这对于他们自身的重要程度是一样的。
Source: 回归分析中标准系数和非标准系数看哪个？

很多人认为，标准化回归系数不能用于构建回归方程。论文的方程中一般都是使用未标准化的回归系数。其实只要解释的时候不混淆就可以了。
特别的，在机器学习的一些算法中，将变量标准化之后数据从椭圆形轮廓变为圆形轮廓，极大方便了梯度下降法寻找系数最优解，可以提升算法的速度。
Source: 关于数据建模变量标准化，你想知道的都在这里了

每增加1个标准差对应的回归系数

Calculation

假设原始回归方程仍然为
$Y=\beta_0*X+\varepsilon$

$\mu_Y=\beta_0*\mu_X$

$Y-\mu_Y=\beta_0*(X-\mu_X)+\varepsilon$

自变量标准化后的回归方程为
$Y=\beta_2*\frac{X-\mu_X}{\sigma_X}+\varepsilon$

有人认为
$\beta_2=\beta_0*\sigma_X$

（Source: 回归模型中哪个自变量的作用更大？标准化回归系数来解答！)
但我对此持怀疑态度，不建议使用这一公式直接计算。

小结

简而言之，每增加1个标准差对应的回归系数反映的是自变量每变化1个标准差，对因变量原始值的影响（产生n个单位变化）；标准化回归系数反映的是自变量每变化1个标准差，对因变量变化1个标准差的影响（产生n个标准差变化）；而未标准化回归系数反映的是自变量每变化1个单位，对因变量原始值的影响（产生n个单位变化）。

Other Reference

每增加一个标准差的结果怎么解读？怎么算？ | Per SD change
拿到原始数据就直接统计分析，慢着！你听说过数据标准化处理吗？

最后编辑于：2018.11.25 16:11:49