大师兄的应用回归分析学习笔记（二十）：岭回归（二）
大师兄的应用回归分析学习笔记（二十二）：主成分回归与偏最小二乘（一）

五、用岭回归选择变量

• 岭回归的一个重要应用是选择变量，选择变量通常的原则是：

• 在岭回归的计算中，假定设计矩阵X已经中心化和标准化，这样可以直接比较标准化岭回归系数的大小。可以剔除掉标注化岭回归系数比较稳定且绝对值很小的自变量。
• 在k值较小时，标准化岭回归系数的绝对值并不是很小，但是不稳定，随着k的增大迅速趋于0.像这样岭回归系数不稳定、震动趋于零的自闭那辆，也可以予以剔除。
• 剔除标准化岭回归系数很不稳定的自变量。如果又若干个岭回归系数不稳定，究竟应该剔除几个变量，剔除哪几个变量，并无一般原则可循，需根据剔除某个变量后重新进行令狐贵分析的效果来确定。

1. 案例一：空气污染问题

• McDonald和Schwing曾研究死亡率与空气污染、气候以及社会经济状况等因素的关系，考考虑了15个解释变量：

• ：年平均降雨量
• ：1月平均气温
• ：3月平均气温
• ：年龄在65岁以上的人口占总人口的百分比
• ：每家的人口数
• ：中学毕业年龄
• ：住房符合标准的家庭比例数
• ：每平方公里居民数
• ：非白种人占总人口比例
• ：白领阶层中受雇百分比
• ：收入在300美元以上家庭的百分比
• ：碳氢化合物的相对污染势
• ：氮氧化合物的相对污染势
• ：二氧化硫的相对污染势
• ：相对湿度
• ：每10万人中的死亡人数

• 这个问题收集了60组样本数据。根据样本数据，计算X'X的15个特征根为：

• 4.5272 2.7546 2.0545 1.3487 1.2227 0.9605 0.6124
• 0.4729 0.3708 0.2163 0.1665 0.1275 0.1142 0.046 0.0049

• 后面两个特征根很接近零,说明设计矩阵X具有较严重的多重共线性。

• 进行岭迹分析：

  
  

• 当k=0.2时，岭迹大体上达到稳定，按照岭迹法，应取k=0.2。
• 若用方差扩大因子法，当k为0.02~0.08时，方差扩大因子小于10，故建议在此范围内选取k。
• 在用岭回归法进行变量选择时，因为从岭迹看到自变量由较稳定且绝对值比较小的岭回归系数，根据变量选择的第一条原则，这些自变量可以剔除。
• 又因为自变量的岭回归系数很不稳定，且随着k的增加很快趋近于0，根据第二条原则也应该剔除。
• 还可以根据第三条原则剔除变量。
• 这个问题最后剩下的变量时，可以用这些自变量建立一个回归方程。

2. 案例二：Gorman-Torman例子

• 本例共有10个自变量，X已经中心化和标准化，X'X的特征根为：

3.692 1.542 1.293 1.046 0.972
0.659 0.357 0.220 0.152 0.068

• 最后一个特征根，较接近于零。
• =7.368<10
• 从条件数的角度看，似乎设计矩阵X没有多重共线性。
• 但当X'X的所有特征根都较小时，虽然条件数不大，但多重共线性却存在。

• 对15个k值算出，画出岭迹：
  

• 可以看出，最小二乘的稳定性很差。当k于0略有偏离时，与就有较大的差距，特别是变化最明显。
• 当k从0上升到0.1时，下降到的59%，而在正交设计的情形下只下降17%。
• 这些线性在直观上就使人怀疑最小二乘估计是否反映了的真实情况。
• 另外，因为的回归系数的最小二乘估计为负回归系数中绝对值最大的，但当k增加时，迅速上升且变为正的。
• 与此相反，对因素为正的且绝对值最大，但当k增加时，迅速下降。
• 再考虑的样本相关系数达到0.84，因此这两个因素可近似地合并成为一个因素。
• 再来看，它的回归系数估计的绝对值偏高，当k增加时，很快接近0，这意味着实际上对y无多大影响。
• 至于，其回归系数的最小二乘估计的绝对值看起来有点偏低，当k增加时，首先迅速上升，成为对因变量由负影响的最重要的自变量。
• 当k较大时，稳定地缓慢趋近于0。
• 这意味着，通常的最小二乘估计对的重要性估计过低。
• 从整体上看，当k达到0.2~0.3的范围时，各个大体上趋于稳定，因此，在这一区间去一个k值做岭回归可能得到很好的结果。

• 本例中当k从零略微增加时，和很快趋于0，于是他们很自然应该被剔除:
  

• 剔除它们之后，重做岭回归分析，岭迹基本稳定，因此剔除是合理的。

3. 案例三：民航客运量数据

• 用Python做岭回归：

import pandas as pd
import numpy as np
from sklearn.linear_model import Ridge
from sklearn.preprocessing import StandardScaler

def ridge_regression_coefficients(input_file, output_file):
    """
    从CSV文件读取数据，计算不同alpha下的标准化岭回归系数和R²
    """
    # 读取数据
    data = pd.read_csv(input_file)
    X = data.iloc[:, :-1].values  # 特征（假设最后一列是目标变量）
    y = data.iloc[:, -1].values   # 目标变量
    
    # 标准化特征和目标变量（确保系数可比性）
    X_scaler = StandardScaler()
    X_std = X_scaler.fit_transform(X)
    y_scaler = StandardScaler()
    y_std = y_scaler.fit_transform(y.reshape(-1, 1)).flatten()
    
    # 生成alpha列表 (0到1，步长0.05)
    alphas = np.arange(0, 1.05, 0.05).round(2)
    
    # 存储结果
    results = []
    for alpha in alphas:
        # 岭回归拟合标准化数据
        ridge = Ridge(alpha=alpha)
        ridge.fit(X_std, y_std)
        
        # 获取标准化系数（无需截距，因数据已中心化）
        coefs = ridge.coef_
        r_squared = ridge.score(X_std, y_std)
        
        # 记录结果
        result = {'k': alpha, 'RSQ': r_squared}
        for i, coef in enumerate(coefs, start=1):
            result[f'x{i}'] = coef
        results.append(result)
    
    # 输出到CSV
    results_df = pd.DataFrame(results)
    results_df.to_csv(output_file, index=False, float_format='%.6f')  # 保留6位小数
    print(f"结果已保存到 {output_file}")

if __name__ == "__main__":
    ridge_regression_coefficients(
        input_file='123.csv',
        output_file='out.csv'
    )

• 输出：

  
  

• 第一列k为岭参数，默认值从0到1，步长0.05，共有21个k值。
• 第二列是判定系数。
• 第三列往后是标准化岭回归系数，其中第一行k=0对应的数值就是最小二乘估计的标准化回归系数。

• 岭迹图如下：

  
  

• 特征稳定性差异显著：x2最为稳定（系数仅变化1.9%）
• 而x4和x5表现出强烈的不稳定性（x4从0.463缩减至0.199，x5从0.021增至0.175），暗示可能存在多重共线性。
• 优先保留稳定特征x2和x3，对波动较大的x1、x4、x5进行共线性诊断，并推荐选择α=0.5时的系数（如x3:0.200，x6:0.175）作为平衡模型稳定性和解释力的折中方案。