多重共线性（VIF）

一、直观理解：解释变量“抱团”，系数就分不清功劳

多重共线性指回归中若干自变量线性相关过强。模型整体可能仍拟合不错（$R^2$ 高、整体 F 显著），但单个系数会变得：

• 标准误膨胀，t 检验难以显著；
• 系数符号可能违反常识；
• 样本稍改，系数剧烈摇摆。

比喻：用“父亲身高”和“父亲身高（厘米）+ 鞋跟厚度”同时预测儿子身高——两个变量几乎重复，算法无法稳定分配权重。

VIF（Variance Inflation Factor，方差膨胀因子）量化：某个变量的方差因为与其他变量共线，相对于正交情形膨胀了多少倍。

二、适用场景与优缺点

类型	说明
适用场景	多元线性回归/广义线性模型诊断；多项式项、交互项导致的结构共线；指标高度相关的经济与问卷数据。
核心优点	VIF 计算简单、可解释；能定位“谁与谁纠缠”；指导是否需要合并变量、主成分或正则化。
局限与缺点	VIF 高不等于预测一定差；经验阈值（5 或 10）不是铁律；因变量无关的共线结构也可能被惩罚；分类哑变量完整组会有结构共线，需正确以参照水平编码。

三、核心原理

对自变量 $X_j$，用其余自变量回归：

$$X_j=\alpha_0+\sum_{k\neq j}\alpha_k X_k+u$$

得 $R_j^2$，则

$$\mathrm{VIF}_j=\frac{1}{1-R_j^2}$$

• $\mathrm{VIF}=1$：与其他变量正交；
• $\mathrm{VIF}=10$：$R_j^2=0.9$，标准误约为无共线时的 $\sqrt{10}\approx 3.3$ 倍。

容差 $\mathrm{Tolerance}_j=1/\mathrm{VIF}_j$。

矩阵视角：设计矩阵 $X^\mathsf{T}X$ 接近奇异，最小特征值很小，系数方差 $(X^\mathsf{T}X)^{-1}\sigma^2$ 放大。条件数 $\kappa=\sqrt{\lambda_{\max}/\lambda_{\min}}$ 也常一并报告。

注意：预测关心 $X\hat\beta$ 的稳定性，共线时预测可能仍稳；解释单个 $\beta_j$ 时共线最伤。

四、关键决策

1. 阈值

VIF	经验判断
< 5	通常可接受
5–10	警惕，结合符号与 SE
> 10	严重，需要处理

结合专业：若两变量本是同一概念拆分，应合并。

2. 处理策略

1. 合并/删减：高度相关且同义的指标留一个或取均值；
2. 重新参数化：用和与差、主成分得分代替原始相关变量；
3. 正则化：岭回归稳定系数，Lasso 做选择；
4. 增大样本/优化设计：实验设计中避免共线；
5. 接受共线但改问题：只报告联合效应（组 F 检验），不强行解释边缘系数。

3. 中心化

对交互项、多项式，先对变量中心化可显著降低结构性共线，但不解决两个本质相同预测变量的问题。

五、MATLAB 示例

rng(10);
n = 100;
x1 = randn(n,1);
x2 = 0.95*x1 + 0.05*randn(n,1);   % 强共线
x3 = randn(n,1);
y  = 1 + 2*x1 + 0.5*x3 + 0.8*randn(n,1);  % 真模型几乎不用 x2

T = table(x1,x2,x3,y);
mdl = fitlm(T, "y ~ x1 + x2 + x3");
disp(mdl);

% 计算 VIF
function v = vif_table(tbl, resp)
    preds = setdiff(tbl.Properties.VariableNames, resp);
    X = tbl{:, preds};
    p = numel(preds);
    v = zeros(p,1);
    for j = 1:p
        other = setdiff(1:p, j);
        mj = fitlm(X(:,other), X(:,j));
        v(j) = 1/(1 - mj.Rsquared.Ordinary);
    end
    v = array2table(v, "RowNames", preds, "VariableNames", "VIF");
end

disp(vif_table(T, "y"));

% 条件数
Xdes = [ones(n,1) x1 x2 x3];
cond_num = cond(Xdes);
fprintf("设计矩阵条件数 = %.1f\n", cond_num);

% 对比：去掉 x2
mdl2 = fitlm(T, "y ~ x1 + x3");
disp(mdl2);

% 中心化后的交互（结构性共线演示）
x1c = x1 - mean(x1);
T2 = table(x1, x1c, x1.^2, (x1c).^2, y, 'VariableNames', ...
    {'x1','x1c','x1sq','x1c_sq','y'});
fprintf("未中心化 x+x^2 的 VIF:\n");
disp(vif_table(T2(:,{'x1','x1sq','y'}), "y"));
fprintf("中心化后:\n");
disp(vif_table(T2(:,{'x1c','x1c_sq','y'}), "y"));

六、如何解释结果

1. 列出各自变量 VIF 与相关矩阵；
2. 指出共线变量组；
3. 说明对系数 SE、符号的影响；
4. 报告采取的处理及处理前后系数对照；
5. 若目标是预测，报告交叉验证误差是否改善；若目标是解释，说明联合检验结果。

七、常见误区

1. VIF 高就一律删除变量

可能删掉关键科学变量。应优先合并、变换或改估计策略。

2. 忽视因变量与共线的区别

共线是自变量之间的性质，不是 $Y$ 与 $X$ 相关过强。

3. 完整哑变量陷阱

k 个水平用 k 个 0-1 且再加截距，必然完全共线。正确做法是 k−1 个哑变量。

4. 只看 VIF 不看研究目标

预测模型可容忍更高共线；解释模型要更严。

八、小结

多重共线性的核心诊断量是：

$\mathrm{VIF}_j=1/(1-R_j^2)$，刻画系数方差膨胀倍数。

发现共线后，要按建模目标在删并变量、重新参数化、主成分与正则化之间选择，并在报告中展示处理前后的稳定性变化。