学习指南 →

· Albion Gateway College

多重共线性:为什么拟合几乎不变,回归系数却变了?

通过可复算的原创四点数据观察系数不稳定,区分完全共线与高度共线、预测与单项解释,并理解 VIF、标准化及删变量的限制。

问题出在解释变量之间,而不只是它们与结果的关系

多重回归试图在其他解释变量保持不变时,区分某个变量与结果的关系。如果两个变量在样本里几乎同步变化,数据就很少告诉我们“只改变其中一个”会对应怎样的结果。模型可能很容易拟合它们共同变化的方向,却难以稳定分配各自的系数。

共线性描述的是解释变量之间的线性依赖。一个变量与结果 y 高度相关,本身不是共线性的定义。两个变量都与 y 显著相关,也不能说明把它们一起放进模型后,单个系数一定精确;加入其他变量后,所回答的条件比较已经改变。

完全共线时,系数没有唯一分法

先看极端情况:样本中 x2=x1,拟合式为 ŷ=10+b1x1+b2x2,便可合并成 10+(b1+b2)x1。若总斜率需要为 3,b1=3、b2=0 与 b1=1、b2=2 会给出完全相同的预测。仅凭这份数据,无法选出唯一的一对系数。

这属于设计矩阵缺秩。软件可能省略某列或给出提示,但省略顺序并不是关于哪个变量更重要的证据。高度共线则尚未达到完全相等:系数可能仍有唯一解,却对小的观测变化非常敏感。二者应分开诊断,不能统称为“回归不能做”。

原创四点数据:每个结果只改动 0.02

取四个教学观测,依次写成 (x1,x2,y):(1,1.01,12.90)、(2,1.99,16.30)、(3,2.99,18.70)、(4,4.01,22.10)。含截距的普通最小二乘解是 ŷ=10+3x1+0x2,预测依次为 13、16、19、22。这里完整给出了输入,结果来自可复算的代数计算,并非虚构软件截图。

现在只把 y 改为 12.92、16.28、18.68、22.12,每项变化绝对值均为 0.02,解释变量完全不变。新的最小二乘解却是 ŷ=10+x1+2x2,预测为 13.02、15.98、18.98、22.02。x1 系数由 3 变为 1,x2 由 0 变为 2,而各点预测只移动了 0.02。

为什么整体拟合能稳定,单项解释却不稳定?

两次拟合的残差都依次为 −0.1、0.3、−0.3、0.1,残差平方和均为 0.20;各自的 R² 都约为 0.996。核验最小二乘解还可检查残差分别与常数列、x1、x2 的内积均为零。四个点只是展示机制,样本太少,不能据此评价真实研究中的估计精度。

两个方程的预测差等于 2(x2−x1)。样本中两变量只相差 ±0.01,所以差很小;若外推到 x1=2、x2=4,两个方程分别预测 16 和 20,相差 4。样本内共同变化方向上的稳定,不保证离开这个狭窄范围后的预测稳定,更不保证每个系数可作独立因果解释。

VIF 衡量信息重复,不能当作自动删列按钮

对第 j 个解释变量,用其余解释变量及截距做辅助回归,得到 Rj²;方差膨胀因子 VIFj=1/(1−Rj²)。这里的 Rj² 不是主模型预测 y 的 R²。NIST 的说明指出,成对相关矩阵可能看不出某变量与多列组合之间的依赖,而 VIF 能补充这种检查。

例如辅助回归 Rj²=0.96,则 VIF=25。在同方差线性模型、保持误差方差与该变量总变异量相同的比较下,系数方差放大 25 倍,标准误放大 √25=5 倍。常见数值门槛只是进一步诊断的提醒;不能把超过某个阈值直接解释为模型无效或变量应删除。

共线性、偏误和因果识别是不同问题

在条件均值设定正确、解释变量外生且没有完全共线等条件下,高度共线本身不必导致普通最小二乘系数有偏;它主要使部分系数的方差变大。反过来,低 VIF 也不证明外生性成立。遗漏变量、反向关系、测量问题等仍可能使解释失效。

因此“主模型 R² 很高,但某些单项检验不显著”并不自相矛盾:模型可能能共同解释 y,却缺少分别识别各项关系的独立变异。应结合单项区间、联合检验及研究目标判断,不能仅凭某个系数符号改变,就宣布一种变量产生了相反的真实作用。

诊断练习:标准化能把问题消掉吗?

题一:把上述 x1、x2 分别减去均值、再除以标准差,是否能消除它们几乎同步变化的问题?答案是否。非退化变量的标准化不改变这两个变量的相关系数绝对值;它改变单位,有时改善数值计算,却没有增加新的独立观测信息。仅对它们中心化同样不能解除这种数据共线性。

题二:若辅助回归的 Rj² 从 0.96 降至 0.75,VIF 变为多少?答案为 4,标准误膨胀倍数变为 2;不能说标准误变为原来的四分之一,比较前后应是 2/5,且必须保持前述其他量不变。真实增删变量时这些量常会改变,所以这只是受控公式练习。

处理前先决定:你要预测,还是解释单个系数?

先排查重复列、单位换算副本及编码错误,再查看散点图、辅助回归与系数区间。若理论上确属重复测量,可以有依据地选择指标或构造组合;若变量承担必要的调整作用,不能只为降低 VIF 而删除。增加样本也要带来有用的独立变化,重复采集同一条狭窄关系未必解决问题。

以预测为目标时,可考虑合适的正则化并进行样本外验证,但要说明它改变了估计方式并可能引入偏差。以解释为目标时,应诚实报告哪些系数组合较稳定、哪些单项区间较宽,以及数据能支持的比较范围。诊断的终点是更清楚的结论边界,而不是一个更好看的数值。

参考资料

下一步

如果想练习判断系数变化的原因,可说明研究问题、变量定义和已做的诊断,咨询合适的统计或计量课程支持。具体辅导须视学科与导师可用时间安排。

继续阅读

学院在线咨询

欢迎咨询

你好,欢迎咨询!你是学生、招生代理、求职者,还是想申请成为导师?请告诉我你的咨询方向。

[email protected]