多元线性回归—多重共线性_多元逻辑回归的多重线性检验

多重共线性

文章目录

• 多重共线性
• • @[toc]
  • 1 什么是多重共线性
  • • 1.1 多重共线性含义
    • 1.2 多重共线性产生原因
  • 2 多重共线性后果
  • • 2.1 完全型
    • 2.2 不完全型
  • 3 多重共线性检验
  • • 3.1 简单相关系数检验
    • 3.2 方差膨胀因子法
    • 3.3 经验法
    • 3.4 逐步回归检测
    • 3.5 特征值与病态指数
  • 4 多重共线性补救
  • • 4.1 经验法
    • 4.2 逐步回归法
    • 4.3 岭回归法
    • 4.31岭回归含义
    • 4.32 岭回归估计量的性质
    • 4.33 岭回归参数$k$的选择

1 什么是多重共线性

1.1 多重共线性含义

利用普通最小二乘法（OLS）估计多元线性回归模型，一个假设是解释变量之间不存在线性相关，即对于解释变量$X_i(i=2,3\dots K)$，如果不存在全为0的数${\lambda }_j(j=1,2\dots K)$，使得
$${\lambda }_1+{\lambda }_2{X}_{2i}+{\lambda }_3{X}_{3i}+\cdots +{\lambda }_k{X}_{ki}=0$$
则称解释变量$X_i(i=2,3\dots K)$之间存在多重共线性。用矩阵表示为，解释变量数据矩阵
X = [ 1 X 21 X 31 ⋯ X k 1 1 X 22 X 32 ⋯ X k 2 ⋯ ⋯ ⋯ ⋯ ⋯ 1 X 2 n X 3 n ⋯ X k n ] \mathbf{X}=\left[

$$\begin{array}{ccccc} 1 & X_{21} & X_{31} & \cdots & X_{k 1} \\ 1 & X_{22} & X_{32} & \cdots & X_{k 2} \\ \cdots & \cdots & \cdots & \cdots & \cdots \\ 1 & X_{2 n} & X_{3 n} & \cdots & X_{k n} \end{array}$$ \right] X= ​11⋯1​X21​X22​⋯X2n​​X31​X32​⋯X3n​​⋯⋯⋯⋯​Xk1​Xk2​⋯Xkn​​ ​
的秩$\mathrm{Rank}(\mathbf{X})<\mathrm{k}$，即在数据矩阵$\mathbf{X}$中，至少有一个变量可以由其他变量线性表出。在实际数据中多以不完全多重共线性表现。所谓不完全多重共线性是指存在随机变量${\mu }_i$使得
$${\lambda }_1+{\lambda }_2{X}_{2i}+{\lambda }_3{X}_{3i}+\cdots +{\lambda }_k{X}_{ki}+{\mu }_i=0$$
或者
$${\lambda }_1+{\lambda }_2{X}_{2i}+{\lambda }_3{X}_{3i}+\cdots +{\lambda }_k{X}_{ki}\approx 0$$
这表明数据矩阵$\mathbf{X}$间的变量近似满足线性相关。不完全多重共线性依然满足$\mathrm{Rank}(\mathbf{X})=\mathrm{k}$，但需要注意，不存在完全多重共线性不代表不存在完全多重非线性，存在完全多重非线性依然满足经典多元线性回归模型假定。为弄清多重共线性的原理，先引入解释变量间的关系，共包含三种情况

• 解释变量间正交

$$r_{x_i{x}_j}=0$$

• 解释变量间完全共线性

$$|r_{x_i{x}_j}|=1$$

• 解释间不完全共线性

$$0<|r_{x_i{x}_j}|<1$$

---

1.2 多重共线性产生原因

• 经济变量之间具有共同变化趋势，例如气温与雪糕销量
• 模型中含有滞后解释变量$X_i,X_{i-1}\dots X_{i-n}$
• 截面数据模型也可能出现多重共线性
• 样本数据问题

---

2 多重共线性后果

2.1 完全型

• 参数的估计值不确定

当出现完全多重共线性时，数据矩阵$\mathrm{Rank}(\mathbf{X})<\mathrm{k}$，从而有$\left|X^{\prime }X\right|=0$，正规方程组的解不唯一，故$(X^{\prime }X{)}^{-1}$不存在，OLS估计量不存在。这里以模型$Y_i={\beta }_1+{\beta }_2{X}_{2i}+{\beta }_3{X}_{3i}+u_i$为例，将该模型离差化
$${\hat{y}}_i={\hat{\beta }}_2{x}_{2i}+{\hat{\beta }}_3{x}_{3i}$$
根据多元线性回归OLS估计量公式得到
β ^ 2 = ( ∑ y i x 2 i ) ( ∑ x 3 i 2 ) − ( ∑ y i x 3 i ) ( ∑ x 2 i x 3 i ) ( ∑ x 2 i 2 ) ( ∑ x 3 i 2 ) − ( ∑ x 2 i x 3 i ) 2 β ^ 3 = ( ∑ y i x 3 i ) ( ∑ x 2 i 2 ) − ( ∑ y i x 2 i ) ( ∑ x 2 i x 3 i ) ( ∑ x 2 i 2 ) ( ∑ x 3 i 2 ) − ( ∑ x 2 i x 3 i ) 2

$$\begin{array}{l} \hat{\beta}_{2}=\frac{\left(\sum y_{i} x_{2 i}\right)\left(\sum x_{3 i}^{2}\right)-\left(\sum y_{i} x_{3 i}\right)\left(\sum x_{2 i} x_{3 i}\right)}{\left(\sum x_{2 i}^{2}\right)\left(\sum x_{3 i}^{2}\right)-\left(\sum x_{2 i} x_{3 i}\right)^{2}} \\ \\ \hat{\beta}_{3}=\frac{\left(\sum y_{i} x_{3 i}\right)\left(\sum x_{2 i}^{2}\right)-\left(\sum y_{i} x_{2 i}\right)\left(\sum x_{2 i} x_{3 i}\right)}{\left(\sum x_{2 i}^{2}\right)\left(\sum x_{3 i}^{2}\right)-\left(\sum x_{2 i} x_{3 i}\right)^{2}} \end{array}$$ β^​2​=(∑x2i2​)(∑x3i2​)−(∑x2i​x3i​)2(∑yi​x2i​)(∑x3i2​)−(∑yi​x3i​)(∑x2i​x3i​)​β^​3​=(∑x2i2​)(∑x3i2​)−(∑x2i​x3i​)2(∑yi​x3i​)(∑x2i2​)−(∑yi​x2i​)(∑x2i​x3i​)​​
由于存在完全多重共线性，假定$X_{2i}=\lambda X_{3i}$，代入上式
$$\begin{array}{l}{\hat{\beta }}_2=\frac{\left(\lambda \sum y_i{x}_{3i}\right)\left(\sum x_{3i}^2\right)-\left(\sum y_i{x}_{3i}\right)\left(\lambda \sum x_{3i}{x}_{3i}\right)}{\left({\lambda }^2\sum x_{3i}^2\right)\left(\sum x_{3i}^2\right)-{\lambda }^2{\left(\sum x_{3i}{x}_{3i}\right)}^2}=\frac{0}{0}\\ \\ {\hat{\beta }}_3=\frac{\left(\sum y_i{x}_{3i}\right)\left({\lambda }^2\sum x_{3i}^2\right)-\left(\lambda \sum y_i{x}_{3i}\right)\left(\lambda \sum x_{3i}^2\right)}{\left({\lambda }^2\sum x_{3i}^2\right)\left(\sum x_{3i}^2\right)-{\lambda }^2{\left(\sum x_{3i}^2\right)}^2}=\frac{0}{0}\end{array}$$
此时估计量的分子分母皆为0，即未定式。也就是说，当解释变量间存在完全共线性时，利用OLS得到的估计量是不定的。

• 参数方差无限大

以$Y_i={\beta }_1+{\beta }_2{X}_{2i}+{\beta }_3{X}_{3i}+u_i$为例，方差协方差公式
$$\mathrm{Var}-\mathrm{Cov}(\hat{\mathbf{\beta }})={\sigma }^2{\left({\mathbf{X}}^{\prime }\mathbf{X}\right)}^{-1}$$
代入展开提取主对角线元素得
Var ⁡ ( β ^ 2 ) = ∑ x 3 2 ( ∑ x 2 2 ) ( ∑ x 3 2 ) − ( ∑ x 2 x 3 ) 2 σ 2 Var ⁡ ( β ^ 3 ) = ∑ x 2 2 ( ∑ x 2 2 ) ( ∑ x 3 2 ) − ( ∑ x 2 x 3 ) 2 σ 2

$$\begin{array}{l} \operatorname{Var}\left(\hat{\beta}_{2}\right)=\frac{\sum x_{3}^{2}}{\left(\sum x_{2}^{2}\right)\left(\sum x_{3}^{2}\right)-\left(\sum x_{2} x_{3}\right)^{2}} \sigma^{2} \\ \\ \operatorname{Var}\left(\hat{\beta}_{3}\right)=\frac{\sum x_{2}^{2}}{\left(\sum x_{2}^{2}\right)\left(\sum x_{3}^{2}\right)-\left(\sum x_{2} x_{3}\right)^{2}} \sigma^{2} \end{array}$$ Var(β^​2​)=(∑x22​)(∑x32​)−(∑x2​x3​)2∑x32​​σ2Var(β^​3​)=(∑x22​)(∑x32​)−(∑x2​x3​)2∑x22​​σ2​
$X_{2i}=\lambda X_{3i}$，代入上式
$$\begin{array}{l}\mathrm{Var}\left({\hat{\beta }}_2\right)=\frac{\sum x_3^2}{\left({\lambda }^2\sum x_3^2\right)\left(\sum x_3^2\right)-{\left(\lambda \sum x_3{x}_3\right)}^2}{\sigma }^2=\frac{\sum x_3^2}{0}{\sigma }^2=\infty \\ \\ \mathrm{Var}\left({\hat{\beta }}_3\right)=\frac{{\lambda }^2\sum x_3^2}{\left({\lambda }^2\sum x_3^2\right)\left(\sum x_3^2\right)-{\left(\lambda \sum x_3{x}_3\right)}^2}{\sigma }^2=\frac{\sum x_2^2}{0}{\sigma }^2=\infty \end{array}$$
这表明，在解释变量之间存在完全的共线性时，参数估计量的方差将变成无穷大。

---

2.2 不完全型

当解释变量间为不完全多重共线性时，$\left|X^{\prime }X\right|$接近0，但参数的估计量依然存在。

• 估计量方差增大

给定模型$Y_i={\beta }_1+{\beta }_2{X}_{2i}+{\beta }_3{X}_{3i}+u_i$，假定解释变量$X_2$,$X_3$的离差形式满足
$$x_{2i}=\lambda x_{3i}+v_i$$
其中$\lambda \ne 0$,$v_i$是满足严格外生性的随机变量，即$\sum x_{2i}{v}_i=0$。将离差形式代入OLS估计量中并展开
$${\hat{\beta }}_3=\frac{\left(\sum y_i{x}_{3i}\right)\left({\lambda }^2\sum x_{3i}^2+\sum v_i^2\right)-\left(\lambda \sum y_i{x}_{3i}+\sum y_i{v}_i\right)\left(\lambda \sum x_{3i}^2\right)}{\left({\lambda }^2\sum x_{3i}^2+\sum v_i^2\right)\left(\sum x_{3i}^2\right)-{\lambda }^2{\left(\sum x_{3i}^2\right)}^2}$$
可见估计量${\hat{\beta }}_3$还是可以估计的。但当$v_i\to 0$,此时估计量分子分母趋向0，不确定性增加。${\hat{\beta }}_2$情况类似。当$X_2$,$X_3$为不完全共线性时，其相关系数平方和的离差形式可表示为
$$r_{23}^2=\frac{{\left(\sum x_2{x}_3\right)}^2}{\sum x_2^2\sum x_3^2}$$
将上式代入方差协方差计算公式得到
Var ⁡ ( β ^ 2 ) = ∑ x 3 2 ( ∑ x 2 2 ) ( ∑ x 3 2 ) − ( ∑ x 2 x 3 ) 2 σ 2 = σ 2 1 ∑ x 2 2 [ 1 − ( ∑ x 2 x 3 ) 2 ∑ x 2 2 ∑ x 3 2 ] = σ 2 ∑ x 2 i 2 ( 1 − r 23 2 )

$$\begin{aligned} \operatorname{Var}\left(\hat{\beta}_{2}\right) &=\frac{\sum x_{3}^{2}}{\left(\sum x_{2}^{2}\right)\left(\sum x_{3}^{2}\right)-\left(\sum x_{2} x_{3}\right)^{2}} \sigma^{2} \\ &=\sigma^{2} \frac{1}{\sum x_{2}^{2}\left[1-\frac{\left(\sum x_{2} x_{3}\right)^{2}}{\sum x_{2}^{2} \sum x_{3}^{2}}\right]} \\ &=\frac{\sigma^{2}}{\sum x_{2 i}^{2}\left(1-r_{23}^{2}\right)} \end{aligned}$$ Var(β^​2​)​=(∑x22​)(∑x32​)−(∑x2​x3​)2∑x32​​σ2=σ2∑x22​[1−∑x22​∑x32​(∑x2​x3​)2​]1​=∑x2i2​(1−r232​)σ2​​
同理
$$\mathrm{var}\left({\hat{\beta }}_3\right)=\frac{{\sigma }^2}{\sum x_{3i}^2\left(1-r_{23}^2\right)}$$

$$\mathrm{cov}\left({\hat{\beta }}_2,{\hat{\beta }}_3\right)=\frac{-r_{23}{\sigma }^2}{\left(1-r_{23}^2\right)\sqrt{\sum x_{2i}^2\sum x_{3i}^2}}$$

由上三式可看出，随着共线性增加，方差、协方差绝对值都增大。方差协方差都取决于方差膨胀因子VIF,定义VIF
$$VIF=\frac{1}{\left(1-r_{23}^2\right)}$$
VIF表明，参数估计量的方差是由于多重共线性的出现而膨胀起来的。随着共线性的增加，参数估计量的方差也增大。将方差协方差用VIF表示，即
$$\mathrm{var}\left({\hat{\beta }}_2\right)=\frac{{\sigma }^2}{\sum x_{2i}^2}\cdot VIF$$

$$\mathrm{var}\left({\hat{\beta }}_3\right)=\frac{{\sigma }^2}{\sum x_{3i}^2}\cdot VIF$$

这表明了 ${\hat{\beta }}_2,{\hat{\beta }}_3$的方差同VIF成正比关系。

• 对参数区间估计时，置信区间趋于变大

存在多重共线性时，参数估计值的方差增大，其标准误差也增大，导致总体参数的置信区间也随之变大。考虑参数估计量${\hat{\beta }}_2$，其置信区间为
$${\hat{\beta }}_2\pm t_{\alpha /2}(n-k-1)\sqrt{VIF}\sqrt{{\sigma }^2/\sum x_{3i}^2}$$
随着共线性增加，${\hat{\beta }}_2$的置信区间的边界扩大，但这与我们希望置信区间越小越好相违背。

• 严重多重共线时，假设检验容易作出错误的判断

首先是参数的置信区间扩大，会使得接受一个本应拒绝的假设的概率增大；其次，统计量$t={\hat{\beta }}_3/\sqrt{\mathrm{Var}\left({\hat{\beta }}_3\right)}$变小，在高度共线性时，参数估计值的方差增加较快，会使得t值变小，而使
本应否定的“系数为０”的原假设被错误的接受。

• 严重多重共线可能造成可决系数$R^2$提高，$F$值过高，但对各个参数单独的 t 检验却可能不显著，甚至可能使估计的回归系数符号相反，得出完全错误的结论

---

3 多重共线性检验

3.1 简单相关系数检验

简单相关系数检验法是利用解释变量之间的线性相关程度去判断是否存在严重多重共线性的一种简便方法。如果每两个解释变量的简单相关系数(零阶相关系数)比较高，例如大于0.8，则可认为存在着较严重的多重共线性。但要注意，较高的简单相关系数只是多重共线性存在的充分条件，而不是必要条件。

---

3.2 方差膨胀因子法

分别以每个解释变量为被解释变量，作与其他解释变量的回归，这称为辅助回归。以为$X_j$被解释变量作对其他解释变量辅助线性回归的可决系数用$R_j^2$表示。经证明，解释变量 $X_j$参数估计值${\hat{\beta }}_j$的方差可表示为
$$\mathrm{Var}\left({\hat{\beta }}_j\right)=\frac{{\sigma }^2}{\sum x_j^2}\cdot \frac{1}{1-R_j^2}=\frac{{\sigma }^2}{\sum x_j^2}\cdot VI{F}_j$$
其中$VI{F}_j$是变量$X_j$的方差扩大因子，即
$$VI{F}_j=\frac{1}{\left(1-R_j^2\right)}$$
经验表明，$VI{F}_j\ge 10$时，说明解释变量与其余解释变量之间有严重的多重共线性，且这种多重共线性可能会过度地影响最小二乘估计。

---

3.3 经验法

• 当增加或剔除一个解释变量，或者改变一个观测值时，回归参数的估计值发生较大变化，回归方程可能存在严重的多重共线性
• 一些重要的解释变量的回归系数的标准误差较大，在回归方程中没有通过显著性检验时，可初步判断可能存在严重的多重共线性。
• 有些解释变量的回归系数所带正负号与定性分析结果违背时，很可能存在多重共线性。
• 解释变量的相关矩阵中，自变量之间的相关系数较大时，可能会存在多重共线性问题。

---

3.4 逐步回归检测

逐步回归的基本思想是将变量逐个引入模型，每引入一个解释变量后，都要进行Ｆ检验，并对已经选入的解释变量逐个进行t检验，当原来引入的解释变量由于后面解释变量的引入而变得不再显著时，则将其剔除。以确保每次引入新的变量之前回归方程中只包含显著的变量。这是一个反复的过程，直到既没有显著的解释变量选入回归方程，也没有不显著的解释变量从回归方程中剔除为止，以保证最后所得到的解释变量集是最优的。如果变量个数较少，可以手动实现；但变量较多，需要通过算法实现。

---

3.5 特征值与病态指数

• 特征根分析

根据矩阵行列式的性质，矩阵的行列式等于其特征根的连乘积，因而当行列式$\left|X^{\prime }X\right|\approx 0$,，矩阵 $X^{\prime }X$至少有一个特征根近似于零；反之，当矩阵$X^{\prime }X$至少有一个特征根近似为零时，X的列向量之间必存在多重共线性。特征根近似为零的标准可以用下面的病态指数来确定，记$X^{\prime }X$最大的特征根为${\lambda }_m$,称
$$C{I}_i=\sqrt{\frac{{\lambda }_m}{{\lambda }_i}},\mathrm{i}=0,1,2,\cdots ,\mathrm{k}$$
为特征根的病态指数。特征根个数与病态指数都包含了常数项在内。病态指数度量了矩阵$X^{\prime }X$的特征根散布程度，可以用来判断多重共线性是否存在以及多重共线性的严重程度。

• $0＜CI＜10$时，设计矩阵没有多重共线性；
• $10\le CI＜100$时，认为X存在较强的多重共线性；
• $CI\ge 100$时，则认为存在严重多重共线性。

---

4 多重共线性补救

4.1 经验法

• 剔除变量法。当回归方程中存在严重的多重共线性，可以删除引起多重共线性的不重要的解释变量。但删除变量可能引发遗漏变量问题，甚至严重的内生性问题，需要谨慎考虑。
• 增大样本容量。如果样本容量增加，则$\sum x_i^2$ 也会增加，结果会减小回归参数的方差，标准误差也同样会减小。因此尽可能地收集足够多的数据可以改进模型参数的估计.
• 变换模型形式。例如，可采用差分法，这是指将原模型变形为差分模型形式进而减低多重共线性的一个方法。将元模型

$$Y_i={\beta }_0+{\beta }_1{X}_{1i}+{\beta }_2{X}_{2i}+{\beta }_3{X}_{3i}+\cdots +{\beta }_k{X}_{ki}+u_i$$

作差分
$$\Delta Y_i={\beta }_1\Delta X_{1i}+{\beta }_2\Delta X_{2i}+\cdots +{\beta }_k\Delta X_{ki}+\Delta u_i$$
因为差分常常会丢失一些信息，差分模型的误差项可能是序列相关的，可能会违背经典线性回归模型的相关假设，在具体运用时要慎重。

• 变量变换。计算相对指标、将名义数据转换为实际数据、将小类指标合并成大类指标等

---

4.2 逐步回归法

具体步骤如下：

• 用被解释变量对每一个所考虑的解释变量做简单回归。、

• 以对被解释变量贡献最大的解释变量所对应的回归方程为基础，按对被解释变量贡献大小的顺序逐个引入其余的解释变量。这个过程会出现3种情形。

  • 若新变量的引入改进了$R^2$和F检验，且回归参数的$t$检验在统计上也是显著的，则在模型中保留该变量。
  • 若新变量的引入未能明显改进$R^2$和F检验，且对其他回归参数估计值的$t$检验也未带来什么影响，则认为该变量是多余的，应该舍弃。
  • 若新变量的引入未能明显改进$R^2$和F检验，且显著地影响了其他回归参数估计值的数值或符号，同时本身的回归参数也通不过$t$检验，则说明出现了严重的多重共线性，应剔除该变量。

  ---

4.3 岭回归法

计量经济学家们还致力于改进古典的最小二乘法，提出以采用有偏的估计为代价来提高估计量的稳定性的方法，如岭回归法、主成分法、偏最小二乘法等。

4.31岭回归含义

思想：岭回归（Ridge Regression）是A.E.Hoerl(霍尔)提出的一种改进最小二乘估计的方法，也叫岭估计（Ridge Estimate）。当解释变量之间存在多重共线性时$|X^{\prime }X|\approx 0$，则方差协方差矩阵$E\left[(\mathbf{\beta }-\mathbf{\beta })(\hat{\mathbf{\beta }}-\mathbf{\beta }{)}^{\prime }\right]={\sigma }^2{\left({\mathbf{X}}^{\prime }\mathbf{X}\right)}^{-1}$的元素变大。如果将$X^{\prime }X$加上一个对角矩阵$k\mathbf{I}$(k>0，$\mathbf{I}$为单位矩阵)，即${\mathbf{X}}^{\prime }\mathbf{X}+k\mathbf{I}$，使得$\left|{\mathbf{X}}^{\prime }\mathbf{X}+k\mathbf{I}\right|\approx 0$的可能性比$|X^{\prime }X|\approx 0$小得多，那么通过这样改进的估计量称为岭估计量
$$\tilde{\mathbf{\beta }}(k)={\left({\mathbf{X}}^{\prime }\mathbf{X}+k\mathbf{I}\right)}^{-1}{\mathbf{X}}^{\prime }\mathbf{Y}$$
$\tilde{\mathbf{\beta }}(k)$是$\beta$的岭估计量，$k$为岭估计参数。

• 当解释变量之间存在多重共线性时，以作为$\beta$的估计$\tilde{\mathbf{\beta }}(k)$应比普通最小二乘估计稳定
• 当$k$较小时，回归系数很不稳定，而当$k$逐渐增大时，回归系数可能呈现稳定状态
• 当$k=0$时，岭回归估计$\tilde{\mathbf{\beta }}(k)=\hat{\mathbf{\beta }}$，实际就是普通最小二乘估计

---

4.32 岭回归估计量的性质

• 有偏性。因为

E ( β ~ ( k ) ) = E ( X ′ X + k I ) − 1 X ′ Y = ( X ′ X + k I ) − 1 X ′ E ( Y ) = ( X ′ X + k I ) − 1 X ′ X β

$$\begin{aligned} E(\tilde{\boldsymbol{\beta}}(k)) &=E\left(\mathbf{X}^{\prime} \mathbf{X}+k \mathbf{I}\right)^{-1} \mathbf{X}^{\prime} \mathbf{Y} \\ &=\left(\mathbf{X}^{\prime} \mathbf{X}+k \mathbf{I}\right)^{-1} \mathbf{X}^{\prime} E(\mathbf{Y}) \\ &=\left(\mathbf{X}^{\prime} \mathbf{X}+k \mathbf{I}\right)^{-1} \mathbf{X}^{\prime} \mathbf{X} \boldsymbol{\beta} \end{aligned}$$ E(β~​(k))​=E(X′X+kI)−1X′Y=(X′X+kI)−1X′E(Y)=(X′X+kI)−1X′Xβ​

• 线性性。因为

E ( β ~ ( k ) ) = E ( X ′ X + k I ) − 1 X ′ Y = w Y

$$\begin{aligned} E(\tilde{\boldsymbol{\beta}}(k)) &=E\left(\mathbf{X}^{\prime} \mathbf{X}+k \mathbf{I}\right)^{-1} \mathbf{X}^{\prime} \mathbf{Y} \\ &=w \mathbf{Y} \\ \end{aligned}$$ E(β~​(k))​=E(X′X+kI)−1X′Y=wY​

其中$w={\left({\mathbf{X}}^{\prime }\mathbf{X}+k\mathbf{I}\right)}^{-1}{\mathbf{X}}^{\prime }$

• $Var(\tilde{\mathbf{\beta }}(k))\le Var(\hat{\beta })$

岭回归估计的方差和偏倚与岭回归参数$k$有关，岭回归参数$k$的值越大， $\tilde{\mathbf{\beta }}(k)$的偏倚越大，其方差就越小。要得到方差较小的估计结果，又不得不牺牲无偏性。为此可以用兼顾方差和偏倚的最小均方误差MSE原则

---

4.33 岭回归参数$k$的选择

原则上是要选择使均方误差$\mathrm{MSE}[\hat{\beta }(k)]$达到最小的$k$，而最优值$k$依赖于未知参数$\mathbf{\beta }$和${\sigma }^2$，因而在实际应用中必须通过样本来确定。目前还没有形成公认的选择岭回归参数的最优方法，常用的方法主要有岭迹法、方差扩大因子法、残差平方和方法。

---

-END-

参考文献

庞皓. 计量经济学[M].科学出版社