,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,第八章 多重共线性,1,第八章 多重共线性1,第一节 多重共线性及其影响,第二节 多重共线性的发现和检验,第三节 多重共线性的克服和处理,本章结构,2,第一节 多重共线性及其影响本章结构2,第一节 多重共线形及其影响,一、多重共线形及其分类,二、严格多重共线形及其危害,三、近似多重共线形的原因及其影响,3,第一节 多重共线形及其影响一、多重共线形及其分类3,一、多重共线性及其分类,多元线性回归模型要求解释变量之间不存在线性关系，包括严格的线性关系和高度的近似线性关系。,但事实上由于模型设定和数据等各方面的问题，模型的解释变量之间很可能存在某种程度的线性关系。这时候称多元线性回归模型存在多重共线性问题。,4,一、多重共线性及其分类多元线性回归模型要求解释变量之间不存在,多重共线性可以分为两类。,如果多元线性回归模型中，存在两个或多个解释变量之间存在严格的线性关系，则称为“完全多重共线性”，也称为“严格的多重共线性”。,而解释变量之间存在近似的而不是严格的线性关系，这种情况被称为“近似多重共线性”。,5,多重共线性可以分为两类。5,二、严格多重共线形及其危害,完全多重共线性不可能由于数据问题引起，通常是由于模型设定问题，把有严格联系的变量引进同一个模型，或者虚拟变量设置不当引起的。,设两个解释变量的线性回归模型为：,回归方程为：,6,二、严格多重共线形及其危害完全多重共线性不可能由于数据问题引,求参数最小二乘估计量的正规方程组为：,其中 、和 分别是 、和 的离差。,设 和 两个变量之间有严格的线性关系 ，这个模型当然就存在完全的多重共线性。,7,求参数最小二乘估计量的正规方程组为：7,此时 也成立。把该关系式代入上述正规方程组中的第二式可得：,得到：,很显然，这个方程与上述正规方程组的第一个方程是完全相同的。,8,此时 也成立。把该关系式代入上述正规方程,这意味着我们得到了包含两个未知参数估计量的两个相同的方程，这时该方程组有无穷组解而不是有唯一一组解。,这实际上意味着被解释变量究竟受哪些变量的影响变得很不清楚，变量关系是无法识别的。,有完全多重共线性的多元线性回归模型都无法顺利进行参数估计，会使多元线性回归模型参数估计失败，回归分析无法进行。,9,这意味着我们得到了包含两个未知参数估计量的两个相同的方程，这,完全多重共线性虽然破坏性很大，却不是最需要担心的问题。,因为完全多重共线性是由于模型设定问题，把有严格联系的变量引进同一个模型，或者虚拟变量设置不当引起的，因此只要在建模时适当注意就可以避免。,即使由于模型设定的疏忽使得模型存在完全多重共线性问题，也比较容易发现。因为参数估计失效马上会提示我们这方面的问题。,10,完全多重共线性虽然破坏性很大，却不是最需要担心的问题。10,完全多重共线性问题的处理也比较简单，只需要针对性地修改模型，放弃、调整相互之间形成线性关系，导致完全多重共线性的部分解释变量。,注意一般不需要也不应该放弃存在线性关系的全部变量，否则容易使模型失去意义。,11,完全多重共线性问题的处理也比较简单，只需要针对性地修改模型，,三、近似多重共线形的原因及其影响,近似多重共线性既与变量选择有关，也与数据有关。,虽然解释变量的选择不当，把内在相关性较强的变量引进同一个模型，是导致近似多重共线性的重要原因，但近似多重共线性更经常的原因是经济数据的共同趋势。,12,三、近似多重共线形的原因及其影响近似多重共线性既与变量选择有,近似多重共线性不会导致参数估计失效，最小二乘参数估计能够得到唯一解。,在模型存在近似多重共线性的情况下，参数的最小二乘估计不仅仍然是唯一存在的，而且仍然是最小方差线性无偏估计。,但问题是当存在比较严重的近似多重共线性问题时，参数估计方差的绝对水平可能并不小，而且会随着多重共线性程度的提高急剧上升。,13,近似多重共线性不会导致参数估计失效，最小二乘参数估计能够得到,如果 用记变量 的离差平方和，记变量 对其余 个解释变量的回归平方和，表示原模型第,k,个解释变量对 其余 个解释变量回归的决定系数，那么 的方差可以写成：,14,如果 用记变量 的离差平方和，记变量,如果第,k,个解释变量与其余 个解释变量完全没有相关性，那么 ，。,当第,k,个解释变量与其他解释变量之间有相关性时，。,当第,k,个解释变量与其他解释变量之间有很强的相关性，也就是模型存在很强的近似多重共线性时，接近,1,，此时 的方差 会变得非常大。,15,如果第k个解释变量与其余 个解释变量完全没有相关,参数估计量方差的增大，必然导致参数估计的不稳定性提高，容易出现参数符号和数值大小的异常情况，从而使最小二乘估计的有效性受到很大影响。,多重共线性正是通过这样的机制，对多元线性回归模型的最小二乘估计产生不利影响，其后果常表现为参数估计不稳定，数据的很小变化会引起参数估计值的较大变化，而且参数估计的异常值增多，包括显著性水平不符合实际，或反映解释变量作用方向的符号相反等。,16,参数估计量方差的增大，必然导致参数估计的不稳定性提高，容易出,近似多重共线性表现形式和原因的多样性，数据问题导致多重共线性的隐蔽性，使得近似多重共线性的发现、判断和处理也比较困难。,正是因为这些原因，近似多重共线性是我们重点关心的问题，在多数情况下多重共线性指的就是近似多重共线性。,17,近似多重共线性表现形式和原因的多样性，数据问题导致多重共线性,第二节 多重共线性的发现和检验,多重共线性的根源是解释变量之间的相关性，因此分析解释变量之间的相关性，进行单相关或多元相关性的分析检验，是发现和判断多重共线性问题的基本方法。,当然，解释变量之间总是有不同程度相关性的，因此要认定模型确实存在较严重、必须处理的共线性问题，必须结合参数估计的符号、大小和显著性等是否异常，或者参数估计是否表现出很大不稳定性（可通过改变少量数据检验）等进行判断。,18,第二节 多重共线性的发现和检验多重共线性的根源是解释变量之间,因为多重共线性是通过对参数估计方差的放大作用对多元线性回归产生不利影响的，而解释变量的共线性程度与参数估计量方差的大小有一致性，因此可以根据参数估计方差被“放大”的程度，判断模型是否存在多重共线性问题，以及是由哪些变量引起的共线性问题。,以参数估计 为例。的方差为：,19,因为多重共线性是通过对参数估计方差的放大作用对多元线性回归产,而 中的因子 ，正是第,k,个解释变量与其他解释变量之间的相关性导致方差 扩大的倍数。,我们把这个因子称为“方差扩大因子”，记为：,这个方差扩大因子正是反映各个解释变量与其他变量之间的相关性，对参数估计方差和模型有效性影响程度的关键指标，可以用来检验多重共线性的存在以及根源。,20,而 中的因子 ，正,这种检验方法称为“方差扩大因子检验”，是检验多重共线性的常用方法。,通常以方差扩大因子 是否大于,10,，即 是否大于,0.9,，或第,k,个解释变量是否,90%,以上由其他解释变量反映，作为判断,k,个解释变量是否存在必须加以处理的多重共线性的标准。,事实上，当解释变量之间存在严重的共线性问题时，相关变量的方差扩大因子常常会达到几十、上百甚至更大。,例,8,1,。详见,Eviews,演示。,21,这种检验方法称为“方差扩大因子检验”，是检验多重共线性的常用,第三节 多重共线性的克服和处理,一、增加样本容量,二、差分模型,三、模型修正,四、分布估计参数,22,第三节 多重共线性的克服和处理一、增加样本容量22,一、增加样本容量,由于近似多重共线性意味着 对任意i都必须成立，因此若样本容量较小，近似多重共线性的可能性就较大，若样本容量大，多重共线性的可能性就越小，因此增加样本容量常能降低解释变量之间的多重共线性。,增加样本容量是理论上降低多重共线性最简便的方法之一。,23,一、增加样本容量由于近似多重共线性意味着,增加样本容量方法的缺陷,首先是增加样本容量并不必然降低多重共线性。事实上如果所增加的数据与原来的数据有基本相同的性质，即也有类似的共线性，那么就完全起不到作用。,其次在许多实际的计量经济分析中，数据数量会受到很大限制，增加样本容量事实上无法实现。因此增加样本容量的方法在解决多重共线性方面的作用是很有限的。,24,增加样本容量方法的缺陷首先是增加样本容量并不必然降低多重共线,二、差分模型,因为多重共线性往往是经济变量的共同变化趋势引起的，差分变换常常能使数据中趋势性部分的比重降低，波动和变化部分的比重加强，从而降低多重共线性问题。,例如线性回归模型为：,且已知 和 之间存在多重共线性问题。,25,二、差分模型因为多重共线性往往是经济变量的共同变化趋势引起的,如果我们对数据作如下的一阶差分变换：,那么 和 之间的共线性通常会比 和 之间的共线性程度低。,26,如果我们对数据作如下的一阶差分变换：26,因此若改用差分模型：,进行回归，受多重共线性的影响通常会比较小。采用增长率模型也能起到同样的作用。,需要注意的一个问题是，用差分模型解决多重共线性问题可能会导致误差项出现序列相关。,27,因此若改用差分模型：27,因为差分模型的误差项为 ，,，所以相邻两个误差项之间会有一定的相关性。,当然，如果原模型既有多重共线性问题，又有较强的一阶正自相关性，那么差分方法也可能会同时解决这两种问题。,运用差分模型往往还会使参数估计的方差扩大，样本信息也会有一些损失。,28,因为差分模型的误差项为 ，2,三、模型修正,由于近似多重共线性既是数据的问题，也是变量选择和模型设定问题，因此修改模型设定，也是克服多重共线性问题的基本方法。,修改模型的方法也有多种。,29,三、模型修正由于近似多重共线性既是数据的问题，也是变量选择和,1,、删减解释变量,引起多重共线性的直接原因之一，是在模型中引进过多相似有内在联系的解释变量，因此在根据方差扩大因子等判断导致共线性的变量中，如果删减掉一些与其他解释变量意义相近的变量，常可起到有效降低多重共线性的作用。,例如资产和流动资产两个指标之间，就常有较强的相关性，而且它们的意义也近似，因此同时引进这两个变量的线性回归模型常会因它们而有共线性问题，放弃其中一个指标往往能使共线性大大降低。,30,1、删减解释变量引起多重共线性的直接原因之一，是在模型中引进,2,、整合解释变量,以某种方式将经济意义相近、相关性较强的解释变量整合成一个新变量，也是降低共线性的有效方法。,当然整合解释变量要注意经济理论和实证的根据，如加权的权重要符合经济理论、经验结论，或者原模型回归分析的试算结果等。,31,2、整合解释变量以某种方式将经济意义相近、相关性较强的解释变,3,、先验信息参数约束,如果有关于模型或者其中参数的某些“先验信息”，也可以利用来克服模型的多重共线性问题。,例如已知生产函数为 ，经过对数变换建立了线性回归模型：,因为劳动力和资本的增长往往有同步性，因此上述模型往往有多重共线性问题。,32,3、先验信息参数约束如果有关于模型或者其中参数的某些“先验信,不过，有时候根据对经济的实证研究，能够预先知道所研究的经济有规模报酬不变的性质，也就是上述模型中的参数和 满足 。这种先验信息就可以用来克服多重共线性问题。,把 代入模型，有：,33,不过，有时候根据对经济的实证研究，能够预先知道所研究的经济有,整理可得：,最后这个函数相当于两变量线性回归模型，当然不会有多重共线性问题。,34,整理可得：34,四、分布估计参数,利用先验信息修正模型克服多重共线性的方法很有启发性。,如果先用某种方法估计出模型中的部分参数，就可以把它们作为先验信息简化模型，从而克服原模型的多重共线性问题。,分步估计参数方法的典型应用，是在时间序列数据模型中结合截面数据分析。,35,四、分布估计参数利用先验信息修正模型克服