经济计量学的几种检验,多重共线性,.Multicollinearity arises because we have put in too many variables that measure the same thing. As the degree of multicollinearity increases, the regression model estimates of the coefficients become unstable and the standard errors for the coefficients can get wildly inflated. Measure :vif, tol=1/vif,condition index;etc.,多重共线性的后果,1.存在完全多重共线性时,参数的估计值无法确定,而且估计值的方差变为无穷大. 2.存在不完全多重共线性时,可以估计参数值,但是数值不稳定,而且方差很大. 3.多重共线性会降低预测的精度,甚至失效,增大零假设接受的可能性(t值变小).,多重共线性的检测方法 (1)样本可决系数法,如果样本的可决系数R-square 比较大，且回归系数几乎没有统计上的显著性，则可认为存在多重共线性。 Theil 提出了一个指标：多重共线性效应系数,Theil test results,Sas 结果： 结果表明有多重共线性。,多重共线性检测方法 （2）辅助回归检验法,若存在多重共线性，则至少有一个解释变量可精确或近似地表示为其余皆是变量的线性组合。 相应的检验统计量为：,辅助回归检验结果,Sas 结果： Klein经验法则：若存在一个i,使得 R(i)-squareR-square,则认为多重共线性严重；本例中x1,x3有多重共线性。,多重共线性检验方法 （3）样本相关系数检验法,FG test results,fg=20.488013401 p=0.0001344625； 拒绝零假设，认为存在多重共线性。 具体那些变量之间存在多重共线性，除了上面提到的辅助回归的方法外，还有以下提到的条件数检验和方差膨胀因子法。,多重共线性检验方法： （4）特征值分析法所用的检验统计指标,; 为第k各自变量和其余自变量回归的可决系数. VIF10,有多重共线性;TOL=1/VIF; 条件指数: 条件数: ;C20,共线性严重.,多重共线性的检验和补救,例一:进口总额和三个自变量之间回归; Sas 结果如下:Pearson Correlation Coefficients, N = 11 Prob |r| under H0: Rho=0 x1 x2 x3 x1 1.00000 0.02585 0.99726 GDP 0.9399 .0001 x2 0.02585 1.00000 0.03567 存蓄量 0.9399 0.9171 x3 0.99726 0.03567 1.00000 总消费 .0001 0.9171 从上面可以看出x1和x3线性相关严重.,多重共线性的检验和补救,(2)回归结果: Parameter Estimates Parameter Standard Variance Variable DF Estimate Error t Value Pr |t| Inflation Intercept 1 -10.12799 1.21216 -8.36 .0001 0 x1 1 -0.05140 0.07028 -0.73 0.4883 185.99747 x2 1 0.58695 0.09462 6.20 0.0004 1.01891 x3 1 0.28685 0.10221 2.81 0.0263 186.11002 发现x1的系数为负,和现实经济意义不符,出现原因就是x1 和x3之间的线性相关.,补救措施,增加样本;岭回归或主分量回归; 至少去掉一个具有多重共线性的变量;对具有多重共线性的变量进行变换. 对所有变量做滞后差分变换(一般是一阶差分),问题是损失观测值,可能有自相关. 采用人均形式的变量（例如在生产函数估计中） 在缺乏有效信息时,对系数关系进行限制,变为有约束回归(Klein,Goldberger,1955),可以降低样本方差和估计系数的标准差,但不一定是无偏的(除非这种限制是正确的). 对具有多重共线性的变量,设法找出其因果关系,并建立模型和原方程构成联立方程组.,岭回归,岭回归估计: K=0, b(k)=b即为OLSE; K的选取: 即使b(k)的均方误差比b的均方误差小.,岭迹图,岭回归结果,Obs _MODEL_ _TYPE_ _DEPVAR_ _RIDGE_k _PCOMIT_ _RMSE_ Intercept x1 x2 x3 y 1 MODEL1 PARMS y 0.48887 -10.1280 -0.051 0.58695 0.287 -1 2 MODEL1 RIDGEVIF y 0.00 方差膨胀因子 185.997 1.01891 186.110 1 3 MODEL1 RIDGE y 0.00 0.48887 -10.1280 -0.051 0.58695 0.287 1 4 MODEL1 RIDGEVIF y 0.01 8.599 0.98192 8.604 -1 5 MODEL1 RIDGE y 0.01 0.55323 -9.1805 0.046 0.59886 0.144 1 6 MODEL1 RIDGEVIF y 0.02 2.858 0.96219 2.859 -1 7 MODEL1 RIDGE y 0.02 0.57016 -8.9277 0.057 0.59542 0.127 -1 8 MODEL1 RIDGEVIF y 0.03 1.502 0.94345 1.502 -1 9 MODEL1 RIDGE y 0.03 0.57959 -8.7337 0.061 0.59080 0.120 -1 10 MODEL1 RIDGEVIF y 0.04 0.979 0.92532 0.979 -1 11 MODEL1 RIDGE y 0.04 0.58745 -8.5583 0.064 0.58591 0.116 -1,主分量回归,主分量回归是将具有多重相关的变量集综合得出少数几个互不相关的主分量. 两步:(1)找出自变量集的主分量,建立y与互不相关的前几个主分量的回归式.(2)将回归式还原为原自变量结果. 详见,方开泰;,主分量回归结果,Obs _MODEL_ _TYPE_ _DEPVAR_ _PCOMIT_ _RMSE_ Intercept x1 x2 x3 y 1 MODEL1 PARMS y 0.48887 -10.1280 -0.05140 0.58695 0.28685 1 2 MODEL1 IPCVIF y 1 0.25083 1.00085 0.25038 1 3 MODEL1 IPC y 1 0.55001 -9.1301 0.07278 0.60922 0.10626 1 4 MODEL1 IPCVIF y 2 0.24956 0.00095 0.24971 -1 5 MODEL1 IPC y 2 1.05206 -7.7458 0.07381 0.08269 0.10735 -1,主分量回归结果,由输出结果看到在删去第三个主分量（pcomit=1)后的主分量回归方程： Y=-9.1301+0.07278x1+0.60922x2+0.10626x3; 该方程的系数都有意义，且回归系数的方差膨胀因子均小于1.1；主分量回归方程的均方根误差（_RMSE=0.55) 比普通OLS方程的均方根误差（_RMSE=0.48887) 有所增大但不多。,Sas 程序,data ex01; input x1 x2 x3 y; label x1=“国内生产总值“; label x2=“存储量“; label x3=“消费量“; label y=“进口总额“; cards; 149.3 4.2 108.1 15.9 161.2 4.1 114.8 16.4 171.5 3.1 123.2 19.0 175.5 3.1 126.9 19.1 180.8 1.1 132.1 18.8 190.7 2.2 137.7 20.4 202.1 2.1 146 22.7 212.4 5.6 154.1 26.5 226.1 5.0 162.3 28.1 231.9 5.1 164.3 27.6 239.0 0.7 167.6 26.3 ; run;,proc corr data=ex01; var x1-x3; run; *岭回归*; proc reg data=ex01 outest=ex012 graphics outvif; model y=x1-x3/ridge=0.0 to 0.1 by 0.01; plot/ridgeplot; run; proc print data=ex012;run; *主分量回归法*; proc reg data=ex01 outest=ex103; model y=x1-x3/pcomit=1,2 outvif;*pcomit表示删去最后面的1或2个主分量,用前面m-1或 m-2各主分量进行回归*; run; proc print data=ex103;run;,Sas 程序,/*theil test*/; proc reg data=ex01; equation3:model y=x1 x2; equation2:model y=x1 x3; equation1:model y=x2 x3; run;/*r-.9473;r3s=0.9828*/; data theil; rsq=0.9919;r1s=0.9913;r2s=0.9473;r3s=0.9828; theil=rsq-(