多元线性回归：估计方法及回归系数显著性检验线性回归模型的基本假设:y = B + P x + P x + P x + ui = 1,2，ni 01 1i2 2 ik ki i在普通最小二乘法中，为保证参数估计量具有良好的性质，通常对模型提出若干基本假 设：1解释变量间不完全相关；2随机误差项具有0 均值和同方差。即:E(u ) 0 , Var (u ) = b 2 i = 1,2，,nii3不同时点的随机误差项互不相关(序列不相关)，即Cov (u , u ) 0 s 丰 0,i = 1,2，ni i - s4随机误差项与解释变量之间互不相关。即Cov( x , u ) 0j = 1 , 2 , , k , i = 1 , 2 , , nji i5随机误差项服从0 均值、同方差的正态分布。即ui N (Oq 2) i = 1,2，n当模型满足假设1 4时，将回归模型称为“标准回归模型”，当模型满足假设1 5时， 将回归模型称为“标准正态回归模型”。如果实际模型满足不了这些假设，普通最小二乘法就 不再适用，而要发展其他方法来估计模型。广义(加权)最小二乘估计(generalized least squares)当假设2和3不满足时，即随机扰动项存在异方差E (u 2) -b 2, i= 1,2 ,n,且随 iii机扰动项序列相关Cov(u , u ) b , i丰j， i = 1,2，n，j=l , 2，n，此时OLS估 i j ij计仍然是无偏且一致的，但不是有效估计。线性回归的矩阵表示：1)y = Xp + u则上述两个条件等价为：(G.G )11121nG.GVar(u)=21222 n工b 21、T1T 2.G 丿nn /对于正定矩阵Q存在矩阵M，使得MHM = InMM = Q-1。在方程(1)两边同时左乘 M,得到转换后的新模型：y = XP+unMy = MXp + Mu，令y* = My,X* = MX,u* = Mu， 即(2)y * = X*p + u*新的随机误差项的协方差矩阵为var(u*)=玖MuuM) = MQM = I ,显然是同方差、无序列 相关的。目标函数，即残差平方和为：Q = u*u* = uMMu = u0-1u。目标函数是残差 向量的加权平方和，而权数矩阵则是u的协方差矩阵的逆矩阵(因此，广义最小二乘估计法 也称为加权最小二乘估计法)。而新模型的OLS估计量则是原模型的GLS估计量。B = (X* X*)-1 X* y * = (X M MX)-1 X M My = (X Q-iX)-i X Q“yGLSVar ( GLS)= (X*X*)-i =(XMMX)-i=(X Q -1X)-1( Var ( OLS)= (XX)-iX OX(XX)-i)由于变换后的模型(2)满足经典OLS的所有假设，所以根据高斯-马科夫定理可知，GLS估计量是 BLUE (Best Linear Unbiased Estimator)。虽然从理论上讲，GLS比OLS有效，但由于多数情况下残差序列的协方差矩阵未知, 当我们用代替GLS估计式中的Q以获得估计时，估计量虽然仍旧是一致的，但却不是最 好线性无偏估计。而且，也很难推导出估计量的小样本性质。继而用White(1980)的异方 差一致协方差估计方法(残差序列有未知形式的异方差，但序列不相关)和 Newey-West(1987)的异方差-自相关一致协方差估计方法(有未知形式的异方差且自相 关存在)得到修正的Var OLS)是相对较好的选择。(使用White或Newey-West异方差 一致协方差估计不会改变参数的点估计，只改变参数估计的标准差。)White协方差矩阵公式为：入n(、Y =(X X) -1 u 2xx (X X) -1W n kI i i i) i=1丿其中n是观测值数，k是回归变量数，u.是最小二乘残差。iNewey-West协方差矩阵公式为:丈=（x x）-i a（ x x）-iNWP- I其中 a =- 工 u2x x + 为 n 一 k I i i ii=1v=1工（xuu X + x u u x）i i i-v i-v i-v i-v i i z=v+1丿丿后截尾，一个用于评价OLS残差仕的动态的自相关数目的参数。q = (4(/100)29)。二阶段最小二乘法 (TSLS，Two stage least squares，Sargan(1958)当假设4不成立时，即随机误差项与某些解释变量相关时，OLS和广义LS都是有偏 的和不一致的。有几种情况使右边某些解释变量与误差项相关。如：在方程右边有内生决定变量， 或右边变量具有测量误差。为简化起见，我们称与残差相关的变量为内生变量，与残差 不相关的变量为外生变量。解决解释变量与随机误差项相关的方法是使用工具变量回归。就是要找到一组变量 满足下面两个条件：(1) 与内生变量相关；(2) 与残差不相关；这些变量称为工具变量。用这些工具变量来消除右边解释变量与扰动项之间的相关 性。考虑工具变量时，应注意以下问题：1) 使用TSLS估计，方程说明必需满足识别的阶条件，即工具变量的个数至少与方程的系数一样多(Davidson & MacKinnon(1994)和叮 ohnston & DiNardo(1997)。2) 根据经济计量学理论，与扰动项不相关的解释变量可以用作工具变量。3) 常数c是一个合适的工具变量。在二阶段最小二乘估计中有两个独立的阶段。在第一个阶段中，找到内生变量和工 具变量。这个阶段包括估计模型中每个内生变量关于工具变量的最小二乘回归。第二个 阶段是对原始方程的回归，所有内生变量用第一个阶段回归得到的拟合值来代替。这个 回归的系数就是TSLS估计。令Z为工具变量矩阵，y和X是因变量和解释变量矩阵。则二阶段最小二乘估计的系数由下式计算出来：p= (X Z (Z Z)-1Z X)-1X Z (ZZ)-1 Z yTSLS系数估计的协方差矩阵为：Var (p)二 s 2( X Z (Z Z)-1Z X)-1其中s2是估计残差的协方差矩阵。广义矩方法(GMM, Generalized Method of Moments, Hansen(1982)由于传统的计量经济模型估计方法，例如普通最小二乘法、工具变量法、极大似然 法等,都有它们的局限性,其参数估计量必须在模型满足某些假设时才具有良好的性质, 而GMM估计是一个稳健估计量，因为它不要求扰动项的准确分布信息，允许随机误差 项存在异方差和序列相关,所得到的参数估计量比其他参数估计方法更合乎实际；而且 可以证明，普通最小二乘法、工具变量法、极大似然法都是GMM的特例设模型为：yt 二 + ut其中，xt = (x1t,x2t，,xKt)，卩=(0,p2,PK)，z为工具变量(1xL)。令wt = (yt,xt,zt)，则L个矩条件为：m(w ,0)= E(z u )= Ez (y x 6)| = 0tt tLt t r Lxl对应的样本矩条件为：m(wt,0)= T fZt(yt - xtP) = T Z(y 邓)=LX1T t =1T等价于解方程：q=? m 2 = m(w, 0) m(w, 0)=(3)lttl=1当存在LK个工具变量时，共有L个矩方程，而只有K个未知参数。因此，根据MM方法，共有个组合，可以得到的矩估计量的个数为。这时，每个组合得到的MM估计量都不能满足(3)式，即(3)式不会恰好为0。但可以考虑将各种不同的估计结果综合起来 使(3)式最小化，即使得L个矩条件的平方和最小。因为不同矩的方差不同，因此更科学的方法是使用加权的平方和，Q = m(wt,0) Wtm(wt,0)GMM估计量是求下式的最优解:Q = argmin m(w , 0) Wm(w , 0)GMMt与GLS相类似，GMM方法中，目标函数为各个矩的加权平方和，权数的选择则要考虑各 个矩的异方差和相关性。最优权数即是各个矩的协方差矩阵的逆矩阵。如果m (w t, 0)为一致估计量&gMm对应的矩，贝Us的一致估计量为：S = Var Cyrm, 0)= t var (m (wt, 0)=TVar 丈 im (w , 0)=丈 im (w , 0)in (w , 0)TtTttJT /=1丿 T t=1因此，最优权数矩阵为：入(1T丫wpp = S-1 = i m (w, 0)m(w, 0)TTttJ t=1丿其是wT的一致估计。回归系数显著性t检验H0:0=0vs H1: B 尹检验统计量：t=P / std)White t检验：t=E / std(E 碍)Newey-West 检验：t=9 / std(卩 N-W)参考文献:Newey, W. K., West, K.D., A simple, positive semi-dedinite, heteroskedasticity and autocorrelation consistent covariance matrix. Econometrica, 55,703-708.Sargan, T.D., 1958, The estimation of economic relationships using instrumental variables.Econometrica, 26, 393-415.White, H., 1980, Heteroskedasticity-consistent covaricnce matrix estimator and a direct test for heteroskedasticity. Econometrica, 48, 817-838.White, H., 1980, Instrumental variables regression on cross-section data. San Diego: University of California Press.Hansen, L. P., Hodric, R. J., 1980, Forward exchange rates as optional predictors of future spot rate: an econometric analysis. The Journal of Political Economy, 5(88), 829-853.Hodric, R. J., 1982, Dividend yields and expected stock returns: alternative procedures for inference and measurement. The Review of Financial Studies, 3(5), 357-386.用于k步向前预测中，残差协方差矩阵的一致估计。