.3 多元线性回归与最小二乘估计1.假定条件、最小二乘估计量和高斯马尔可夫定理 多元线性回归模型: =b bxt + bxt2 + b- 1t k + t, （1.1)其中y是被解释变量(因变量),xt j是解释变量(自变量),是随机误差项,bi， = 0， 1， , k-是回归参数(一般未知)。 对经济问题的实际意义：与x j存在线性关系,x j, j 0, 1, ， - ，是y的重要解释变量。代表众多影响yt变化的微小因素。使t的变化偏离了(） = b0 b1t1 +bxt2 + b- t k-1 决定的k维空间平面。 当给定一种样本（ ,xt， t , x 1), =1， , ， T时，上述模型表达为 y1b0 +b1x1 b12 +b 11 1 + , 经济意义:x 是t的重要解释变量。 y =b0+b1x21+ b222 +bk-1x2k -1 u2, 代数意义:y与xt 存在线性关系。 几何意义:t表达一种多维平面。 yT b0bxT 1 + bx T 2+bk-1x T k -1 + uT， （1.）此时y与 i已知,bj与ut未知。 (.) = X b + u, (1.)为保证得到最优估计量,回归模型（.）应满足如下假定条件。假定 随机误差项ut是非自有关的，每一误差项都满足均值为零，方差 s2相似且为有限值，即E(u) 0， Var(u）= (） = s 2I = s 2假定 解释变量与误差项互相独立，即 E(Xu） = 0假定 解释变量之间线性无关。 rk(X X) = rk（) =k 其中k（)表达矩阵的秩。假定 解释变量是非随机的，且当T 时T X X Q 其中Q是一种有限值的非退化矩阵。最小二乘 (LS) 法的原理是求残差(误差项的估计值)平方和最小。代数上是求极值问题。min= （ -X) (Y -) Y X -XX X =YY - Y+ X X （1）由于 X是一种标量，因此有Y X X 。() 的一阶条件为:= - +2X (1.）化简得 X Y = XX由于 (X) 是一种非退化矩阵(见假定）,因此有=( X)-1 X Y (1.7)由于X的元素是非随机的,（X X) -1X是一种常数矩阵，则是的线性组合,为线性估计量。求出，估计的回归模型写为= + （1.9)其中=( )是b 的估计值列向量，=(Y- X）称为残差列向量。由于 - X -X ( X)-X = I-X（XX)-1 Y （10)因此也是Y的线性组合。的盼望和方差是 E() =E(X X）1X =（X )-X (Xb u） b + (X )-X E（u）b (1.11)Va(） = E(b）（b)= E(X X）-1 uX(X)- E(X X)1 s I(X X)-1s（XX）-1 (11) 高斯马尔可夫定理:若前述假定条件成立,OLS估计量是最佳线性无偏估计量。具有无偏性。具有最小方差特性。具有一致性，渐近无偏性和渐近有效性。2 残差的方差2 = / (T k） (11)s 2是s 2 的无偏估计量,E（ ） =s 2。的估计的方差协方差矩阵是(） = s2 ( X) （1.1)3 多重拟定系数(多重可决系数） = X=+ (15）总平方和SST = = - T, （1.16)其中是yt的样本平均数，定义为= 。回归平方和为S = = T (1.17)其中的定义同上。残差平方和为E = (.8)则有如下关系存在, SS= SSR +S （119)2 = (1.)显然有0R2 1。 2 1,拟合优度越好。 调节的多重拟定系数当解释变量的个数增长时,一般R2不下降,而是上升。为调节因自由度减小带来的损失,又定义调节的多重拟定系数如下: = 1 - - （.21） OLS估计量的分布 若u (0, s 2I ) ，则每个ut都服从正态分布。于是有YN（Xb, s2 ) (122）因也是u的线性组合(见公式),根据(1.1)和(12)有 N(b， s2( X)1 ） (1.3) 6. 方差分析与检查与SS相相应，自由度T也被分解为两部分,()= （k -)+ （T- k) (.24) 回归均方定义为MR = ,误差均方定义为SE = 表1.1 方差分析表方差来源平方和自由度均方回归SSR =21MSR=SS/ (k-1)误差SSE = TkMS =SS (T-k）总和SST=Y Y -2T1H0: b1=b = =bk- = 0； H: bj不全为零F = （-,T-k) （1.2)设检查水平为a，则检查规则是，若 FFa (k-,-k）,接受H0;若 F Fa(k1,T-） , 回绝0。 0 Fa （-1,-k） -a(T) 0 ta（T-)F检查示意图 t检查示意图7.t检查H 0:bj =,（ 1,， ， k-1)， H：bj = t(-) (1.6)鉴别规则:若t ta(T-) 接受H 0；若 ta(T-k) 回绝H 0。 .bi的置信区间 （1）所有b的联合置信区间接受F= (b -） （X X) (b -）/ s Fa(, T-k） (1.27)( b-)(X )( b-） s kFa(,T-),它是一种维椭球。 (.2) （2） 单个bi的置信区间bi =s a/2(T-k) . (1.2） .预测 (1)点预测C= （1 xT+1 x x+ k-1 ） (3）则T+ 1期被解释变量y+的点预测式是，=0 +1 x+1 1 + + -1 xT1k-1 （31) （2)E(yT1） 的置信区间预测 一方面求点预测式C的抽样分布E（) = E(C) Cb （1.32)Vr()= Var（)=(-Cb ) (C-Cb ) = C （b )C （- b ） = C E( b）(- b) = Cr(） = s2 (X X )1C = s2C（XX ）-1 , （13)由于服从多元正态分布,因此也是一种多元正态分布变量，即= CN(b, s2C(X )-1C ) (.3)构成 t分布记录量如下t = t (-k） (135)置信区间 ta2 (, k)