资源预览内容
第1页 / 共18页
第2页 / 共18页
第3页 / 共18页
第4页 / 共18页
第5页 / 共18页
第6页 / 共18页
第7页 / 共18页
第8页 / 共18页
第9页 / 共18页
第10页 / 共18页
亲,该文档总共18页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述
第三章 多元线性回归与最小二乘估计3.1 假定条件、最小二乘估计量和高斯马尔可夫定理 1、多元线性回归模型:yt = b0 +b1xt1 + b2xt2 + bk- 1xt k -1 + ut (3.1)其中yt是被解释变量(因变量),xt j是解释变量(自变量),ut是随机误差项,bi, i = 0, 1, , k - 1是回归参数(通常未知)。 对经济问题的实际意义:yt与xt j存在线性关系,xt j, j = 0, 1, , k - 1, 是yt的重要解释变量。ut代表众多影响yt变化的微小因素。使yt的变化偏离了E( yt) = b0 +b1xt1 + b2xt2 + bk- 1xt k -1 决定的k维空间平面。 当给定一个样本(yt , xt1, xt2 , xt k -1), t = 1, 2, , T时, 上述模型表示为 y1 = b0 +b1x11 + b2x12 + bk- 1x1 k -1 + u1, y2 = b0 +b1x21 + b2x22 + bk- 1x2 k -1 + u2, (3.2) . yT = b0 +b1x T 1 + b2x T 2 + bk- 1x T k -1 + uT 经济意义:xt j是yt的重要解释变量。代数意义:yt与xt j存在线性关系。几何意义:yt表示一个多维平面。此时yt与x t i已知,bj与 ut未知。 (3.3) Y = X b + u (3.4)2假定条件为保证得到最优估计量,回归模型(3.4)应满足如下假定条件。假定 随机误差项ut是非自相关的,每一误差项都满足均值为零,方差 s2相同且为有限值,即E(u) = 0 = , Var (u) = E( ) = s 2I = s 2假定 解释变量与误差项相互独立,即 E(X u) = 0假定 解释变量之间线性无关。rk(X X) = rk(X) = k 其中rk()表示矩阵的秩。假定 解释变量是非随机的,且当T 时T 1X X Q 其中Q是一个有限值的非退化矩阵。3 最小二乘估计最小二乘 (OLS) 法的原理是求残差(误差项的估计值)平方和最小。代数上是求极值问题。minS = (Y - X) (Y - X) = Y Y -X Y - Y X +X X = Y Y - 2X Y + X X (3.5)因为Y X是一个标量,所以有Y X = X Y。(1.5) 的一阶条件为:= - 2X Y + 2X X= 0 (3.6)化简得 X Y = X X因为 (X X) 是一个非退化矩阵(见假定),所以有= (X X)-1 X Y (3.7)因为X的元素是非随机的,(X X) -1X是一个常数矩阵,则是Y的线性组合,为线性估计量。求出,估计的回归模型写为Y = X+ (3.9)其中= ( ) 是 b 的估计值列向量,= (Y - X) 称为残差列向量。因为= Y - X= Y - X (X X)-1X Y = I - X (X X)-1 X Y (3.10)所以也是Y的线性组合。的期望和方差是 E() = E(X X)-1 X Y = E(X X)-1X (Xb + u) = b + (X X)-1X E(u) = b (3.11)由于:Var() = E(b) (b)= E(X X)-1X u u X (X X)-1 = E(X X)-1X s 2I X (X X)-1 = s 2 (X X)-1 (3.12)例:3.1(P113)略 4高斯马尔可夫定理:高斯马尔可夫定理:若前述假定条件成立,OLS估计量是最佳线性无偏估计量。具有无偏性。具有最小方差特性。具有一致性,渐近无偏性和渐近有效性。3.2 残差的方差 (3.13)是s 2 的无偏估计量,E( ) =s 2。证明过程如下:记:=P容易证明:P为对等幂矩阵,即P=P,P2=P利用矩阵迹的性质,有:的估计的方差协方差矩阵是() = (X X)-1 (3.14) bi的置信区间 (1) 全部bi的联合置信区间接受F = (b -) (X X) (b -) / s2 Fa (k, T-k) (3.15)( b -) (X X ) ( b -) s2 k Fa (k, T-k),它是一个k维椭球。 (3.16) (2) 单个bi的置信区间t = t(T-k) bi = ta/2(T-k) . (3.17)OLS估计量的分布 若u N (0, s 2I ) ,则每个ut都服从正态分布。于是有Y N (Xb, s 2I ) (3.18)因也是u的线性组合(见公式1.7),依据(3.11)和(3.12)有 N ( b, s2(X X)-1 ) (3.19)3.3多元回归模型的检验1. 多重确定系数(多重可决系数)Y = X+=+ (3.20)总平方和SST = Y Y - T, (3.21)其中是yt 的样本平均数,定义为= 。同理,回归平方和为SSR = = - T (3.22)其中的定义同上。残差平方和为SSE = = = (3.23)则有如下关系存在, SST = SSR + SSE (3.24)R2 = (3.25)显然有0 R 2 1。R 2 1,拟合优度越好。 2. 调整的多重确定系数当解释变量的个数增加时,通常R2不下降,而是上升。为调整因自由度减小带来的损失(增加方差的无偏估计量,会系数的置信区间及预测精度降低),又定义调整的多重确定系数如下: = 1 - = 1 - (3.26)对于包含解释变量个数不同的模型,就用调整后的确定系数。 3 方差分析与F检验与SST相对应,自由度T-1也被分解为两部分,(T-1)= (k -1) + (T- k) (3.27)回归均方差定义为MSR = ,误差均方差定义为MSE = 表1.1 方差分析表方差来源平方和自由度均方回归SSE =-T2k-1MSE = SSE / (k-1)误差SSR = T-kMSR = SSR / (T-k)总和SST= Y Y - T2T-1H0: b1= b2 = = bk-1 = 0; H1: bj不全为零F = = F(k-1,T-k) (3.28)设检验水平为a,则检验规则是,若 F Fa (k-1,T-k),接受H0;若 F Fa (k-1,T-k) , 拒绝H0。 图3.1 F检验示意图 图3.2 t检验示意图4t检验H 0:bj = 0, (j = 1, 2, , k-1), H 1:bj 0t = t(T-k) (3.29)判别规则:若 t ta(T-k) 接受H 0;若 t ta(T-k) 拒绝H 0。 5、模型结构的稳定性检验:Chow检验对于多元回归模型:yt = b0 +b1xt1 + b2xt2 + bk- 1xt k -1 + ut 我们可以得到一组大样本,这组大样本C1-Cn,可能由于某一原因(时间序列的政策原因、战争;截面数据如不同地区等),分为两组小样本:C1-Ci,Ci-Cn,对于这两组小样本,模型结构是否相同,有待检验。方步骤如下:1)、利用大样本对模型回归,得残差平方和:2)利用两组小样本对模型分别进行回归,得残差平方和:、。3)构造统计量:4)给定显著性水平,检F分布表,得临界值5)判断:若F大于,认为方程存在显著差异,即两个样本反映的两个经济关系显著不同,说模型结构发生了变化;反之,模型结构比较稳定。例3.3(P129)略。3.4多元回归方程预测 1、点预测因为= E(0 +1 xf 1 + + k-1 xf k-1= E(yf)所以是E(yf)的元偏估计值,可以作为yf和E(yf)的估计值。C = (1 xT+1 1 xT+1 2 xT+1 k-1 ) (3.30)则T + 1期被解释变量yT+1的点预测式是,= C=0 +1 xT+1 1 + + k-1 xT+1 k-1 (3.31) 2、E(yT+1) 的置信区间预测 首先求点预测式C的抽样分布E() =
收藏 下载该资源
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号