第三章 经典单方程计量经济学 模型：多元线性回归模型一、 内容提要与学习指南1. 知识结构多元线性回归模型多元回归模型的形式与基本假设模型的基本形式：偏回归系数的含义总体回归函数与总体回归模型样本回归函数与样本回归模型基本假设：非矩阵表示与矩阵表示基本建模过程模型的参数估计三大估计方法：OLS估计、ML估计、MM估计OLS估计量的统计性质：高斯-马尔可夫定理OLS估计量的概率分布：正态分布模型的统计检验拟合优度检验：R2统计量与调整的R2方程总体线性性检验：F统计量变量的显著性检验：t统计量参数的置信区间模型的应用：预测点预测：总体聚均值与个值的无偏预测区间预测：总体均值与个值的区间预测建模过程中的其他问题样本容量问题非线性模型的线性化：直接替换法、函数变换法、级数展开法非线性模型的直接估计：非线性OLS法虚拟变量模型基本概念：为什么引入虚拟变量虚拟变量的引入方式：加法、乘法及两者的组合方式虚拟变量的设置原则：避免“虚拟变量陷阱”模型参数的约束性检验模型参数的线性约束检验模型中增加或减少解释变量的检验参数的稳定性检验非线性约束：LR、WD、LM检验统计量2、内容提要与学习指南本章将一元回归模型拓展到了多元回归模型，其基本的建模思想与建模方法与一元的情形相同。主要内容仍然包括模型的基本假定、模型的估计、模型的检验以及模型在预测方面的应用等方面。只不过为了多元建模的需要，在基本假设方面以及检验方面有所扩充。本章仍重点介绍了多元线性回归模型的基本假设、估计方法以及检验程序。与一元回归分析相比，多元回归分析的基本假设中引入了多个解释变量间不存在（完全）多重共线性这一假设；在检验部分，一方面引入了修正的可决系数，另一方面引入了对多个解释变量是否对被解释变量有显著线性影响关系的联合性F检验，并讨论了F检验与拟合优度检验的内在联系。本章的另一个重点是将线性回归模型拓展到非线性回归模型，主要学习非线性模型如何转化为线性回归模型的常见类型与方法。这里需要注意各回归参数的具体经济含义。当然，作为选学内容，本章也同时介绍了非线性模型的直接估计方法非线性普通最小二乘法。本章第三个学习重点是建立包含虚拟解释变量模型的相关问题。虚拟变量将经济现象中的一些定性因素引入到可以进行定量分析的回归模型，扩展了回归模型的功能。如何引入不同类型的虚拟变量来解决相关的定性因素所产生的的影响是建立虚拟变量模型的核心，需要对具体问题进行深入分析来完成。引入虚拟变量的方式主要有加法方式、乘法方式以及而这的结合方式。在引入虚拟变量时有两点需要注意，一是明确虚拟变量的对比基准，二是避免出现“虚拟变量陷阱”。本章第四个学习重点是关于模型的约束性检验问题，包括参数的线性约束与非线性约束检验。参数的线性约束检验包括对参数线性约束的检验、对模型增加或减少解释变量的检验以及参数的稳定性检验三方面的内容，其中参数稳定性检验又包括邹氏参数稳定性检验与邹氏预测检验两种类型的检验。参数的约束性检验都是以F检验为主要检验工具，以受约束模型与无约束模型是否有显著差异为检验基点。参数的非线性约束检验主要包括最大似然比检验LR、沃尔德检验Ward与拉格朗日乘数检验LM。它们仍以估计无约束模型与受约束模型为基础，且都可以归结到最大似然原理估计上来，并且检验统计量都是在大样本下渐近地服从以约束条件个数为自由度的 分布。可以说，参数的约束性检验这一基本思想贯穿了经济学学习的整个过程。非线性约束检验中的拉格朗日乘数检验在后面的章节中多次使用。3.典型例题与教材练习题知识点在下面的典型例题分析与教材练习题的解答分析中，还有如下内容需要关注，它们在教材中没有特别提及或之作为结论列出，但在计量经济学的学习内容中非常重要。第一，多元线性模型关于参数是线性的，但关于变量可以是的非线性的。英雌模型变量采用不同的函数形式，其参数的经济含义就会不同。例如在被解释变量与某解释变量都以对数函数的形式出现在模型中时，该解释变量前的参数就是弹性的含义。那么关于其他的函数形式如何对参数的含义做解释呢？第二，一个计量经济学的初学者可能关注的一个问题是，多元回归参数的估计何时恰好等于被解释变量与每一个解释变量作为一元回归时的参数估计结果，即多元回归等价于多个一元回归？第三，在多元回归中，OLS估计与残差有关的若干“数值性质”有哪些？例如仍有残差和为零、残差项羽解释变量不相关、残差项与估计的被解释变量不相关等性质吗？它们的推到过程怎么样？第四，多元回归模型中不包含常数项时的回归仍称为“过原点回归”，多元回归模型中过原点回归的OLS估计会出现什么样的变化？模型的结构参数的估计与包含常数项的回归有差别吗？与残差有关的“数值性质”有何变化？第五，教材指出，在满足高斯基本假设的情况下，多元线性回归模型参数的OLS估计量之最佳线性无偏估计量，并证明了线性性与无偏性。那么最小方差应如何证明呢？第六，教材给出了多元线性回归模型随机干扰项方差的估计量表达式，它是如何推导出的呢？第七，矩估计是根据总体的矩条件，写出对应的样本矩条件，在矩阵表达式中，如何理解两者的“对应”性特征呢?例6 记样本多元回归模型为或，试证明OLS估计具有如下数值性质：(1) 估计的的均值等于实测的的均值： (2) 残差和不相关：(3) 残差和为零，从而残差的均值为零：，(4) 残差和估计的不相关：证明 （1）由于 于是 从而（2）由于多元回归的OLS估计是在如下残差平方和的最小化基础上而完成的：由矩阵的求导法则容易得到该式的一阶极值条件：即有如下矩阵形式表示的正规方程组：也即（3）的第一行各元素均为1，因此，（2）中的正规方程组的第一个方程恰为于是。（4）由于，则有例7 对多元线性回归模型，试证明随机干扰项的方差的无偏估计量为，其中e为相应样本回归模型的残差向量。证明 由于被解释变量的估计值与观测值之间的残差 残差的平方和为 因为为对称等幂矩阵，即所以有 由于为一数量，它本身就是它的迹，于是 其中符号“”表示矩阵的迹，其定义为矩阵主对角线元素的和。这里用到了矩阵的迹的两个重要性质：于是以上过程既导出了随机干扰项方差的估计量也证明了该估计量是无偏估计量。例8 对多元线性回归模型，试证明OLS估计量具有最小方差性。证明：设是其他方法得到的关于的线性无偏估计量：其中，为固定矩阵，满足,于是的无偏性要求。由于于是，当且仅当。的方差协方差矩阵为为主对角线元素非负的对称矩阵（半正定矩阵），由此得的方差大于或等于OLS估计量的方差。三、教材练习题及参考解答1、多元线性回归模型的基本假设是什么？试说明在证明最小二乘估计量的无偏性和有效性的过程中，哪些基本假设起了作用？解答 多元线性回归模型的基本假设仍然是针对随机干扰项与针对解释变量两大类的假设。针对随机干扰项的假设有：零均值，同方差，无序列相关且服从正态分布。针对解释变量的假设有：解释变量应具有非随机性，如果是随机的，则不能与随机干扰项相关；各解释变量之间不存在（完全）线性相关关系。在证明最小二乘估计量的无偏性中，利用了解释变量非随机或与随机干扰项不相关的假设；在有效的证明中，利用了随机干扰项同方差且无序列相关的假设。2、在多元线性回归分析中，t检验与F检验有何不同？在一元线性回归分析中两者是否有等价作用？解答 在多元线性回归分析中，t检验常被用作检验回归方程中各个参数的显著性，而F检验则被用作检验整个回归关系的显著性。各解释变量联合起来对被解释变量有显著的线性关系，并不意味着每个解释变量分别对被解释变量有显著的线性关系。在一元线性回归分析中，两者具有等价作用，因为两者都是对共同的假设解释变量的参数等于零进行检验的。3、为什么说对模型参数施加约束条件后，其回归的残差平方和一定不比未施加约束的残差平方和小？在什么条件，受约束回归与无约束回归的结果相同？解答 对模型参数施加约束条件后，就限制了参数的取值范围，寻找到的参数估计值也是在此条件下使残差平方和达到最小的估计值，它不可能比未施加约束条件时找到的参数估计值使得残差平方和达到的最小值还要死。但当约束条件为真时，受约束回归与无约束回归的结果就相同了。4、在一项调查大学生一学期平均成绩（Y）与每周在学习（X1）、睡觉（X2）、娱乐（X3）与其他各种活动（X4）所用时间的关系的研究中，建立如下回归模型：Y=0+1X1+2X2+3X3+4X4+如果这些活动所用时间的总和为一周的总小时数168。问：保持其他变量不变，而改变其中一个变量的说法是否有意义？该模型是否有违背基本假设的情况？如何修改此模型以使其更加合理？解答 由于X1+X2+X3+X4=168，当其中一个变量变化时，至少有一个其他变量也要变化，因此，保持其他变量不变，而改变其中一个变量的说法是无意义的。显然，由于四类活动的总和为一周的总小时数168，表明X1，X2，X3，X4间存在完全的线性关系，因此违背了解释变量间不存在（完全）多重共线性的假设。可以去掉其中的一个变量，如去掉代表“其他”活动的变量X4，则新构成的三变量模型更加合理。例如这时1就度量了当其他两变量不变时，每周增加1小时的学习时间所带来的学习成绩的平均变化。这时，即使睡觉和娱乐的时间保持不变，也可以通过减少其他活动的时间来增加学习的时间。而这时三个变量间也不存在明显的共线性问题。7、考虑以下过原点回归： （1）求参数的OLS估计量；（2）对该模型，是否仍有结论 解答 （1）根据最小二乘原理，需求适当的, ，使得残差平方和最小：min 由微积分的知识，对上式分别关于，求偏导，并令倒数值为零，得如下正规方程组： 或 解得 （2）由（1）中的正规方程组知，对该模型，仍有 但不存在，即过原点回归的残差和不一定为零。8.对下列模型： （a） （b） 求出的最小二乘估计值，并将结果与下面的三变量回归方程的最小二乘估计值作比较： （c）你认为哪个估计值更好？解答：将模型（a）改写成则的估计值为将模型（b）改写成则的估计值为对模型（c），的估计值为显然模型（a）与模型（b）分别是模型（c）的参数在如下约束下的变形式：，因此，如果限制条件正确，则三个回归结果相同。当然，从参数估计的表达式上看，模型（a）与模型（b）的回归算法更简洁。但如果限制条件不正确，则模型（a）与模型（b）的回归参数是有偏的。10.在一项对北京某大学学生月消费支出的研究中，认为学生的消费支出除受其家庭每月收入水平的影响外，还受在学校是否得到奖学金、来自农村还是城市、是经济发达地区还是欠发达地区，以及性别等因素的影响。试设定适当的模型，并导出如下情形下学生消费支出的平均：（1）来自欠发达农村地区的女生、未得到奖学金；（2）来自欠发达城市地区的男生、得到奖学金；（3）来自发达地区的农村女生、得到奖学金；（4）来自发达地区的城市男生、未得到奖学金。解答：记学生月消费支出为，其家庭月收入水平为，则在不考虑其他因素的影响时，有如下基本回归模型：其他定性因素可用如下虚拟变量表示： ， 则引入个虚拟变量后的回归模型如下：由此回归模型，可得如下各种情形下学生的平均消费支出：