第 10 章 多元线性回归10.1 多元线性回归模型 10.2 回归方程的拟合优度 10.3 显著性检验 10.4 多重共线线性 10.5 哑变量回归 10.6 非线性回归学习目标1.回归模型、回归方程、估计的回归方程 2.回归方程的拟合优度 回归方程的显著性检验 利用回归方程进行估计和预测 非线性回归 用 SPSS 进行回归分析10.1 多元线性回归模型10.1.1 多元回归模型与回归方程 10.1.2 估计的多元回归方程 10.1.3 参数的最小二乘估计多元回归模型与回归方程多元回归模型(multiple regression model) 一个因变量与两个及两个以上自变量的回归 描述因变量 y 如何依赖于自变量 x1 ， x2 ， xk 和误差项 的方程，称为多元回归模型 涉及 k 个自变量的多元回归模型可表示为 0 0 ， 1 1， ， k k是参数是参数 是被称为误差项的随机变量是被称为误差项的随机变量 y y 是是x x1, 1,，x x2 2 ， ，x xk k的线性函数加上误差项的线性函数加上误差项 包含在包含在y y里面但不能被里面但不能被k k个自变量的线性关系个自变量的线性关系 所解释的变异性所解释的变异性多元回归模型 (基本假定) 误差项是一个期望值为0的随机变量，即 E()=0 对于自变量x1，x2，xk的所有值，的 方差 2都相同 误差项是一个服从正态分布的随机变量 ，即N(0,2)，且相互独立多元回归方程(multiple regression equation) 描述因变量 y 的平均值或期望值如何依赖 于自变量 x1， x2 ，xk的方程 多元线性回归方程的形式为E( y ) = 0+ 1 x1 + 2 x2 + k xk 1 1， ， k k称为偏回归系数称为偏回归系数 i i 表示假定其他变量不变，当表示假定其他变量不变，当 x xi i每每 变动一个单位时，变动一个单位时，y y 的平均变动值的平均变动值二元回归方程的直观解释二元二元线性回归模型线性回归模型( (观察到的观察到的y y) )回归面回归面 0 0 i ix x1 1y yx x2 2( (x x1 1, ,x x2 2) ) 估计的多元回归方程估计的多元回归的方程 (estimated multiple regression equation) 用样本统计量 估计回归方程中的 参数 时得到的方程 由最小二乘法求得 一般形式为 是是 的的估计值估计值 是是 y y 的估计值的估计值 参数的最小二乘估计参数的最小二乘法2.2. 求求解解各回归参数的标准方程如下各回归参数的标准方程如下1.1. 使使因变量的观察值与估计值之间的离差平方和因变量的观察值与估计值之间的离差平方和 达到最小来求得达到最小来求得 。即即参数的最小二乘法 (例题分析)【例例】一家大型商业银行在多个地区设有分一家大型商业银行在多个地区设有分 行，为弄清楚不良贷款形成的原因，抽取行，为弄清楚不良贷款形成的原因，抽取 了该银行所属的了该银行所属的2525家分行家分行20022002年的有关业年的有关业 务数据。试建立不良贷款务数据。试建立不良贷款y y与贷款余额与贷款余额x x1 1、 累计应收贷款累计应收贷款x x2 2、贷款项目个数贷款项目个数x x3 3和固定资和固定资 产投资额产投资额x x4 4的线性回归方程，并解释各回的线性回归方程，并解释各回 归系数的含义归系数的含义 10.2 回归方程的拟合优度10.2.1 多重判定系数 10.2.2 估计标准误差多重判定系数多重判定系数 (multiple coefficient of determination) 回归平方和占总平方和的比例 计算公式为 因变量取值的变差中，能被估计的多元回归方程 所解释的比例 在样本容量一定的条件下，不断向模型中 增加自变量，即使新增的变量与Y不相关 ，模型的R2也可能上升，至少不会下降。 在实际应用中，研究人员更欢迎简单的模 型，这样的模型更简单和易于解释。如果 根据R2来选择模型，显然会倾向于复杂的 模型。 更常用的指标是“修正后的Ra2”。修正的判定系数修正多重判定系数 (adjusted multiple coefficient of determination) 用样本量n和自变量的个数k去修正R2得到 计算公式为 避免增加自变量而高估 R2 意义与 R2类似 数值小于R2估计标准误差 Se 对误差项的标准差 的一个估计值 衡量多元回归方程的拟合优度 计算公式为12.3 显著性检验12.3.1 线性关系检验 12.3.2 回归系数检验和推断线性关系检验线性关系检验 检验因变量与所有自变量之间的线性关系是 否显著 也被称为总体的显著性检验 检验方法是将回归均方(MSR)同残差均方 (MSE)加以比较，应用 F 检验来分析二者之 间的差别是否显著 如果是显著的，因变量与自变量之间存在 线性关系 如果不显著，因变量与自变量之间不存在 线性关系线性关系检验 提出假设 H0：12k=0 线性关系不显著 H1：1，2， k至少有一个不等于02. 2. 计算检验统计量计算检验统计量F F3.3. 确定显著性水平确定显著性水平 和分子自由度和分子自由度k k、分母自由度、分母自由度n-n-k k-1-1找出临界值找出临界值F F 4. 4. 作出决策：若作出决策：若F F F F ，拒绝拒绝H H0 0回归系数检验和推断回归系数检验和推断回归方程显著，并不意味着每个解释变量对因 变量Y的影响都重要,因此需要进行检验：回归系数检验的必要性回归方程显著每个回归系数 都显著回归系数的检验(步骤) 提出假设 H0： i = 0 (自变量 xi 与 因变量 y 没有线性 关系) H1： i 0 (自变量 xi 与 因变量 y有线性关 系) 计算检验的统计量 t3.3. 确定显著性水平确定显著性水平 ，并进行决策，并进行决策 t t t t ，拒绝拒绝H H0 0； t t t(25-2)=2.0687， 所以均拒绝原假设，说明这4个自变量两两之间都有显 著的相关关系 由表中的结果可知，回归模型的线性关系显著 (Significance-F1.03539E-06=0.05) 。这也暗示了模型中存 在多重共线性 固定资产投资额的回归系数为负号(-0.029193) ，与预 期的不一致多重共线性问题的处理多重共线性 (问题的处理) 将一个或多个相关的自变量从模型中剔除 ，使保留的自变量尽可能不相关 如果要在模型中保留所有的自变量，则应避免根据 t 统计量对单个参数进行检 验对因变量值的推断(估计或预测)的限定 在自变量样本值的范围内多元回归中的变量筛选 在多元回归中，预先选定的自变量不一定都 对Y有显著的影响。有一些统计方法可以帮助 我们从众多可能的自变量中筛选出重要的自 变量。 SPSS软件提供了多种筛选自变量的方法： “向前引入法（Forward）” “向后剔除法（Backward）” “逐步引入剔除法（Stepwise）”变量选择过程 在建立回归模型时，对自变量进行筛选 选择自变量的原则是对统计量进行显著性检验将一个或一个以上的自变量引入到回归模型中时，是 否使得残差平方和(SSE)有显著的减少。如果增加一个自变 量使SSE的减少是显著的，则说明有必要将这个自变量引入 回归模型，否则，就没有必要将这个自变量引入回归模型确定引入自变量是否使SSE有显著减少的方法，就是 使用F统计量的值作为一个标准，以此来确定是在模型中增 加一个自变量，还是从模型中剔除一个自变量n 变量选择的方法主要有：逐步回归、向前选择、向后剔除向前选择 (forward selection) 从模型中没有自变量开始 对k个自变量分别拟合对因变量的一元线性回归模 型，共有k个，然后找出F统计量的值最高的模型 及其自变量，并将其首先引入模型 分别拟合引入模型外的k-1个自变量的线性回归模 型 如此反复进行，直至模型外的自变量均无统计显 著性为止向后剔除 (backward elimination) 先对因变量拟合包括所有k个自变量的回归模型。然后考察 p(p 0 0 基本形式： 线性化方法 令：y = 1/y，x= 1/x, 则有y = + x 图像幂函数曲线 基本形式： 线性化方法两端取对数得：lg y = lg + lg x令：y = lgy，x= lg x，则y = lg + x 图像00 1 1 1 1 = 1= 1-1-1 0 0 -1 -1 =-1 =-1 对数曲线 基本形式： 线性化方法 x= lnx , 则有y = + x 图像 0 0 0 0 SPSS中可以进行的曲线回归包括：曲线回归的计算机实现：Spss：analyzeregressioncurve estimation；Eviews：quickestimate equation。例题：我国19782002年人均GDP数据（1978年不变价），试建立人均GDP与时间之间的回归方程。 1、画出散点图 2、计算相关系数3、进行回归 3、进行回归4、精细比较（1）二次曲线：决定系数（2）三次曲线：决定系数 4、精细比较 （1）二次曲线：F检验（2）三次曲线：F检验4、精细比较（1）二次曲线：回归系数（2）三次曲线：回归系数本章小结 变量间关系的度量 回归模型、回归方程与估计的回归方程 回归直线的拟合优度 回归分析中的显著性检验 用SPSS 进行回归分析结 束