多元线性回归模型多元线性回归模型2021/6/41主要内容n多元线性回归模型的一般形式 n参数估计（ OLS估计）n假设检验n预测2021/6/42一一. 多元线性回归模型多元线性回归模型n问题的提出n解析形式n矩阵形式2021/6/43问题的提出问题的提出n现实生活中引起被解释变量变化的因素并非仅只一个解释变量，可能有很多个解释变量。n例如，产出往往受各种投入要素资本、劳动、技术等的影响；销售额往往受价格和公司对广告费的投入的影响等。n所以在一元线性模型的基础上，提出多元线性模型解释变量个数 22021/6/44 对人均国民生产总值（Y）的 影响因素（因素（X）有： 人口变动因素人口变动因素、固定资产数、货币供给量、固定资产数、货币供给量、 物价指数、国内国际市场供求关系物价指数、国内国际市场供求关系等 对汽车需求量（Y）的 影响因素（因素（X）有： 收入水平收入水平、汽车价格、汽车价格、 汽油价格汽油价格等 社会经济现象的复杂性社会经济现象的复杂性 ！2021/6/45多元线性回归模型表示方法多元线性回归模型表示方法n 多元回归模型多元回归模型:含两个以上解释变量的回归模型n 多元线性回归模型多元线性回归模型:一个应变量与多个解释变量之间设定的是线性关系n 多元线性回归模型一般形式一般形式为： 2021/6/46多元线性回归模型的假设多元线性回归模型的假设n解释变量 Xi 是确定性变量，不是随机变量；解释变量之间互不相关，即无多重共线性。n随机误差项具有0均值和同方差n随机误差项不存在序列相关关系n随机误差项与解释变量之间不相关n随机误差项服从0均值、同方差的正态分布2021/6/47多元模型的解析表达式多元模型的解析表达式2021/6/48多元模型的矩阵表达式多元模型的矩阵表达式2021/6/49矩阵形式矩阵形式2021/6/410二二. 参数估计参数估计(OLS)n参数值估计n参数估计量的性质n偏回归系数的含义n正规方程n样本容量问题2021/6/4112.1参数值估计参数值估计(OLS)2021/6/412得到下列方程组得到下列方程组求参数估计值的实质是求一个k+1元方程组2021/6/413正规方程正规方程变成矩阵形式2021/6/414正规方程正规方程矩阵形式矩阵形式2021/6/415最小二乘法的矩阵表示最小二乘法的矩阵表示2021/6/4162.2最小二乘估计量的性质最小二乘估计量的性质n（1）线性（估计量都是被解释变量观测值的线性组合）n（2）无偏性（估计量的数学期望=被估计的真值）n（3）有效性（估计量的方差是所有线性无偏估计中最小的）2021/6/417OLS估计量的性质（续）估计量的性质（续）2021/6/418线性线性2021/6/419无偏性无偏性2021/6/420有效性有效性2021/6/4212.2 OLS回归线的性质回归线的性质n完全同一元情形：2021/6/422注解：注解：k与与k+1n凡是按解释变量的个数为k的，那么共有k+1个参数要估计。而按参数个数为k的，则实际有k-1个解释变量。总之两者相差1而已！要小心所用的k是什么意思！n所以如果本来是用解释变量个数的k表示的要转换成参数个数的k则用k-1代换原来的k就可以了！2021/6/4232.3偏回归系数的意义偏回归系数的意义n多元回归模型中的回归系数称为偏回归系数n某解释变量前回归系数的含义是，在其他解释变量保持不变的条件下，该变量变化一个单位，被解释变量将平均发生偏回归系数大小的变动2021/6/4242.4多元回归模型参数估计中的样本容量问多元回归模型参数估计中的样本容量问题题n样本是一个重要的实际问题，模型依赖于实际样本。n获取样本需要成本，企图通过样本容量的确定减轻收集数据的困难。n最小样本容量：满足基本要求的样本容量2021/6/425最小样本容量最小样本容量 n k+1n(XX)-1存在| XX | 0 XX 为k+1阶的满秩阵nR(AB) min(R(A),R(B)nR(X) k+1n因此，必须有nk+12021/6/426满足基本要求的样本容量满足基本要求的样本容量n一般经验认为：n 30或者n 3(k+1)才能满足模型估计的基本要求。n 3(k+1)时，t分布才稳定，检验才较为有效2021/6/427三三 多元线性回归模型的多元线性回归模型的检验检验n本节主要介绍：n3.1 拟合优度检验（判定系数及其校正）n3.2 回归参数的显著性检验（t检验）n3.3 回归方程的显著性检验（F检验）n3.4 拟合优度、t检验、F检验的关系2021/6/4283.1.1 拟合优度检验拟合优度检验 总平方和、自由度的分解总平方和、自由度的分解n目的：构造一个不含单位，可以相互比较，而且能直观判断拟合优劣的指标。n类似于一元情形，先将多元线性回归作如下平方和分解：2021/6/429对以上自由度的分解的说明对以上自由度的分解的说明2021/6/4303.1.2 判定系数判定系数n判定系数的定义：n意义：判定系数越大，自变量对因变量的解释程度越高，自变量引起的变动占总变动的百分比高。观察点在回归直线附近越密集。n取值范围：0-12021/6/4313.1.3 校正判定系数n为什么要校正？n判定系数随解释变量个数的增加而增大。易造成错觉：要模型拟合得越好，就应增加解释变量。然而增加解释变量会降低自由度，减少可用的样本数。并且有时增加解释变量是不必要的。n导致解释变量个数不同模型之间对比困难。n判定系数只涉及平方和，没有考虑自由度。n校正思路： 引进自由度校正所计算的平方和。2021/6/432校正判定系数 （续）2021/6/4333.2 回归方程的显著性检验回归方程的显著性检验2021/6/4343.2 回归方程的显著性检验回归方程的显著性检验 检验的目的：检验检验的目的：检验Y Y与解释变量与解释变量x x1 1，x x2 2，xxk k之之间的线性关系是否显著。间的线性关系是否显著。 检验的目的检验的目的2021/6/4353.2 回归方程的显著性检验回归方程的显著性检验检验的步骤检验的步骤第一步，提出假设：第一步，提出假设：原假设：原假设：H H0 0：b b1 1=b=b2 2=b=bk k=0=0备择假设：备择假设：H H1 1：b bi i不全为不全为0 0 （i=1i=1，k k）2021/6/4363.2 回归方程的显著性检验回归方程的显著性检验检验的步骤检验的步骤第二步，计算统计量：第二步，计算统计量：或：或： （10-810-8） 2021/6/4373.2 回归方程的显著性检验回归方程的显著性检验第三步，查表，得：第三步，查表，得：检验的步骤检验的步骤2021/6/4383.2 回归方程的显著性检验回归方程的显著性检验检验的步骤检验的步骤第四步，做检验：第四步，做检验：拒绝拒绝H H0 0，回归方程显著回归方程显著接受接受H H0 0，回归方程不显著回归方程不显著检验检验法则法则2021/6/4393.3 回归系数的显著性检验回归系数的显著性检验 回归方程显著，并不意味着每个解释变量对因回归方程显著，并不意味着每个解释变量对因变量变量Y Y的影响都重要的影响都重要, ,因此需要进行检验：因此需要进行检验：回归系数检验的必要性回归系数检验的必要性回归方程显著回归方程显著每个回归系数每个回归系数都显著都显著2021/6/4403.3 回归系数的显著性检验回归系数的显著性检验 回归系数检验的步骤回归系数检验的步骤第一步，提出假设：第一步，提出假设：原假设：原假设：H H0 0： b bi i=0 (i=1=0 (i=1，2 2，k)k)备择假设：备择假设：H H1 1：b bi i0 (i=10 (i=1，2 2，k)k)2021/6/4413.3 回归系数的显著性检验回归系数的显著性检验 回归系数检验的步骤回归系数检验的步骤第二步，构造并计算统计量第二步，构造并计算统计量 ：2021/6/4423.3 回归系数的显著性检验回归系数的显著性检验 回归系数检验的步骤回归系数检验的步骤第三步，查表得第三步，查表得 ：2021/6/4433.3 回归系数的显著性检验回归系数的显著性检验 回归系数检验的步骤回归系数检验的步骤第四步，做检验：第四步，做检验：接受接受H H0 0 检验检验法则法则拒绝拒绝H0H0 2021/6/4443.3 回归系数的显著性检验回归系数的显著性检验 关于模型的异方差、自相关、多重共线性问题关于模型的异方差、自相关、多重共线性问题的检验，请参考计量经济学有关教材。的检验，请参考计量经济学有关教材。 2021/6/4453.4 多元线性回归模型的预测多元线性回归模型的预测2021/6/446 四四 逐步回归分析逐步回归分析多元线性回归建立的回归方程包含了所有的自变量，多元线性回归建立的回归方程包含了所有的自变量，但在实际问题中，可能有这样的情况：参加回归方但在实际问题中，可能有这样的情况：参加回归方程的程的P个自变量中，有些自变量单独看对因变量个自变量中，有些自变量单独看对因变量Y有有作用（相关程度密切），但作用（相关程度密切），但P个自变量又可能是相个自变量又可能是相互影响的，在作回归时，它们对因变量所起的作用互影响的，在作回归时，它们对因变量所起的作用有可能被其他自变量代替，而使得这些自变量在回有可能被其他自变量代替，而使得这些自变量在回归方程中变得无足轻重。这时把这些自变量留在回归方程中变得无足轻重。这时把这些自变量留在回归方程中，不但增加计算上的麻烦，而且不能保证归方程中，不但增加计算上的麻烦，而且不能保证有好的回归效果。为了克服这些缺点，提出了多元有好的回归效果。为了克服这些缺点，提出了多元逐步回。逐步回。2021/6/447 多元逐步回归要求回归方程多元逐步回归要求回归方程中包含所有对因变量作用显著的自中包含所有对因变量作用显著的自变量，而不包含作用不显著的自变变量，而不包含作用不显著的自变量，从而建立最优回归方程。量，从而建立最优回归方程。2021/6/4482021/6/4491、强行进入法（、强行进入法（Enter）: 预先选定的自变量全部进入回归模预先选定的自变量全部进入回归模型，这是系统默认方式。型，这是系统默认方式。2、消去法（、消去法（Remove）: 根据设定的条件剔除部分自变量。根据设定的条件剔除部分自变量。逐步筛选变量的方法：逐步筛选变量的方法：2021/6/4503、向前引入法（、向前引入法（Forward）:自变量由少到多一个一个引入回归方程，自变量由少到多一个一个引入回归方程，将与因变量的相关系数最大的第一个自将与因变量的相关系数最大的第一个自变量选入方程并进行检验，如果变量选入方程并进行检验，如果F值值Fa ，拒绝，拒绝H0 ；将其余的变量中与因变量的；将其余的变量中与因变量的相关系数最大的第二个自变量选入方程，相关系数最大的第二个自变量选入方程，当当F值值Fa ，拒绝，拒绝H0 ；如此下去，不断；如此下去，不断引入新的自变量，直到不能拒绝引入新的自变量，直到不能拒绝H0，再，再没有变量被引入为止。没有变量被引入为止。2021/6/4514、向后剔除法（、向后剔除法（Backward）: 自变量由多到少一个一个从回归自变量由多到少一个一个从回归方程中剔除，首先，对方程中剔除，首先，对预先选定自变预先选定自变量全部进行回归，然后把对因变量影量全部进行回归，然后把对因变量影响不显著的自变量从方程中剔除并进响不显著的自变量从方程中剔除并进行检验，如果行检验，如果F值值Fa ，接受，接受H0 ，一，一个一个剔除对因变量不显著的自变量，个一个剔除对因变量不显著的自变量，直到再不能剔除为止。直到再不能剔除为止。2021/6/4525、逐步引入、逐步引入剔除法剔除法（Stepwise）: 向前引入法与向后剔除法的结合。向前引入法与向后剔除法的结合。2021/6/453操作（一）操作（一）122021/6/454SPSS软件包逐步回归操作（二）软件包逐步回归操作（二）点击逐步回归点击逐步回归2021/6/455操作（三）操作（三）结果变量结果变量Y多个自变量多个自变量点击逐步回归点击逐步回归2021/6/456操作（四）操作（四）回归系数估计回归系数估计回归系数可信区间回归系数可信区间模型拟合模型拟合2021/6/457操作（五）操作（五）正态概率图正态概率图直方图直方图2021/6/458操作（六）操作（六）2021/6/459（一）（一） SPSS软件包逐步回归筛选自变量软件包逐步回归筛选自变量2021/6/460（二）（二） SPSS软件包逐步回归相关系数及检验软件包逐步回归相关系数及检验2021/6/461（三）（三） SPSS软件包逐步回归残差分软件包逐步回归残差分析析2021/6/462（四）（四） SPSS软件包逐步回归回归系数及检验软件包逐步回归回归系数及检验2021/6/463（五）（五） SPSS软件包逐步回归残差直方图软件包逐步回归残差直方图2021/6/464（六）（六） SPSS软件包逐步回归未进入方程的变量及检验软件包逐步回归未进入方程的变量及检验2021/6/465（七）（七） SPSS软件包逐步回归残差正态概率软件包逐步回归残差正态概率P-P图图2021/6/466逐步回归的主要用途：逐步回归的主要用途：1、建立一个自变量个数较少的、建立一个自变量个数较少的多元线性回归方程，可用于描述多元线性回归方程，可用于描述某些自变量与某一医学现象间的某些自变量与某一医学现象间的数量关系，以及进行疾病的预测数量关系，以及进行疾病的预测预报，辅助诊断等。预报，辅助诊断等。2021/6/4672、进行因素筛选，有助于从大量、进行因素筛选，有助于从大量因素中筛选出对某一医学现象作因素中筛选出对某一医学现象作用显著的因素和因素组，因此在用显著的因素和因素组，因此在病因分析和疗效分析中有着广泛病因分析和疗效分析中有着广泛的应用。的应用。2021/6/468部分资料从网络收集整理而来，供大家参考，感谢您的关注！