第十四章第十四章 多元线性回归分析多元线性回归分析 Multivariate linear regression 人的体重体重与身高、胸围身高、胸围血压值血压值与年龄、性别、劳动强度、饮食习惯、吸烟年龄、性别、劳动强度、饮食习惯、吸烟状况、家族史状况、家族史糖尿病人的血糖血糖与胰岛素、糖化血红蛋白、血清总胰岛素、糖化血红蛋白、血清总胆固醇、甘油三脂胆固醇、甘油三脂射频治疗仪定向治疗脑肿瘤过程中，脑皮质的毁损毁损半径半径与辐射的温度、辐射的温度、 照射的时间照射的时间一个变量的变化直接与另一组变量的变化有关：一个变量的变化直接与另一组变量的变化有关：如：Multivariate linear regression概念：概念：多多元元线线性性回回归归分分析析也称复复线线性性回回归归分分析析（multiple linear regression analysis）,它研究一组自变量如何直接影响一个因变量。自变量（independent variable）是指独立自由变量的变量，用向量X表示；因变量（dependent variable)是指非独立的、受其它变量影响的变量，用向量Y表示；由于模型仅涉及一个因变量，所以多元线性回归分析也称单变量线性回归分析（univariate linear regression analysis）多元回归分析数据格式多元回归分析数据格式假定因变量假定因变量Y与与自变量自变量 间存在如下关系：间存在如下关系：式中， 是常数项， 称为偏回归系数（partial regression coefficient）。 的含义为在其它自变量保持不变的条件下，自变量 改变一个单位时因变量Y 的平均改变量。 为随机误差，又称残差（residual），它表示 的变化中不能由自变量 解释的部分。一、多元线性回归方程模型一、多元线性回归方程模型x1x2y应用条件：应用条件：注意：注意：虽然模型要求因变量是连续数值变量，但对自变量的类型不限。若自变量是分类变量，特别是无序分类变量，要转化为亚变量才能分析。对于自变量是分类变量的情形，需要用广义线性回归模型分析。广义线性回归模型分析。二、多元线性回归分析的步骤二、多元线性回归分析的步骤（一）估计各项参数，建立多元线性回归方程模型（二）对整个模型进行假设检验，模型有意义的前提下，再分别对各偏回归系数进行假设检验。（三）计算相应指标，对模型的拟合效果进行评价。（一）模型的参数估计（一）模型的参数估计27名糖尿病患者的血清总胆固醇（x1）、甘油三酯（x2）、空腹胰岛素（x3）、糖化血红蛋白（x4）、空腹血糖（y）的测量值列于表中，试建立血糖与其它几项指标关系的多元线性回归方程。 例例14.114.1各变量的离差矩阵各变量的离差矩阵线性回归方程模型为：线性回归方程模型为：1、对模型的假设检验F检验检验2、对偏回归系数的假设检验F检验检验和和t 检验检验3、标准偏化回归系数（二）对模型及偏回归系数的假设检验（二）对模型及偏回归系数的假设检验1、对模型的假设检验F检验检验SS回归=b1l1y+ b2l2y + b3l3y + b4l4y =0.142467.6962+0.351589.8025+0.2706142.4347+0.638284.5570 =133.7107；回归=m=4 各变量的离差矩阵各变量的离差矩阵SS总=lyy=222.5519；总=n-1=26SS剩余= SS总- SS回归=222.5519-133.7107=88.8412剩余=n-m-1=22 MS回归= SS回归/回归； MS剩余= SS剩余/剩余；F= MS回归/ MS剩余1、对模型的假设检验F检验检验1、对模型的假设检验F检验检验2、对偏回归系数的假设检验F检验检验和和t 检验检验回归方程成立只能认为总的来说自变量与因变量间存在线性关系，但是否每一个自变量都与因变量间存在线性关系，须对其偏回归系数进行假设检验。 方差分析法 t 检验法 偏回归系数的假设检验-方差分析法方差分析法 偏回归系数的假设检验-方差分析法方差分析法 Parameter Standard Standardized Variable DF Estimate Error t Value Pr |t| Estimate 变量 自由度 偏回归系数 标准误 t值 P值 标准化回归系数 Intercept 22 5.94327 2.82859 2.10 0.0473 0X1 22 0.14245 0.36565 0.39 0.7006 0.07758X2 22 0.35147 0.20420 1.72 0.0993 0.30931 X3 22 -0.27059 0.12139 -2.23 0.0363 -0.33948 X4 22 0.63820 0.24326 2.62 0.0155 0.39774偏回归系数的假设检验 t 检验检验指定指定REG过程进行多元线性回归分析，拟合过程进行多元线性回归分析，拟合y与四个自变量间的多元线性回归方程与四个自变量间的多元线性回归方程整个方程有整个方程有统计学意义统计学意义各自变量的参数估计各自变量的参数估计对偏回归系数对偏回归系数的假设检验的假设检验注注意意 变量回归系数bj标准化偏回归系数bjX10.14245 0.07758X20.35147 0.30931X3-0.27059-0.33948X40.6382 0.397743、标准化偏回归系数偏回归系数偏回归系数偏回归系偏回归系数标准误数标准误标准偏回归系数标准偏回归系数（三）计算相应指标，对模型的拟合效果进行评价n评价回归方程回归效果的优劣是回归分析的重要内容之一。常用评价指标有：常用评价指标有：n复相关系数、n决定系数、n校正决定系数、n剩余标准差等。 1.复相关系数 复相关系数（R），衡量因变量Y与回归方程内所有自变量线性组合件相关关系的密切程度。 0=R=1,没有负值。 R的值越接近1，说明相关关系越密切；越接近0说明相关关系越弱。2.决定系数3、剩余标准差4、校正决定系数三、逐步回归分析三、逐步回归分析（一）最优子集回归法求出所有自变量可能组合子集的回归方程的模型（共有2m1个），按一定准则选择最优模型，常用的准则有：校正决定系数（考虑了自变量的个数）Cp准则（C即criterion，p为所选模型中变量的个数；CpCp接近接近p+1p+1的模型为最优的模型为最优）AIC(Akaikes Information Criterion)准则；AIC AIC 越小越好越小越好最优子集法的局限性 如果自变量个数为4，则所有的回归有24115个；当自变量数个数为10时，所有可能的回归为 2101 1023个；.；当自变量数个数为50时，所有可能的回归为25011015个。（二）逐步选择法（二）逐步选择法 1. 前进法（forward selection）2. 后退法（backward elimination）3. 逐步回归法（stepwise regression）。它们的共同特点是每一步只引入或剔除一个自变量。决定其取舍则基于对偏回归平方和的F检验（1）前进法）前进法 自变量从无到有、从少到多自变量从无到有、从少到多 1.Y对每一个自变量作直线回归，对回归平方和最大的自变量作F 检验，有意义（P小）则引入。2.在此基础上，计算其它自变量的偏回归平方和，选取偏回归平方和最大者作F 检验，。3. 局限性：后续变量的引入可能会使先进入方程的自变量变得不重要。（2）后退法）后退法 先将全部自变量放入方程，然后逐步剔除先将全部自变量放入方程，然后逐步剔除 1.偏回归平方和最小的变量，作F检验及相应的P值，决定它是否剔除（P大） 。2.建立新的回归方程。重复上述过程。3. 局限性：自变量高度相关时，可能得不出正确的结果；开始时剔除的变量即使后来变得有显著性也不能再进入方程 。（3 3）逐步回归法）逐步回归法 双向筛选：双向筛选：引入引入有意义的变量（前进法），有意义的变量（前进法），剔除剔除无意义变无意义变量（后退法）量（后退法） 小样本检验水准 a 一般定为0.10或0.15，大样本把a值定为0.05。 a值越小表示选取自变量的标准越严。 用逐步回归法筛选自变量用逐步回归法筛选自变量进入方进入方程的自程的自变量变量剔出方剔出方程的自程的自变量变量每一步每一步时模型时模型的决定的决定系数系数R2C(p)统计量统计量标准化偏回归系数标准化偏回归系数y=0.35409x2-0.36013x3+0.41334x4第三节第三节 多元线性回归的应用及其注意事项多元线性回归的应用及其注意事项 二、二、 多元线性回归应用时的注意事项多元线性回归应用时的注意事项 n1样本含量 n2方程“最优”问题 n3关于逐步回归 n4多元共线性 n5. 异常值识别与强影响分析 n多元共线性是指在进行多元回归分析时，自变量间存在较强的线性相关关系。共线关系的存在，可使得估计系数方差加大，系数估计不稳，结果分析困难。因此在多元回归分析时，特别是当回归结果难以用专业知识解释时，要进行共线性诊断，找出存在共线性且不重要的那些自变量，剔出方程，另行回归分析。n对于存在共线性的资料，可以利用共线性诊断有选择的保留自变量以消除共线性；或者采用岭回归岭回归、主成分回归主成分回归等回归分析方法以避免共线性指标对结果的影响。4 4多元共线性多元共线性 多元共线性的表现多元共线性的表现在实际应用中主要表现为：在实际应用中主要表现为：（1）模型拟合效果很好，但偏回归系数几乎都无统计学意义；（2）偏回归系数估计值的方差很大；（3）偏回归系数估计值不稳定，随着样本含量的增减各偏回归系数发生较大变化或当一个自变量被引入或剔除时其余变量偏回归系数有很大变化；（4）偏回归系数估计值的大小与符号可能与事先期望的不一致或与经验相悖，结果难以解释 出现以上表现，提示存在多元共线性问题，应进行多元共线性诊断。方差膨胀因子VIF特征根特征根条件指数条件指数方差分量方差分量如果某一自变量只是和截距项存在共线性的话，可以认为不存在共线性。如果某一自变量只是和截距项存在共线性的话，可以认为不存在共线性。残差残差学生化残差学生化残差cooks距离距离