第十章 多元回归和相关n第一节 多元回归n第二节 多元相关和偏相关本章主要内容有：n 确定各个自变数对依变数的各自效应和综合效应，即建立由各个自变数描述和预测依变数反应量的多元回归方程；n对上述综合效应和各自效应的显著性进行测验，并在大量自变数中选择仅对依变数有显著效应的自变数，建立最优多元回归方程；n评定各个自变数对依变数的相对重要性，以便研究者抓住关键，能动地调控依变数的响应量。 第一节 多元回归n一、多元回归方程n二、多元回归的假设测验n三、最优多元线性回归方程的统计选择n四、自变数的相对重要性一、多元回归方程n多元回归或复回归(multiple regression)：依变数依两个或两个以上自变数的回归。n (一) 多元回归的线性模型和多元回归方程式n若依变数Y 同时受到m 个自变数X1、X2、Xm 的影响，且这m 个自变数皆与Y 成线性关系，则这m+1个变数的关系就形成m 元线性回归。 n一个m元线性回归总体的线性模型为：其中， N( 0， )。n一个m元线性回归的样本观察值组成为：(101)(102)n一个m元线性回归方程可给定为：b0是x1、x2、xm 都为0时y 的点估计值；b1是by123m 的简写，它是在x2，x3，xm 皆保持一定时，x1 每增加一个单位对y的效应，称为x2，x3，xm 不变(取常量)时x1 对y 的偏回归系数(partial regression coefficient) 。 (103)(二) 多元回归统计数的计算n(102) 用矩阵表示为： n即 Y=Xb+e (104)n其中(三) 多元回归方程的估计标准误n Qy/12m 称为多元离回归平方和或多元回归剩余平方和，它反映了回归估计值和实测值y之间的差异。最小 n自由度： = n-(m+1) (105)sy/12m（106）二、多元回归的假设测验n(一) 多元回归关系的假设测验n测验 m 个自变数的综合对 Y 的效应是否显著。若令回归方程中b1、b2、bm 的总体回归系数为 、 、 、 ，则这一测验所对应的假设为H0： 0 对HA： 不全为0。 n由于多元回归下 SSy 可分解为 Uy/12m 和 Qy/12m 两部分，Uy/12m由 x1、x2、xm的不同所引起，具有 = m；Qy/12m与 x1、x2、xm的不同无关，具有 =n-(m+1)，由之构成的F 值：(108）(二) 偏回归关系的假设测验 n偏回归系数的假设测验，就是测验各个偏回归系数bi(i=1，2,，m)来自 =0的总体的概率，所作的假设为H0： =0对HA： 0，测验方法有两种。n1t 测验 服从 的 t 分布，可测验 bi 的显著性。 (109)=sy/12m(1010)(1011)n 2. F 测验 (1012)n 就是y对xi的偏回归平方和， 。(1013) 三、最优多元线性回归方程的统计选择n剔除不显著自变数的过程称为自变数的统计选择，所得的仅包含显著自变数的多元回归方程，叫做最优的多元线性回归方程。n逐步回归(stepwise regression)：为了获得最优方程，回归计算就要一步一步做下去，直至所有不显著的自变数皆被剔除为止。n自变数统计选择的具体步骤为：n第一步：m个自变数的回归分析，一直进行到偏回归的假设测验。 n第二步：m-1个自变数的回归分析，也是一直进行到 偏回归的假设测验。n第三步：m-2个自变数的回归分析，又一直进行到偏回归的假设测验。 n如此重复进行，直至留下的所有自变数的偏回归都显著，即得最优多元线性回归方程。四、自变数的相对重要性n偏回归系数bi本身并不能反映自变数的相对重要性，其原因有二：nbi是带有具体单位的，单位不同则无从比较；n即使单位相同，若Xi的变异度不同，也不能比较。n通径系数(path coefficient，记作pi)：即对bi进行标准化，在分子和分母分别除以Y 和Xi的标准差，从而消除单位和变异度不同的影响，获得一个表示Xi 对Y 相对重要性的统计数。n通径系数 pi 统计意义是：若 Xi 增加一个标准差单位，Y 将增加(pi0)或减少(pi0)pi 个标准差单位。(1014)第二节 多元相关和偏相关n一、多元相关n二、偏相关n三、偏相关和简单相关的关系一、 多元相关n多元相关或复相关(multiple correlation)：在M=m+1个变数中，m个变数的综合和1个变数的相关。n偏相关(partial correlation)：在其余M-2个变数皆固定时，指定的两个变数间的相关。 n(一) 多元相关系数n在m个自变数和1个依变数的多元相关中，多元相关系数记作 Ry12m ，读作依变数y和m个自变数的多元相关系数。 n Ry12m= （1015） n多元相关系数为多元回归平方和与总变异平方和之比的平方根。nRy12m的存在区间为0，1。n (二) 多元相关系数的假设测验n令总体的多元相关系数为 ，则对多元相关系数的假设测验为H0： 对HA： ，n F 测验 ：n其中的 =m， =n-(m+1)，R2为 的简写。 （1016）二、偏相关n(一) 偏相关系数n偏相关系数：表示在其它M-2个变数都保持一定时，指定的两个变数间相关的密切程度。n偏相关系数以r 带右下标表示。如有X1、X2、X3 3个变数，则r123表示X3变数保持一定时，X1和X2变数的偏相关系数； n若有M 个变数，则偏相关系数共有M(M-1)/2个。n偏相关系数的取值范围是-1，1。n偏相关系数解法是：由简单相关系数rij(i，j=1，2，M )组成的相关矩阵： n求得其逆矩阵：n令xi 和xj 的偏相关系数为rij ，解得 后即有rij （1018）n矩阵以主对角线为轴而对称，即rij =rji。逆阵 R-1中 的元素也是以主对角线为轴而对称的 。n(二) 偏相关系数 的假设测验n可测验H0： = 0 对 HA： 0。该测验的 t 具有 。三、偏相关和简单相关的关系n当要排除其他变数干扰，研究两个变数间单独的关系时采用偏相关与偏回归；n当考虑到变数间实际存在的关系而要研究某一个变数为代表的综合效应间的相关与回归时则采用简单相关和简单回归。 第十一章 曲线回归第一节 曲线的类型与特点第二节 曲线方程的配置第三节 多项式回归n曲线回归(curvilinear regression)或非线性回归(non-linear regression)：两个变数间呈现曲线关系的回归。n曲线回归分析或非线性回归分析：以最小二乘法分析曲线关系资料在数量变化上的特征和规律的方法。 n曲线回归分析方法的主要内容有：n 确定两个变数间数量变化的某种特定的规则或规律；n 估计表示该种曲线关系特点的一些重要参数，如回归参数、极大值、极小值和渐近值等；n 为生产预测或试验控制进行内插，或在论据充足时作出理论上的外推。第一节 曲线的类型与特点n一、指数函数曲线n二、对数函数曲线n三、幂函数曲线n四、双曲函数曲线n五、S型曲线一、指数函数曲线n指数函数方程有两种形式：图11.1方程 的图象n二、对数函数曲线n对数函数方程的一般表达式为：图11.2 方程 =a+blnx 的图象n三、幂函数曲线n幂函数曲线指y是x某次幂的函数曲线，其方程为：图11.3 方程 的图象n四、双曲函数曲线n双曲函数因其属于变形双曲线而得名，其曲线方程一般有以下3种形式：图11.4 方程 的图象n五、S型曲线nS型曲线主要用于描述动、植物的自然生长过程，故又称生长曲线。nLogistic曲线方程为： 第二节 曲线方程的配置n一、曲线回归分析的一般程序n二、指数曲线方程 的配置n三、幂函数曲线方程的配置n四、Logistic曲线方程的配置一、曲线回归分析的一般程序n曲线方程配置(curve fitting)：是指对两个变数资料进行曲线回归分析，获得一个显著的曲线方程的过程。n由试验数据配置曲线回归方程，一般包括以下3个基本步骤： n1根据变数X 与Y 之间的确切关系，选择适当的曲线类型。n2对选定的曲线类型，在线性化后按最小二乘法原理配置直线回归方程，并作显著性测验。n3将直线回归方程转换成相应的曲线回归方程，并对有关统计参数作出推断。 表11.1 常用曲线回归方程的直线化方法n应用上述程序配置曲线方程时，应注意以下3点： n(1) 若同一资料有多种不同类型的曲线方程配置，需通过判断来选择。统计标准是离回归平方和 最小的当选。n(2) 若转换无法找出显著的直线化方程，可采用多项式逼近，n(3) 当一些方程无法进行直线化转换，可采用最小二乘法拟合。二、指数曲线方程 的配置n (111)n两边取对数：(112)n令 ，可得直线回归方程：(113) n若 与x的线性相关系数： (114) n显著，就可进一步计算回归统计数：(115)n三、幂函数曲线方程 的配置(116) n当 y 和 x 都大于0时可线性化为：(117)n若令 ， ，即有线性回归方程：(118) n 若线性相关系数：(119)n显著，回归统计数：n (1110) n四、Logistic曲线方程的配置n （a、b、k均0） (1111) nK 可由两种方法估计：n 如果y是累积频率，则显然k=100%；n 如果y是生长量或繁殖量，则可取3对观察值 （x1，y1）、（x2，y2）、和（x3，y3），代入(1111) 得：n若令 ，解得：移项，取自然对数得： (1113)(1112)n令 ，可得直线回归方程：(1114)n 和 x 的相关系数： (1115) n回归统计数 a 和 b 由下式估计：(1116)第三节 多项式回归n 一、多项式回归方程n 二、多项式回归的假设测验一、多项式回归方程n(一) 多项式回归方程式n多项式回归(polynomial regression)：当两个变数间的曲线关系很难确定时，可以使用多项式去逼近。n二次多项式，其方程为：(1117) n 三次多项式的方程式为： (1118) n多项式方程的一般形式为： (1119) n(二)多项式方程次数的初步确定n多项式回归方程取的次数：散点所表现的曲线趋势的峰数谷数。若散点波动较大或峰谷两侧不对称，可再高一次。n(三)多项式回归统计数的计