上一页下一页返回退出上一页总目录第八章第八章 方差分析与回归分析方差分析与回归分析 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录第八章目录第八章目录8.2 线性回归分析数学模型线性回归分析数学模型 8.1 方差分析方差分析 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录8.1 方差分析方差分析 为方便起见，本章常称在试验中变化的变为方便起见，本章常称在试验中变化的变量为因子，用量为因子，用A、B、C、，表示，因子在，表示，因子在试验中所处的不同状态称为水平，记为试验中所处的不同状态称为水平，记为 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录一、单因素方差分析一、单因素方差分析 例例1例例8.1 为寻求适应本地区的高产油菜品种，今选择五为寻求适应本地区的高产油菜品种，今选择五个不同品种进行实验，每一品种在四块试验田上试种，个不同品种进行实验，每一品种在四块试验田上试种，得到在每一田块上的数据如下：得到在每一田块上的数据如下： 品种品种田块田块A1A2A3A4A51256224250288206222230027728021232802902303152204298275322259212 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录1.分析分析 我们研究的问题是诸不同品种的平均亩产量是否我们研究的问题是诸不同品种的平均亩产量是否有显著差异。有显著差异。 可以认为诸品种的亩产量服从正态分布可以认为诸品种的亩产量服从正态分布 检验假设为：检验假设为： 一般的，假设在某实验中，因子一般的，假设在某实验中，因子A有有r个不同个不同的水平的水平 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录且 相互独立 现在在水平下做了t次试验获得t个结果 并可以看作取自 的一个容量为t的子样，i=1,2,，r，故有其中 i=1,2,，r，j=1，2，t， 水平下的实验结果服从在 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录令称称为一般平均，为一般平均， 称为因子称为因子A 的第的第 i 个水平的效应，则个水平的效应，则 检验假设可以写成：检验假设可以写成： 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录2.作偏差平方和作偏差平方和称为总的偏差平方和，其中称为总的偏差平方和，其中 为总的平均，令为总的平均，令 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录3.平方和的分解平方和的分解称为总偏差（离差）平方和，称为总偏差（离差）平方和， 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录称为因子称为因子A的偏差平方和的偏差平方和 称为误差的偏差平方和，称为误差的偏差平方和， 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录v所以所以 是是 的无偏估计的无偏估计v当假设当假设H0为真时，为真时， 是是 的无偏估计，的无偏估计，v此时此时v不应该太大，如果太大，可以认为假设不应该太大，如果太大，可以认为假设H0不真。不真。v下面确定下面确定F的分布的分布 。不难看出在假设。不难看出在假设H0为真时为真时v如果我们能证明如果我们能证明 ,且且 与与 相相互独立，便可得到互独立，便可得到FF(r-1,n-r) 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录设设 为为n个相互独立的个相互独立的N(0,1)变量，变量， 为为 变量，若变量，若其中其中 为某些正态变量的平方和，这些变量分别为某些正态变量的平方和，这些变量分别是是 的线性组合，其自由度为的线性组合，其自由度为 ，则则 诸相互独立，且诸诸相互独立，且诸 变量的充要条件是变量的充要条件是定理定理8.1（科赫伦定理）（科赫伦定理） 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录v根据定理根据定理8.1（科赫伦定理）有（科赫伦定理）有v4.作方差分析表作方差分析表: v在实际计算中常进行如下化简：在实际计算中常进行如下化简： 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录v方差分析表方差分析表: v对于给定的显著水平对于给定的显著水平，算出相应的分位点，算出相应的分位点v当当 时拒绝原假设时拒绝原假设v否则接受原假设否则接受原假设n-1总和总和n-r误差误差er-1因子因子AF比比均方和均方和自由度自由度平方和平方和来源来源 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录例例1 考察温度对某化工产品的影响，得数据如下：考察温度对某化工产品的影响，得数据如下： 温度6065707580得率 %909196848492939383868892938882求得求得 试在显著水平试在显著水平=0.01下，下，画出方差分析表，并检验温度对得率有无显著影响画出方差分析表，并检验温度对得率有无显著影响？ 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录解：方差分析表为解：方差分析表为说明温度对得率有显著影响说明温度对得率有显著影响 14298.4总和总和3.81038误差误差e17.131665.14260.4因子因子AF比比均方和均方和自由度自由度平方和平方和来源来源 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录例例2 2 为寻求高产品种，今选取了五种不同的品种进行为寻求高产品种，今选取了五种不同的品种进行试验，每一品种在四块试验田上试种，求得试验，每一品种在四块试验田上试种，求得 ，试在显著水平，试在显著水平=0.05=0.05下，试画出方差分下，试画出方差分析表，并检验不同品种有无显著差异？析表，并检验不同品种有无显著差异？ 解：方差分析表为解：方差分析表为所以认为不同品种有显著差异。所以认为不同品种有显著差异。 0.95(4,15)=3.06FF2089.91总和总和2.2911534.37误差误差e6.0613.885455.54因子因子AF比比均方和均方和自由度自由度平方和平方和来源来源 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录v设在试验中有两个因子在变动因子设在试验中有两个因子在变动因子A取取r个不同水个不同水平，平， ，因子，因子B取取s个不同水平个不同水平在在 水平组合下的试验结果独立的服从水平组合下的试验结果独立的服从 分布。分布。同单因子方差分析一样，把参数改变一下，并令：同单因子方差分析一样，把参数改变一下，并令：二、二因子方差分析二、二因子方差分析 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录同单因子方差分析一样，把参数改变一下，并令：同单因子方差分析一样，把参数改变一下，并令：二因子方差分析（续二因子方差分析（续1） 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录称称为一般平均，为一般平均， 为因子为因子A的第的第i个水平的效应，个水平的效应， 为因子为因子B的第的第j个因子的效应，显然有个因子的效应，显然有1.若若 此时称为无交互作用的方差此时称为无交互作用的方差分析模型，此时我们只需对分析模型，此时我们只需对 的每个组合各做的每个组合各做一次试验，记结果为一次试验，记结果为 则有则有二因子方差分析（续二因子方差分析（续2） 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录这就是无交互作用的方差分析模型，对这个模型所这就是无交互作用的方差分析模型，对这个模型所要检验的假设有两个：要检验的假设有两个：若检查结果拒绝若检查结果拒绝 ，则认为因子，则认为因子A（B）的不）的不同水平对结果有显著影响，若二者均不拒绝，那就同水平对结果有显著影响，若二者均不拒绝，那就说明因子说明因子A与与B的不同水平组合对结果无显著影响。的不同水平组合对结果无显著影响。二因子方差分析（续二因子方差分析（续3） 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录类似于单因子方差分析，我们做总的偏差平方和，类似于单因子方差分析，我们做总的偏差平方和，并对其进行分解得并对其进行分解得在在 为真时，一切的为真时，一切的 且相互独且相互独立，故立，故无交互作用的方差分析无交互作用的方差分析 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录故在故在 为真时，有为真时，有即在即在 为真时有为真时有在在 为真时有为真时有无交互作用的方差分析（续）无交互作用的方差分析（续） 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录rs-1总和总和r-1s-1(r-1)(s-1)因子因子A因子因子B误差误差eF比比均方和均方和自由度自由度平方和平方和来源来源方差分析表方差分析表:v对于给定的显著水平对于给定的显著水平，查出分位点，查出分位点v当当 时，拒绝时，拒绝v当当 时，拒绝时，拒绝 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录2.若若 ，则我们做则我们做称其为因子称其为因子A的第的第 i 个水平与因子个水平与因子B的第的第 j 个水平的个水平的交互效应，它们满足关系式交互效应，它们满足关系式为了研究交互作用是否对结果有显著影响，那么在为了研究交互作用是否对结果有显著影响，那么在 下至少要做下至少要做t（t2）次试验，记其结果为）次试验，记其结果为有交互作用的二因子方差分析有交互作用的二因子方差分析 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录则则这就是有交互作用的方差分析的模型，对此模型的这就是有交互作用的方差分析的模型，对此模型的检验假设为检验假设为有交互作用的二因子方差分析（续有交互作用的二因子方差分析（续1） 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录做偏差平方和并进行分解做偏差平方和并进行分解有交互作用的二因子方差分析（续有交互作用的二因子方差分析（续2） 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录类似的。我们有类似的。我们有在在 为真时为真时在在 为真时为真时在在 为真时为真时有交互作用的二因子方差分析（续有交互作用的二因子方差分析（续3） 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录有交互作用的方差分析（续有交互作用的方差分析（续4）方差分析表）方差分析表来源来源平方和平方和自由度自由度均方和均方和F比比ABABe总和总和 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录对于给定的显著水平对于给定的显著水平，检验假设，检验假设当当时，拒绝时，拒绝当当时，拒绝时，拒绝当当时，拒绝时，拒绝有交互作用的二因子方差分析（续有交互作用的二因子方差分析（续5） 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录在某化工生产中，为了提高收率，选择了三种浓度，在某化工生产中，为了提高收率，选择了三种浓度，四种不同温度做试验，在同一浓度和温度组合下个四种不同温度做试验，在同一浓度和温度组合下个做两次试验，其收率数据如下面计算表所列（表中做两次试验，其收率数据如下面计算表所列（表中数据均已减去数据均已减去75），试在），试在=0.05显著水平下检验不显著水平下检验不同浓度、不同温度以及它们间的交互作用对收率有同浓度、不同温度以及它们间的交互作用对收率有无显著影响。无显著影响。例例8.3（4-1） 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录（4-2）数值计算表）数值计算表 BA14，10（24）11，11（22）13，9（22）10，12（22）9081009，7（16）10，8（18）7，11（18）6，10（16）6846245，11（16）13，14（27）12，13（25）14，10（24）928464566765623136448942253844 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录（4-3）方差分析表）方差分析表总和总和eABBAF比比均方和均方和自由度自由度平方和平方和来源来源 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录例例8.3（4-4）v根据方差分析表，由于根据方差分析表，由于v只有因子只有因子A是显著的，即浓度不同对收率产生较是显著的，即浓度不同对收率产生较大的影响，而温度和交互作用的影响不显著，这大的影响，而温度和交互作用的影响不显著，这说明，提高收率必须把浓度控制好。说明，提高收率必须把浓度控制好。 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录v当变量之间存在着一种关系，它不能用确定关系当变量之间存在着一种关系，它不能用确定关系式表达出来，这些变量（随机变量）之间的关系称式表达出来，这些变量（随机变量）之间的关系称为相关关系。为相关关系。v回归分析就是寻找这类不确定的变量之间的数学回归分析就是寻找这类不确定的变量之间的数学关系式并进行统计推断的一种方法。关系式并进行统计推断的一种方法。v线性回归就是这种关系中的最简单的一种。线性回归就是这种关系中的最简单的一种。 8.2 线性回归分析线性回归分析 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录一元线性回归分析数学模型的建立一元线性回归分析数学模型的建立v例例8.4v在维尼纶的生产过程中经常使用甲醛浓度在维尼纶的生产过程中经常使用甲醛浓度x来控制缩醛化来控制缩醛化度度y，试验结果如下：，试验结果如下： 甲醛浓度x（克/升）18202224262830缩醛化度y（克分子%）26.86 28.35 28.75 28.87 29.75 30.00 30.36 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录一元线性回归分析数学模型的建立（续一元线性回归分析数学模型的建立（续1）v试验结果试验结果y可由两部分构成可由两部分构成（1）线性部分：）线性部分： （）随机因素：（）随机因素：即：即： 或或 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录一元线性回归分析数学模型的建立（续一元线性回归分析数学模型的建立（续2）v为了获得参数为了获得参数 的估计，做若干次试验的结果的估计，做若干次试验的结果v由假设得由假设得 v这就是一元线性回归模型这就是一元线性回归模型 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录p元线性回归分析数学模型的建立元线性回归分析数学模型的建立v对于有对于有p个影响个影响y值的因素而言，可根据经验作出它们之值的因素而言，可根据经验作出它们之间的关系式，其中，线性关系式是最为简单的，即间的关系式，其中，线性关系式是最为简单的，即v假设假设v对于一组观测值对于一组观测值v由假设知应有数据结构由假设知应有数据结构 v这就是这就是p-元线性回归模型元线性回归模型 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录p元线性回归分析需要解决的问题元线性回归分析需要解决的问题v1、根据样本估计参数、根据样本估计参数 ，从而建立回归，从而建立回归方程方程v2、对得到的数量关系式的可信度进行检验、对得到的数量关系式的可信度进行检验v3、检验各变量对指标是否有显著影响、检验各变量对指标是否有显著影响 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录一、参数估计问题一、参数估计问题v设参数设参数 的估计分别是的估计分别是 可得可得到到p-元线性回归方程：元线性回归方程：v带入观测值带入观测值 得回归值：得回归值：v我们希望由估计我们希望由估计 所确定的回归方程能使一所确定的回归方程能使一切的切的 与与 之间的偏差达到最小，即之间的偏差达到最小，即 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录参数估计问题（参数估计问题（2）v令令v求其极值即可，首先求其一阶偏导数得求其极值即可，首先求其一阶偏导数得 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录参数估计问题（参数估计问题（3）v整理得正规方程整理得正规方程v其解为其解为 的最小二乘估计的最小二乘估计.v正规方程可用矩阵简洁的表示出来正规方程可用矩阵简洁的表示出来 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录参数估计问题（参数估计问题（4）v正规方程可用矩阵简洁的表示出来正规方程可用矩阵简洁的表示出来v令令v则正规方程可表示为则正规方程可表示为v所以有所以有 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录参数估计问题（参数估计问题（5）v参数参数 的估计的估计v几个名词：几个名词：v残差残差 ：v残差向量残差向量 ：v剩余平方和：剩余平方和： 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录参数估计问题（参数估计问题（6）v定理定理8.2v由此可知由此可知 的无偏估计为：的无偏估计为：例8.5 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录参数的最小二乘估计的性质参数的最小二乘估计的性质v定理定理8.3 是是 的线性无偏估计，其方差协方差矩阵的线性无偏估计，其方差协方差矩阵为为v定理定理8.4v定理定理8.5 当当 时，时， 与与 相互相互独立，且独立，且v其中其中q为矩阵为矩阵X的秩的秩 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录二、假设检验二、假设检验v在在p元线性回归模型（元线性回归模型（8.26）中，除了参数估计外还有以）中，除了参数估计外还有以下显著性检验问题下显著性检验问题v（1）变量）变量y与与 之间是否确有线性关系？即之间是否确有线性关系？即要检验假设要检验假设 （8.52）v（2）假如变量）假如变量y与与 之间确有线性关系，但之间确有线性关系，但是否每个变量之间都起着显著作用？即检验假设是否每个变量之间都起着显著作用？即检验假设v （8.53） 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录假设检验（续假设检验（续1）v对于假设对于假设 （8.52）v我们作总的偏差平方和我们作总的偏差平方和v其中其中v为剩余平方和，它反映了除去为剩余平方和，它反映了除去y与与 之间的线之间的线性关系以外一切因素引起的数据性关系以外一切因素引起的数据 间的波动。间的波动。v为回归平方和，它主要反映了由变量为回归平方和，它主要反映了由变量 的变的变化引起的化引起的 的波动的波动 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录假设检验（续假设检验（续2）v在假设（在假设（8.52）为真时，我们有）为真时，我们有v在给定的最显著水平在给定的最显著水平下，当下，当时，拒绝时，拒绝 ，否则接受，否则接受 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录假设检验（续假设检验（续3）v在假设在假设 （8.53）为真时，我们有）为真时，我们有v其中其中 为为 中第中第j+1个对角元素，当个对角元素，当时，拒绝时，拒绝 ，否则接受，否则接受 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录本章结束 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录例例8.5v例例8.5 求一元线性回归求一元线性回归v中参数中参数 的最小二乘估计，以及的最小二乘估计，以及 的无偏估计，的无偏估计，其中其中 不全相同。不全相同。v解：写出正规方程的矩阵形式：令解：写出正规方程的矩阵形式：令 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录例例8.5（续（续1）v解正规方程解正规方程 得得v令令v则则 的最小二乘估计为的最小二乘估计为 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录例例8.5（续（续2）v其中其中v 的无偏估计为的无偏估计为 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录例题例题8.4（2-1）v为为研研究究某某一一化化学学反反应应过过程程中中温温度度x（）对对产产品品得得率率y（%）的影响，测的数据如下：）的影响，测的数据如下：v 算得算得v 试写出回归直线方程及的无偏估计。试写出回归直线方程及的无偏估计。 温度温度x（）18202224262830得率得率y（%）26.8628.3528.7528.8729.7530.0030.36 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录例题例题8.4（2-2）v解：解：v回归方程为：回归方程为：v 的无偏估计为：的无偏估计为： 返回例8.5 方差分析和回归分析方差分析和回归分析上一页下一页返回退出上一页总目录交叉项的推导交叉项的推导返回平方和分解 方差分析和回归分析方差分析和回归分析