将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。2.3 残差分析残差分析 前前面面讨讨论论的的是是线线性性回回归归模模型型的的参参数数估估计计和和有有关关的的统统计计推推断断，这这些些讨讨论论都都是是在在对对模模型型作作了了一一定定的的假假设设进进行行的的，其其中中最最重重要要的的是是回回归归关关系系的的线线性性假假设设，误误差差项项的的独独立立同同正正态态分分布布假假设设。当当给给定定了了一一批批数数据据后后，如如何何考考察察这这些些数数据据满满足足假假设设是是回回归归分析的一个重要环节。分析的一个重要环节。 这这些些假假设设涉涉及及到到误误差差项项，而而误误差差是是不不可可测测的的，我们能够使用的是其估计量残差。我们能够使用的是其估计量残差。将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。2.3.1 2.3.1 误差项的正态性检验误差项的正态性检验一、学生化残差一、学生化残差 从从误误差差的的估估计计值值（残残差差）出出发发分分析析关关于于误误差差项项假假定定的的合合理理性性以以及及线线性性回回归归关关系系的的假假定定的的可可行行性性称称为残差分析。为残差分析。假设误差向量假设误差向量则残差向量则残差向量将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。其中其中H H是是n n阶对称幂等矩阵阶对称幂等矩阵故故其中其中 是是H H主主对对角角线线的的第第i i个个元元素素，称称为为杠杆量。杠杆量。将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。 由由于于残残差差的的方方差差和和杠杠杆杆量量有有关关，故故一一般般情情况况下下，残残差差的的方方差差不不相相等等，这这不不利利于于残残差差的的应应用用，因因此此我们将残差标准化。我们将残差标准化。 称称为为学学生生化化残残差差，当当n n较较大大时时，可可认认为为其其服服从从标标准准正正态态分分布布。这这是是检检验验误误差差项项独独立立同同正正态态分分布布的的基础。基础。将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。二、残差正态性的频率检验二、残差正态性的频率检验 残残差差正正态态性性的的频频率率检检验验是是一一种种很很直直观观的的检检验验方方法法，其其基基本本思思想想是是学学生生化化残残差差落落入入一一些些范范围围的的频频率率与与标标准准正正态态分分布布在在相相应应范范围围内内的的概概率率做做比比较较，若若二二者者相相差差较较大大，则则认认为为残残差差（从从而而模模型型误误差差）不不服服从从正态分布。正态分布。 在在实实际际应应用用中中，一一般般取取几几个个具具有有代代表表性性的的区区间间进进行行比比较较。例例如如（-1-1，1 1）（1.51.5，1.51.5）（2 2，2 2）将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。 服服从从标标准准正正态态分分布布的的随随机机变变量量取取值值在在（-1-1，1 1）内内的的概概率率为为0.680.68；在在(-1.5,1.5)(-1.5,1.5)内内的的概概率率为为0.870.87；在在（-2-2，2 2）内内为为0.950.95，因因此此若若模模型型误误差差项项独独立立同同正正态态分分布布，则则当当n n较较大大时时，学学生生化化残残差差中中应应大大约约有有68%68%的的点点落落在在在在（-1-1，1 1）内内；大大约约有有87%87%在在(-(-1.5,1.5)1.5,1.5)内，大约内，大约95%95%在（在（-2-2，2 2）内。）内。 若若在在某某个个区区间间内内差差异异较较大大，则则有有理理由由怀怀疑疑误误差差独立同正态分布的假设的合理性。独立同正态分布的假设的合理性。将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。三、残差的正态三、残差的正态qqqq图检验图检验 （1 1）学生化残差正态）学生化残差正态qqqq图做法图做法 则则所所得得的的散散点点图图即即为为学学生生化化残残差差的的正正态态qqqq图图，利利用用正正态态qqqq图图可可以以直直观观检检验验误误差差正正态态性性假假设设的的合合理理性性将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。（2 2）相关系数检验。）相关系数检验。 除除了了上上述述直直观观检检验验外外，我我们们还还可可以以构构造造两两者者的的相相关关系系数数来来度度量量二二者者之之间间线线性性关关系系的的强强弱弱。其其相相关关系数估计为系数估计为将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。 通通过过考考察察不不同同类类型型残残差差图图可可以以对对误误差差项项分分布布的的正正态态性性，等等方方差差性性以以及及回回归归关关系系的的线线性性性性等等假假定定的的合合理理性性作作出出直直观观检检测测，还还可可以以对对回回归归方方程程是是否否有有必必要引进自变量的高次项、交叉项等提供参考。要引进自变量的高次项、交叉项等提供参考。2.3.2 2.3.2 残差图的分析残差图的分析 残残差差图图是是以以残残差差为为纵纵坐坐标标，以以其其他他有有关关量量为为横横坐标的散点图。坐标的散点图。将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。 （1 1）以因变量）以因变量Y Y的拟合值为横坐标的散点图。的拟合值为横坐标的散点图。 若若线线性性回回归归关关系系正正确确且且误误差差服服从从正正态态分分布布，则则因因变变量量的的拟拟合合值值与与残残差差向向量量相相互互独独立立。这这时时残残差差图图中中的的点点应应大大致致在在一一个个水水平平的的带带状状区区域域内内，没没有有任任何何明显地趋势，如下图：明显地趋势，如下图：将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。 （2 2）以自变量观测值为横坐标的散点图。）以自变量观测值为横坐标的散点图。 （3 3）以观测时间或观测值序号横坐标的散点图。）以观测时间或观测值序号横坐标的散点图。 还还可可以以用用以以下下坐坐标标做做残残差差图图，两两种种残残差差图图原原理理与上一个相同与上一个相同将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。 通过残差分析可以发现所给数据的某些特点和模型通过残差分析可以发现所给数据的某些特点和模型假定的一些不足之处，接下来的问题就是要采取相应的假定的一些不足之处，接下来的问题就是要采取相应的措施改进其不足，以建立更好的回归模型。措施改进其不足，以建立更好的回归模型。 一个常用的改进措施就是一个常用的改进措施就是Box-CoxBox-Cox变换，它通过变换，它通过对因变量对因变量Y Y做适当变换，使原数据尽可能满足线性回归做适当变换，使原数据尽可能满足线性回归模型的条件。模型的条件。2.3.2 Box-Cox2.3.2 Box-Cox变换变换将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。Box-CoxBox-Cox变换对因变量变换对因变量Y Y做如下变换：做如下变换： 也就是说，我们通过因变量的变换，使得变换后也就是说，我们通过因变量的变换，使得变换后因变量与自变量有线性相关关系，且满足误差项的因变量与自变量有线性相关关系，且满足误差项的假设。假设。将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。 回归方程的选取包括回归方程类型的选取和回归回归方程的选取包括回归方程类型的选取和回归方程类型确定后自变量的选取。我们主要讨论自变量方程类型确定后自变量的选取。我们主要讨论自变量的选取的选取 人们在建立线性回归模型时，会考虑用全部可能人们在建立线性回归模型时，会考虑用全部可能的自变量建立回归方程，这样做的问题有的自变量建立回归方程，这样做的问题有 ：2.4 回归方程的选取回归方程的选取将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。 （1 1）会将一些对因变量影响很小甚至根本无影响）会将一些对因变量影响很小甚至根本无影响的自变量也包含在回归方程中，从而使计算量增加，的自变量也包含在回归方程中，从而使计算量增加，并会导致回归参数估计和因变量预测值的精度下降。并会导致回归参数估计和因变量预测值的精度下降。（2 2）自变量太多不利于应用回归方程对实际问题）自变量太多不利于应用回归方程对实际问题做出合理的解释，也会造成数据收集和模型应用做出合理的解释，也会造成数据收集和模型应用代价的不必要的增大代价的不必要的增大。 因此在实际应用中，从与因变量有线形关系的因此在实际应用中，从与因变量有线形关系的自变量集合中，选取一个最优的子集，以建立一个自变量集合中，选取一个最优的子集，以建立一个合理而又简单的回归方程十分重要。合理而又简单的回归方程十分重要。将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。 一，穷举法一，穷举法 穷举法就是从与因变量有线性关系的所有可能穷举法就是从与因变量有线性关系的所有可能自变量的所有子集所拟合的回归方程中，按照一定自变量的所有子集所拟合的回归方程中，按照一定的准则选取最优的一个或几个。的准则选取最优的一个或几个。下面是下面是sassas提供选择的几个穷举法的选取准则提供选择的几个穷举法的选取准则将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。(1) (1) 复相关系数准则复相关系数准则P P是回归系数的个数是回归系数的个数(2) (2) 修正的复相关系数准则修正的复相关系数准则将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。(3) Cp(3) Cp准则准则二，逐步回归法二，逐步回归法 穷举法从理论上讲是选择回归方程最好的方法，穷举法从理论上讲是选择回归方程最好的方法，但是，穷举法所拟合的方程个数随自变量数目的增加但是，穷举法所拟合的方程个数随自变量数目的增加而成倍增加。其计算量非常大。而成倍增加。其计算量非常大。将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。 逐步回归法的基本思想是依次拟合一系列回归方程，逐步回归法的基本思想是依次拟合一系列回归方程，后一个回归方程是在前一个的基础上增加或删除一个后一个回归方程是在前一个的基础上增加或删除一个自变量，其增加和删除的原则是用残差平方和的相对自变量，其增加和删除的原则是用残差平方和的相对减少或增加量来衡量。减少或增加量来衡量。 偏偏F F统计量：统计量： 若某个自变量对因变量影响显著若某个自变量对因变量影响显著, ,则其偏则其偏F F统计量统计量不应太小不应太小. .将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。SasSas常用的检验准则常用的检验准则: :(1)(1)前向选择法前向选择法 从仅含常数项的回归模型开始从仅含常数项的回归模型开始, ,逐个加入自变量逐个加入自变量其准则是将反应各自变量加入时其准则是将反应各自变量加入时, ,描述残差平方和描述残差平方和减少量的偏减少量的偏F F统计量的统计量的p p值与给定的控制水平相比较值与给定的控制水平相比较. . 若所有不在模型中的自变量所对应的统计量若所有不在模型中的自变量所对应的统计量p p值值均大于给定控制水平均大于给定控制水平( (影响均不显著影响均不显著).).则选择结束则选择结束. .否则将具有最大偏否则将具有最大偏F F值的自变量引入模型值的自变量引入模型. .然后重复然后重复上述过程上述过程将贮存的编码信息转化为成适当的行为。观察者为了重现示范动作和产生最佳的行为模式，必须具备一定的运动技能，这一方面需要机体的成熟，另一方面需要不断实践。(2)(2)后向选择法后向选择法 首先拟合一个包含所有自变量的线性回归模型首先拟合一个包含所有自变量的线性回归模型, ,然后根据偏然后根据偏F F统计量的统计量的p p值与给定的控制水平相比较值与给定的控制水平相比较. .将所有对因变量影响不显著的自变量逐个删除将所有对因变量影响不显著的自变量逐个删除, ,直到直到模型中的所有自变量在给定控制水平下均显著为止模型中的所有自变量在给定控制水平下均显著为止. .(3)(3)逐步回归法逐步回归法 将前向选择和后向选择结合使用将前向选择和后向选择结合使用. .它有两个它有两个控制水平控制水平, ,一个控制自变量的引入一个控制自变量的引入, ,一个控制现有一个控制现有模型中自变量的删除模型中自变量的删除. .