一元回归分析一元回归分析 上海上海*通信技术有限公司通信技术有限公司 MrMr Jim(Jim(seniordbasina.comseniordbasina.com) ) 2012-12 2012-12培训大纲培训大纲一、一、基础知识基础知识二、一元线性回归模型二、一元线性回归模型三、拟合优度检验三、拟合优度检验四、四、F F检验检验/t/t检验检验/ /相关系数检验相关系数检验五、预测和控制五、预测和控制六、六、SASSAS示例示例回归分析的相关背景1、回归分析的由来：英国统计学家高尔顿F.GALTON(1822-1911)和其学生皮尔逊K.Pearson(1856-1936)观察了1078对夫妇，以每对夫妇的平均身高为X，而取他们成年的儿子的身高为Y，得到如下经验方程：Y=33.73+0.516X2、自1969年设立诺贝尔经济学奖以来，已有42名学者获奖，而其中有2/3的人是统计学家、计量经济学家、数学家。由获奖者克莱因发起的国际连接系统使用了7447个方程和3368个外生变量。英国剑桥大学的多部门动态模型有2759个方程和7484个变量。回归分析的相关背景3、回归分析的几个发展方向：1）、统计学的重要方法与回归的关系密切时间序列分析（BOX-JINKINS）、判别分析、主成分分析、因子分析、典型相关分析2）、回归分析自身的完善和发展自变量选择、稳健回归、回归诊断、投影寻踪、非参数回归3）、新的研究方法为回归分析提供了方法论非参数统计、自助法、刀切法、经验贝叶斯估计4）、各种有偏估计出现：岭估计、压缩估计、主成分估计、STEN估计、特征根估计、偏最小二乘估计。术语术语OLSE:ordinaryleastsquareestimation普通最小二乘估计MLE:maximumlikelihoodestimation极大似然估计培训大纲培训大纲一、基础知识一、基础知识二、二、一元线性回归模型一元线性回归模型三、拟合优度检验三、拟合优度检验四、四、F F检验检验/t/t检验检验/ /相关系数检验相关系数检验五、预测和控制五、预测和控制六、六、SASSAS示例示例估计估计 估计的基本含义：使用已经收集的数据集，计算变量如何相关，接着使用相关系数以及X的信息来估计Y。回归分析：回归分析： 通过数学模型，研究一现象（变量）对其他现象（变量）依赖关系的具体形态的方法论 注意： 回归分析研究一个变量对另一个（些）变量的统计依赖关系，但它们并不意味着一定有因果关系。回归分析回归分析回归分析回归分析回归分析的变量回归分析的变量l因变量因变量l自变量自变量因变量必须是间距测度等级以上的变量（连续变量）自变量可以是间距测度等级以上的变量（连续变量）、也可以是名义测度等级的变量（分类变量）。注意：注意：回归分析对变量的处理方法存在不对称性，即区分应变量回归分析对变量的处理方法存在不对称性，即区分应变量（被解释变量）和自变量（解释变量）。（被解释变量）和自变量（解释变量）。一元线性回归模型一元线性回归模型回归模型建立的步骤回归模型建立的步骤l一般先做散点图，以便进行简单地观测l若散点图的趋势大概呈线性关系，可以建立线性方程，若不呈线性分布，可建立其它方程模型（曲线估计）！只有对有因果关系的变量，才更多地只有对有因果关系的变量，才更多地 做回归分析做回归分析一元线性回归分析模型1、一元线性回归模型的数学形式：1）、理论模型：2）、样本回归模型对于n组观测值有：3）、模型的矩阵表达：一元线性回归模型一元线性回归模型一元线性回归模型一元线性回归模型 只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示 式中：a和b为待定参数；为各组观测数据的下标；为随机变量。一元线性回归模型参数的估计一元线性回归模型参数的估计 最小二乘法最小二乘法的基本思想：的基本思想： 让所寻找的样本回归函数（线）上的点尽可能地接近实际观测点，即样本回归线上的点与实际观测点的离差平方和最小。回归分析的参数估计（OLSE）OrdinaryLeastSquareEstimation：对于已知n组观测值有：回归分析的参数估计（OLSE）回归分析的参数估计（OLSE）由此得回归方程：关于系数的几种表达方式OLSE的性质1、线性：2、无偏性3、参数的方差：4、协方差上面的公式表明，参数的准确性除受总体的差异外，还受X值的范围影响，X取值范围越大，参数就越稳定一元线性回归模型一元线性回归模型一元线性回归模型的检验一元线性回归模型的检验 线性回归模型的检验分二大类：统计检验计量经济检验从统计学的角度检验所估计的样本回归函数的有效性从基本假设是否成立这一角度检验最小二乘估计法的适用性及其改进拟合优度检验显著性检验检验对各回归系数的检验对整个回归方程的检验回归方程的检验在得到回归方程后，必须运用统计检验方法分析该方程是否真正描述了Y与X之间的统计规律之后，才能进行分析预测等各种运用，检验的基本假设前提是：培训大纲培训大纲一、基础知识一、基础知识二、一元线性回归模型二、一元线性回归模型三、三、拟合优度检验拟合优度检验四、四、F F检验检验/t/t检验检验/ /相关系数检验相关系数检验五、预测和控制五、预测和控制六、六、SASSAS示例示例一元线性回归模型一元线性回归模型1. 1. 拟合优度检验拟合优度检验是通过对是通过对YtYt的样本点距其样本均值的离差平方和的分解来进行的。的样本点距其样本均值的离差平方和的分解来进行的。对对全部样本点全部样本点来说，可以证明：来说，可以证明：总离差平方和SST回归平方和SSR残差平方和SSE来自样本回归线来自残差回归线上的点与样本均值离差的平方和实际观测点与回归线上的点的离差的平方和一元线性回归模型一元线性回归模型决定系数(coefficient of determination)取值范围：0，1，越接近1，说明实际观测点离样本线越近，拟合优度越高。 r2高并不表示模型选择正确。可决系数定义为：可决系数定义为：很显然，可决系数越大，方程的拟合度就越高。很显然，可决系数越大，方程的拟合度就越高。Adjusted R Square 为校正为校正 ,未校正时未校正时, 是拟合度的不理是拟合度的不理想指标想指标,Adj R-Sq可以克服这一缺点。当模型中包括适当的变量集可以克服这一缺点。当模型中包括适当的变量集时，时，Adj R-sq趋向稳定于某一数值。对抽样数据更适用，而不适趋向稳定于某一数值。对抽样数据更适用，而不适合总体数据。合总体数据。可决系数的特性：1、具有非负性2、取值范围为：0,13、可决系数是样本观测值的函数决定系数的含义回归方程的拟合优度检验1、检验公式：2、基本意义：表现回归方程总平方和中能够为回归平方和解释部分的比重，该值越大则拟合优度越好。但是，当观测样本量很大时，高度显著的检验结果也不能肯定自变量与因变量之间的关系就是线性的，产生这种结果的原因有：X与Y存在的关系不是线性关系而是非线性的。X与Y的线性相关关系确立，但是误差项方差太大，导致样本决定系数很小。培训大纲培训大纲一、基础知识一、基础知识二、一元线性回归模型二、一元线性回归模型三、拟合优度检验三、拟合优度检验四、四、F F检验检验/t/t检验检验/ /相关系数检验相关系数检验五、预测和控制五、预测和控制六、六、SASSAS示例示例一元线性回归模型一元线性回归模型统计量统计量F F整个回归方程的显著性检验整个回归方程的显著性检验其中，k表示模型中回归系数的个数，或称为解释变量的个数（包括常数项），n为样本容量。F检验1、回归方程平方和分解；见分解图由上图有：SST-SumofsquaresforTotalSSE-SumofsquaresforerrorSSR-SumofsquaresforRegressionYXF检验2、回归方程显著性检验1）、设置假设：2）、构造统计量：3）、检验标准：F检验方差来源自由度平方和均方F值P值回归1SSRSSR/1对比P与残差n-2SSESSE/n-2总和n-1SST培训大纲培训大纲一、基础知识一、基础知识二、一元线性回归模型二、一元线性回归模型三、拟合优度检验三、拟合优度检验四、四、F F检验检验五、五、t t检验检验六、六、SASSAS示例示例一元线性回归模型一元线性回归模型统计量统计量t t样本回归系数的显著性检验样本回归系数的显著性检验如果某个自变量如果对 作用不显著, 则它的系数 就应取值为0, 因此检验每个自变量 是否显著, 就要检验假设: T检验T检验主要用于检验回归系数有效性的统计检验方法1、设置假设：2、构造检验统计量：3、检验过程：在给定显著性水平，双侧检验临界值为，当，拒绝原假设，反之，接受原假设，即回归方程不成立。T检验4、P值检验法：P值又称P-Value,基本的检验关系是：P（）=P值其中t为检验统计量，服从t（n-2）的分布判别的标准是：用P值代替t值的优越性1、直接对比P值与的水平，不用查表2、用P值检验可比性较好。3、P值的意义明确，就是犯拒真错误的概率。相关系数相关系数 相关系数相关系数 是反映两个变量之间存在某是反映两个变量之间存在某种依存关系的数值性指标。种依存关系的数值性指标。相关系数的特点相关系数的特点l相关系数的值域范围是（-1，1）l相关系数的绝对值反映相关的强度l相关总是反映每个案例至少有两个数据点（或变量）的状况l相关系数反映两个变量共同变化的程度。相关系数的检验-查找临界值表计算计算 对给定的检验水平对给定的检验水平 ，查相，查相关系数的临界值表关系数的临界值表 如果如果 ，则拒绝，则拒绝 ，即线性回归方程有效；即线性回归方程有效；否则，接受否则，接受 ，即线性回归方程无，即线性回归方程无效。效。 0.3-0.5 低度相关低度相关0.6-0.8 显著相关显著相关0.8-1 高度相关高度相关相关系数的显著性检验1、相关系数的含义：2、相关系数的特征：相关系数仅能表现两个变量之间的线性关系，而不能反映非线性关系。就是说，即使r=0,也不能说两个变量无关。相关系数接近1的程度与观测数据的容量密切相关，当数据较少时，无法通过相关系数的大小判别两个变量的相关程度。相关系数的显著性检验3、相关关系的判断-相关系数检验表当大于检验表中的5%的值但小于1%值时，显示x与y有显著的线性相关关系。当大于检验表中1%的值，则显示两个变量之间有十分显著的线性相关关系。当小于检验表中5%的值，则显示两个变量没有明显的线性关系。4、相关系数的符号：根据公式：三种检验的关系可以证明，就一元回归方程而言，回归系数检验、相关系数检验和F检验是完全等价的。基本关系是：相关系数的几个数量关系1、相关系数与可决系数的关系：在一元线性回归方程中，有：2、相关系数与回归系数的关系：培训大纲培训大纲一、基础知识一、基础知识二、一元线性回归模型二、一元线性回归模型三、拟合优度检验三、拟合优度检验四、四、F F检验检验/t/t检验检验/ /相关系数检验相关系数检验五、五、预测和控制预测和控制六、六、SASSAS示例示例回归方程误差的估计总体回归方程的误差与样本误差的关系为：回归均方误差与标准误差回归系数的区间估计在实际运用中，经常考虑回归系数的区间估计，由公式：1、区间估计的统计量：2、概率度公式：3、区间估计回归的性质回归方程预测与控制1、单值预测：2、区间预测：1）、因变量新值的区间估计：2）、因变量新值的平均值的区间估计培训大纲培训大纲一、基础知识一、基础知识二、一元线性回归模型二、一元线性回归模型三、拟合优度检验三、拟合优度检验四、四、F F检验检验五、五、t t检验检验六、六、SASSAS示例示例一元线性回归模型一元线性回归模型 例 一个10户居民的可支配收入 (百元)与消费支出(百元)的统计资料按升序排列入下表（相关表）： 消费支出 15 20 30 40 42 53 60 65 70 78 可支配收入 18 25 45 60 62 75 88 92 99 98一元线性回归模型一元线性回归模型 在上述收入-消费例中，经济理论认为居民消费支出是可支配收入的函数，即可支配收入(X)的变化是消费支出(Y)变化的原因，因此，可得如下回归模型： Y = -0.208 + 0.718 XY = -0.208 + 0.718 X从回归模型可知：居民每增加1元的可支配收入，将增加0.718元用于消费支出。 因此，如果估计其中一位居民可支配收入提高到100元，则可预测其消费支出将上升到71.556元。一元线性回归模型一元线性回归模型拟合优度为： r2=1-100.58/413.1=0.9757显著性检验：在显著性水平=5%，自由度=10-2=8下， t 统计量的临界值=2.306判断：可支配收入前的参数2是显著不为零的，说明可支配收入可以作为消费支出的一个重要的解释变量。F=320.81F=320.81在5%显著性水平下，自由度为（1，8）的临界值为5.32。因此，可支配收入与消费支出的线性关系是显著的。一元线性回归模型一元线性回归模型SAS代码示例代码示例:datareg1;inputyx;cards;1518202530454060426253756088659270997898;procmeansncvmaxminrangesummeanstdcss;proccorrdata=reg1;procregdata=reg1;modely=x;run;一元线性回归模型一元线性回归模型SAS代码示例代码示例:datareg1;inputyx;cards;1518202530454060426253756088659270997898;procmeansncvmaxminrangesummeanstdcss;proccorrdata=reg1;procregdata=reg1;modely=x;run;AnscombedataAnscombedatadatareg2;inputx1y1x2y2x3y3;cards;44.2643.186.5855.6854.7485.7667.2466.1387.7174.8277.2688.8486.9588.1488.4798.8198.7787.04108.04109.1485.25118.33119.2685.561210.84129.1387.91137.58138.7486.89149.96148.11912.5;procplotvpercent=40hpercent=30;ploty1*x1/vref=0;ploty2*x2/vref=0;ploty3*x3/vref=0;run;散点图示例:Anscombedatadatareg2;inputx1y1x2y2x3y3;cards;44.2643.186.5855.6854.7485.7667.2466.1387.7174.8277.2688.8486.9588.1488.4798.8198.7787.04108.04109.1485.25118.33119.2685.561210.84129.1387.91137.58138.7486.89149.96148.11912.5;proccorrdata=reg2;procregdata=reg2;modely1=x1;procregdata=reg2;modely2=x2;procregdata=reg2;modely3=x3;run;推荐书籍：