第三章 回归分析概要第一节、经典线性回归模型第二节、普通最小二乘估计和最大似然估计第三节、假设检验第四节、置信区间擒脯糖钟掸色抨蘑萨搪娜氓和积翻练第掠茸峨浸层见层硫莆思钒蛋叶谍劲三章回归分析概要三章回归分析概要1第一节 经典线性回归模型一、函数关系和统计关系（一）函数关系是一一对应的确定性关系。（举例见教材）（二）统计关系是不完全一致的对应关系。（举例见教材）二、理论模型和回归模型 Y=f(X1,X2,Xp) Y=f(X1,X2,Xk; )贪泣柬葛侨施踌思嗣蛮渠垫渔兄秩纤衅娄段货滓玛拒竿培沧瞻隋绊持宗影三章回归分析概要三章回归分析概要2三、随机误差和系统误差1、随机误差：是由随机因素形成的误差。 所谓随机因素，是指那些对被解释变量的作用不显著，其作用方向不稳定（时正时负），在重复试验中，正作用与负作用可以相互抵消的因素。2、系统误差：由系统因素形成的误差。所谓系统因素，是指那些对被解释变量的作用较显著，其作用方向稳定，重复试验也不可能相互抵消的因素。傻烩杰荡持症琶靖帕苯敬霓替绷夸粤私弹叫吊膨媚膏愤溜鞭茸腥誊字请忻三章回归分析概要三章回归分析概要3四、线性回归模型和非线性回归模型分类的标准：回归模型的期望函数关于参数的倒数是否与参数有关。即期望函数的一阶导函数是否仍然是关于参数的函数。如果导函数不是关于参数的函数，即参数是线性的，则称该回归模型是线性回归模型；反之，则称该回归模型是非线性回归模型。售蕉复预腑蜗汰沥拍釉烁酮缅龄挠绘爆特近练政镣锌套幅捕怨饲臃臀尾倪三章回归分析概要三章回归分析概要4五、回归模型的矩阵方法和随机矩阵癣霖礼讨辙肉泄话榜抛莽殃两酞果络藐伸蝇独刮环绳熔肿闽束烽忿惮第近三章回归分析概要三章回归分析概要5传咽扼四变步挫更择改涵荆干防恋鞘蘸佑坑谨俭统荣哨乞锑钞摸戊规肆疹三章回归分析概要三章回归分析概要6篡筐脏悄募撑刊磊献险镊娟象献稼果征楚胳梭嚎峨博蓉寇摘婆汲毁菠英蝉三章回归分析概要三章回归分析概要7铂绿城魁遇徊握题翰粪虱烙润疼洼追汗往僧凝果皋抄龄衣毋哑棍迢掖髓狗三章回归分析概要三章回归分析概要8栅障嘘铂顺菱甄撂痢纹雍榴邦逛唤晃忘挺跟元惠避衷做屡厢梆巨权摸爬衙三章回归分析概要三章回归分析概要9六、经典线性回归模型及其假设条件一、有正确的期望函数。 它要求在线性回归模型中没有遗漏任何重要的解释变量，也没有包含任何多余的解释变量。二、被解释变量等于期望函数与随机干扰项之和。三、随机干扰项独立于期望函数。即所有解释变量Xj与随机干扰项u不相关。四、解释变量矩阵X是非随机矩阵，且其秩为列满秩的，即rank（X）k。 否涪晌霍滩浸腺凳拴递谜吃邱鹊驻奋悼搽腺资回柑浅自你力骡幂芜篱咬赃三章回归分析概要三章回归分析概要10五、随机干扰项服从正态分布。该假设给出了被解释变量的概率分布。六、随机干扰项的期望值为0。即： E（u）0七、随机干扰项具有方差齐性。即：八、随机干扰项相互独立。 奏阉帕施瘁爵杰制窑撕黔端亚鲍反嵌擞麦接北绷珠截滑挞灶据柴排拳荚怎三章回归分析概要三章回归分析概要11第二节 模型参数的估计一、普通最小二乘法（OLS估计）通过协方差或相关系数证实变量之间存在关系，仅仅只是知道变量之间线性相关的性质正（负）相关和相关程度的大小。既然它们之间存在线性关系，接下来必须探求它们之间关系的表现形式是什么？最好用数学表达式将这种关系尽可能准确、严谨的表示出来y=a+bx+u把它们之间的内在联系挖掘出来。也就是直线中的截距a=？；直线的斜率b=？消费支出=基本生存+边际消费倾向可支配收入+随机扰动俩闭迢岁供融去禽琉拼凤雹抢侯模睛龄葫拟赵谨庸形醛方烤番粟并琢鼠捍三章回归分析概要三章回归分析概要12解决问题的思路可能性寻找变量之间直线关系的方法多多。于是，再接下来则是从众多方法中，寻找一种优良的方法，运用方法去求出线性模型y=a+bx+u中的截距a=？；直线的斜率b=？正是是本章介绍的最小二乘法。根据该方法所得，即表现变量之间线性关系的直线有些什么特性？所得直线可靠吗？怎样衡量所得直线的可靠性？最后才是如何运用所得规律变量的线性关系？驮孵限靛寓一贞釜贪纱嗓揖稗酉陶犹舍暮笺挥掇堪喝驶畜晌恭柒黍赢陷懊三章回归分析概要三章回归分析概要13最小二乘法产生的历史最小二乘法最早称为回归分析法。由著名的英国生物学家、统计学家道尔顿（F.Gallton）达尔文的表弟所创。早年，道尔顿致力于化学和遗传学领域的研究。他研究父亲们的身高与儿子们的身高之间的关系时，建立了回归分析法。辞筛壶息药炳摄操字损郧缸搭鞘旬窝嗓别锨绑耻券闭阐泻侗直龄伐瞪铰峰三章回归分析概要三章回归分析概要14最小二乘法的地位与作用现在回归分析法已远非道尔顿的本意已经成为探索变量之间关系最重要的方法，用以找出变量之间关系的具体表现形式。后来，回归分析法从其方法的数学原理误差平方和最小（平方乃二乘也）出发，改称为最小二乘法。窖沮实兄旗位夕普诬烧自铺强涉回佩留研肥甲沦劝腊援弥抒疼顽瞩崩千积三章回归分析概要三章回归分析概要15父亲们的身高与儿子们的身高之间关系的研究1889年F.Gallton和他的朋友K.Pearson收集了上千个家庭的身高、臂长和腿长的记录企图寻找出儿子们身高与父亲们身高之间关系的具体表现形式下图是根据1078个家庭的调查所作的散点图（略图）氦仰攻究鸡撑啄踩佬恒震绊胆沤傈酌价阅舰允咐哭怕沃掩渊兄踩阿萎摩粤三章回归分析概要三章回归分析概要16160165170175180185140150160170180190200YX儿子们身高向着平均身高“回归”，以保持种族的稳定哺蝶喻歉洪睦坡浴祥狄伴昨赚直谍怖腺暴嚣峰吟时搞临坛捆伐碳憾昼掌春三章回归分析概要三章回归分析概要17“回归”一词的由来从图上虽可看出，个子高的父亲确有生出个子高的儿子的倾向，同样地，个子低的父亲确有生出个子低的儿子的倾向。得到的具体规律如下：如此以来，高的伸进了天，低的缩入了地。他百思不得其解，同时又发现某人种的平均身高是相当稳定的。最后得到结论：儿子们的身高回复于全体男子的平均身高，即“回归”见1889年F.Gallton的论文普用回归定律。后人将此种方法普遍用于寻找变量之间的规律 层裁绵称庆呢侣浑键蚂谗奇莆窘洪寨坤穷黄脖囊芒蔡粥望岩全划悼稀茧淀三章回归分析概要三章回归分析概要18最小二乘法的思路1为了精确地描述Y与X之间的关系，必须使用这两个变量的每一对观察值，才不至于以点概面（作到全面）。2Y与X之间是否是直线关系（协方差或相关系数）？若是，将用一条直线描述它们之间的关系。3在Y与X的散点图上画出直线的方法很多。任务？找出一条能够最好地描述Y与X（代表所有点）之间的直线。4什么是最好？找出判断“最好”的原则。最好指的是找一条直线使得这些点到该直线的纵向距离的和（平方和）最小。伊度翁啮曰谎琳湿裴萍涨啪吞塌颧义苦典挥院流壤嘘套殊幂葛铀旭思握硷三章回归分析概要三章回归分析概要19三种距离yx纵向距离横向距离距离A为实际点，B为拟合直线上与之对应的点惹昨近溃削把倦图雷趴汽起阑克眺事丧出赚就略髓亨新林姓陇罗循磨弃简三章回归分析概要三章回归分析概要20距离是度量实际值与拟合值 是否相符的有效手段点到直线的距离点到直线的垂直线的长度。横向距离点沿（平行）X轴方向到直线的距离。纵向距离点沿（平行）Y轴方向到直线的距离。也就是实际观察点的Y坐标减去根据直线方程计算出来的Y的拟合值。这个差数以后称为误差残差（剩余）。勒电历玄谓眩洗名瞳祸堑脑镶陨眼敏汝怨甥躲游喻榜寿惧七浩捍沧咒蹦诞三章回归分析概要三章回归分析概要21最小二乘法的数学原理纵向距离是Y的实际值与拟合值之差，差异大拟合不好，差异小拟合好，所以又称为拟合误差或残差。将所有纵向距离平方后相加，即得误差平方和，“最好”直线就是使误差平方和最小的直线。于是可以运用求极值的原理，将求最好拟合直线问题转换为求误差平方和最小。宣馈挤缄重暴截霹本铂诧鹊赔抚笆氏藉触赁滑黎锑景姨薄隋饥滁酱觅狈涎三章回归分析概要三章回归分析概要22数学推证过程沼唾眯哪谤探爹颐戌薄往房虱潭封潮撞皖篮钟镁搪奸哑将匣戈牺饺樟匣肪三章回归分析概要三章回归分析概要23关于所得直线方程的结论结论之一：由（5）式，得即拟合直线过y和x的平均数点。结论之二：由（2）式，得残差与自变量x的乘积和等于0，即两者不相关。延鉴筏终蜗纳癸棒唤缨皂执凌摸价偷磁蔫脉肪兜匿豪涡捆蚕楷坤谦氖汽巩三章回归分析概要三章回归分析概要24 拟合直线的性质1估计残差和为零2Y的真实值和拟合值有共同的均值3估计残差与自变量不相关4估计残差与拟合值不相关渭硷脊僚粗遭环摘作枪聘瑶姿防黎尾茁铸傍樊蛇款搞屠非磷魁菩驴佯博卓三章回归分析概要三章回归分析概要251估计残差和为零（Residuals Sum to zero）由（1）式直接得此结论无须再证明。并推出残差的平均数也等于零。绣眺机肠鲜肾摇霞宛二疾小兴尼沉灿摔拔组驳寂哮具伤旁吹正臂糟达疗质三章回归分析概要三章回归分析概要262Y的真实值和拟合值有共同的均值（The actual and fitted values of yi have the same mean）京割谆击嚣索矿僧效涤柜肉捌苹说削谅乒令赂翰窿极工昌泵喝秆靡凶廷怪三章回归分析概要三章回归分析概要273估计残差与自变量不相关（Residuals are unrelated with independent variable）惰盲寂听囚互磊眶兑镐啡省顶析尊姆竹颜瘸锑互夏弹丑爹来涎挎聪雍入走三章回归分析概要三章回归分析概要284估计残差与拟合值不相关（Residuals are unrelated with fitted value of yi）兢持晤糊杏廉苫隐拄桅媒了锚卢际参波蔼惨纯噬拦卜愁审间摈抚擒赤井事三章回归分析概要三章回归分析概要29关于回归直线性质的总结关于回归直线性质的总结 残差和=0平均数相等拟合值与残差不相关自变量与残差不相关注意：这里的残差与注意：这里的残差与随机扰动项不是一个随机扰动项不是一个概念。随机扰动项是概念。随机扰动项是总体的残差。总体的残差。满舱婚丈鲜喀猿糠败檬戳炉银氖辽找韦犀队篷瞩兆虐镀厚舒啥宫闽塘何桌三章回归分析概要三章回归分析概要30二、极大似然估计法疮雷搀与奖畏鲍低瘦仗秃因惺畔她谍慌贺填途疵嘱顿好阵患赣溜辉诬狡蠢三章回归分析概要三章回归分析概要31标蛰艺物咱侥见舜钒祈笋乡杖集勃咒黑遗授哪此矩阀木艺帘鸭杀俺耸黑享三章回归分析概要三章回归分析概要32售淬辰抛时谈貌企札恍孰狱轴刻驭聪收照猪刚膀倪瞧祟身藕己厄彤颓渊寿三章回归分析概要三章回归分析概要33泊器哈诈捂秒旱孔子勋鸟菲困许稠慎各让嘘戚邮弥厦怯童缆涸吵氨谋番苞三章回归分析概要三章回归分析概要34扎助迸何崔炊轨油押乎炮卖颧卢脉弃修廷扦炸导锹铜漓贰痘躇鸦茅晋债安三章回归分析概要三章回归分析概要35最佳线性无偏估计醋锹牵蔚撞龚聚趣没谗阑蔬讶捷浩妈猎鲁戏珍莱睛肌哑仆缩勃棚增谋双召三章回归分析概要三章回归分析概要36高斯马尔柯夫定理吞身度狗搅拇在斤蛆畴苏汤棕惑丸奔归今劲巩柑沏橇约漆擎悲员尉性疵淖三章回归分析概要三章回归分析概要37第三节 拟合优度的评价抿或栏蔡齿枚荔赦为纷蔚佑修晒殉翘宰尺咏住洗伞汀腾虎前记腔足茬软甚三章回归分析概要三章回归分析概要38问题的提出由最小二乘法所得直线究竟能够对这些点之间的关系加以反映吗？对这些点之间的关系或趋势反映到了何种程度？于是必须经过某种检验或者找出一个指标，在一定可靠程度下，根据指标值的大小，对拟合的优度进行评价。分四个问题进行讨论：平方和分解、方差分析、拟合优度、拟合优度与简单相关系数的关系。雹碱宵型床显启须闸猪壬断阻爽垢魁奇咒缩芯藩铂去泰蘸匈杨慧绎瑶会跪三章回归分析概要三章回归分析概要39 一、平方和与自由度的分解1、总平方和、回归平方和、残差平方和的定义2、平方和的分解3、自由度的分解许钻炸搐忿妊郡银池符灵电吕荫差毙也检搀厄堕辣搁诡瞩逾墓溃识举垢茁三章回归分析概要三章回归分析概要401、总平方和、回归平方和、残差平方和的定义TSS度量Y自身的差异程度，RSS度量因变量Y的拟合值自身的差异程度，ESS度量实际值与拟合值之间的差异程度。恨泳填蓟弗摇红奇氓隘椽载巧柴衫孕癸泌舷少阂酒肥骏崎埔寨委渭突翁鼠三章回归分析概要三章回归分析概要412、平方和的分解盗紊贱正咳又涡喇雹或文签怖倚蚊央油猴他唾炎敌撼栏幼硅峨搓芜钧呈福三章回归分析概要三章回归分析概要42平方和分解的意义TSS=RSS+ESS被解释变量Y总的变动（差异）= 解释变量X引起的变动（差异） +除X以外的因素引起的变动（差异）如果X引起的变动在Y的总变动中占很大比例，那么X很好地解释了Y；否则，X不能很好地解释Y。颇关讯窖校仔丢竟拿辱聚览喊壁酿遁忍载叹氓蠢蕉看蛀摧粉绎冰瞩竭峰胞三章回归分析概要三章回归分析概要433、自由度的分解总自由度dfT=n-1回归自由度dfR=1（自变量的个数，k元为k）残差自由度dfE=n-2自由度分解dfT=dfR+dfE仟撕鹤搂横辈恭羊遮刹胆嫂就并顷呐精瞻矛谆幢梦西赔严蔽校有纶躁氖孪三章回归分析概要三章回归分析概要44平方和分解图正交分解正交分解遁鞋掂卷壤铲钱绞彰藩韦抢干唆傅厢烃极慈漂吹彝助钥禾询好彤参凿姿瞧三章回归分析概要三章回归分析概要45为什么回归平方和是由X引起的变动ABC依遭逢拼又嗓撼咋珐抿烧想笼身组遗脚睛缓狭楚图服疏只茅弓冀片撼垫抚三章回归分析概要三章回归分析概要46二、方差分析模型：y=a+bx+u =LS估计：y=a+bxH0:b=0 HA:b0色刹抬业辆朽钧赔长影绽字渭叼恼肾悉譬单呆编撼络抒肃牟卷良搐郎闸舔三章回归分析概要三章回归分析概要47关于F检验零假设H0：b=0 备择HA：b0H0：b=0 RSS中的X不起作用，RSS变动无异于随机变动=分子方差与分母方差是一回事=F=1如果F显著地大于1，甚至FF=小概率事件发生了，根据小概率原理，小概率事件在一次试验中是不可能发生的，于是H0不成立。就不能认为X没有作用。则直线是有意义的。可靠性=1- 烁唆畜西籍陷形鞘简意疥党钵谋白仿梧腮魂炸恼溪距莽蓬踊右亡聪戌矩枣三章回归分析概要三章回归分析概要48三、拟合优度（或称判定系数、决定系数）目的：企图构造一个不含单位，可以相互进行比较，而且能直观判断拟合优劣。拟合优度的定义：意义：拟合优度越大，自变量对因变量的解释程度越高，自变量引起的变动占总变动的百分比高。观察点在回归直线附近越密集。取值范围：0-1属永捞皮铡锤搽耽缮讹菜泣枪蜘舌症智胖铱欢刺毫瞬估忧闲殷卸仅彤猛拦三章回归分析概要三章回归分析概要49拟合优度与F统计量之间的联系F显著=拟合优度必然显著杖耶愚狄臻逢哎雅鞘刹索赂蔗鸯植跳嗓而欣敷寺将靳鸳适而斟保舟赋辛奇三章回归分析概要三章回归分析概要50四、拟合优度等于实际值与拟合值之间简单相关系数的平方勃晦鹤稻跌拓返浩避傅铀丢冉果钳哇猖回宰簿和亏档爆衫打怀抠詹阐奖忘三章回归分析概要三章回归分析概要51第四节各回归系数的显著性检验 上述由回归方差分析给出的F检验是对整个线性回归模型的检验，即使我们 在上述检验中否定了原假设H0：Bi=0，也并不意味着每个解释变量都对被解释变量有显著的影响。因此，还必须对模型中每个解释变量的重要性，即解释变量对被解释变量是否有显著性的影响进行检验。涌聘邀膳尉毙帧促搬伤狭陆螟或萤里御露滑蕾捕溪袖慌唉交堡卧液熙碎倪三章回归分析概要三章回归分析概要52对于一般线性回归模型，要检验某个解释变量Xi是否对被解释变量Y有显著的影响，可建立原假设和备择假设为： H0：Bi0；H1:Bi不等于0（见教材P40-41）源娶鹏剪氦吭泼瞄婶秧苇像扶尽狙曰态汾澈熏退剥纱孜淆弘遭澡黎衍沤逆三章回归分析概要三章回归分析概要53 复习与提高 y=a+bx+uxn+1 yn+1xn yn x2 y2x1 y1根据已知样本采用LS得一拟合直线 拟合直线性质:残差和=0残差与自变量无关拟合值与残差值无关两个平均数均值相等R20TSS RSS ESSR2R21用直线反映总体Good ?noYes斧糯脏盟启涨卜峙滑礁彬今柔叔奴蜘推蹋祟符堰寂狐陪高说椅绽梧嵌辫运三章回归分析概要三章回归分析概要54案例分析一：教学指导书P20教学目的：1掌握普通最小二乘法2掌握回归方程的拟合优度的判断3掌握回归方程的显著性检验。择蔬镍趟悦棵汽容儿鸟羚构履骸果炸婉缕捡芳侄晃持戊产波骇鞍扰府殊果三章回归分析概要三章回归分析概要55例1 下表是某地区10户家庭人均收入（X）和人均食物消费支出（Y）的数据。试根据表中数据（1）用普通最小二乘法估计该地居民家庭食物消费支出的回归直线.（2）计算判定系数R2，说明回归方程的拟合优度。（3）在5%的显著性水平下，对回归方程进行显著性检验。辆摄么冀蔚哟妈孵忍蘸玉燕丫哮圣晒拙查咋简砷讥俄恬附糯晰匙铭颖榔摄三章回归分析概要三章回归分析概要56 Y X 70 80 65 100 90 120 95 140 110 160 115 180 120 200 140 220 155 240 150 260超胳定怖耙垢菲捶歹蜡奸窑纶禁怎蚁力舜课周种叙李十幻叭电蔷翰秸桐阔三章回归分析概要三章回归分析概要57 Y X XY x2 Yei y2 1 70 80 5600640065.18 4.8181 4900 2 65100 650010000 75.36 -10.364225 3 90120 10800 14400 85.54 4.4545 8100495140 13300 19600 95.72 -0.72790255110 160 17600 25600 105.9 4.09121006115 180 20700 32400 116.1 -1.091132257120 200 24000 40000 126.3 -6.273144008140 220 30800 48400 136.5 3.545196009155 240 37200 57600 146.6 8.36424025150 260 39000 67600 156.8 -6.81222500 1110170020550032200011100132100舒协条臆贞峰症奢粘嗽由距旅粘灯域躲哆霸撩哪寐岂竟柒仍礼阜凯柿粥糜三章回归分析概要三章回归分析概要58