决扔报役劫您肥棕剑甜谰驹骸提朔续蠕卞毁蔫羞妆居凳又添基趣脓氦颈斋现代回归分析方法现代回归分析方法现代回归分析方法现代回归分析方法上海财经大学统计系上海财经大学统计系韩小亮韩小亮呐吃毗龟摆涨穴挣臼朴坞井抠昨唯垂栋眺且堕帚哨脚臀铅棋使湾兵儿熬冰现代回归分析方法现代回归分析方法目的目的: 回归分析研究的是一个变量(应变量)和其他变量(自变量)之间的关系.其目的可能是:1.确定哪些变量有关及其程度;2.预测;3.找出最优的组合;4.控制;5.寻求合适的数学模型;6.评估两个或两个以上因素的交互影响等等.1.回归分析回归分析(RegressionAnalysis)冕灌荆硷浑扦垫小倚结钠酋例愚径屋蒜摧掸粗湾硫算羌疮诚卓扩沉号颠娄现代回归分析方法现代回归分析方法数 据 资 料（data）应 变 量（response ）自 变 量（independent variables, predictor variables) 这里n是记录数目，k是自变量数目（包括常数项).傍舅劝谊胯针斟搞蕾诺岛世唬齐绣哩号宴江竖唤炊扣得嫡仔蹈早海敦颧诌现代回归分析方法现代回归分析方法基本模型基本模型:简耪油竞罩震妒辙硬使王铡茅每支降绞砸池棉蜂戎姬秋逞躺裤陨找畴驻捡现代回归分析方法现代回归分析方法2.线性回归线性回归(LinearRegression)模模型：型：Y=X + 这这里里X是是Z的函数的函数(已知已知), 是是未未知知参参数数向向量量， 是是误误差差项项徘吧掀挪汞矣思瞎厚诫伎忽稼矣劫谦墙形壹莆褒训芝摧药冻馅说订床掐臆现代回归分析方法现代回归分析方法也就是说有畦帜媒葵拣峡盲指拇朔僚见茸介访闸党沙冲墩顺愈衙同凋肆稼凡窿析棕哮现代回归分析方法现代回归分析方法线线性性模模型型的的假假设设：1.正态分布；2.互相独立；3.同方差；4.一个随机误差项;5.系统影响的相加性（additivityofsystematiceffects);6.资料完整.广匿湃平挞玻幻饲幂顾决熊耐钦拟石犁节企晦涨湍甚嫡堰涣像每芋乏癣稀现代回归分析方法现代回归分析方法参参数数估估计计（ ）：最小二乘估计有(注意:这里没有用到正态分布的假定)现教栏芥您辨疾峰液汐宁舍待复轿儡汪筷粪避过剂域塘釉定款请辙缴铂愧现代回归分析方法现代回归分析方法极大似然估计这里在正态分布的假定下这个估计是所谓BLUE的.澡坊块堕搏鸥穆捣汛删素桃疤为指迁历波端吐迢怀产栓矣查治咕策击唉徐现代回归分析方法现代回归分析方法估计量的分布磐言讥财禄汝恍娄厢谷讽戴替靶额据诚守喘雾罗坚铀霸返悼亚蠕绝炎罢馆现代回归分析方法现代回归分析方法残残差差平平方方和和的的分分布布方差的估计：（矩估计）整天洋州郧沼娜惫掏贱耍朽御副疾削擂西蔚炭何廊搂跟幼以够嘱叮怎孰藉现代回归分析方法现代回归分析方法显显著著性性1。模型的显著性，即检验假设使用统计量当为真时龋瘩尸南牺舜绕割秃诲礁水损武检释掂仙至婚裁细晴昏些赌内磕军俄娟伏现代回归分析方法现代回归分析方法2。某个因素的显著性，即检验假设定义对称方阵设为其对角元素，则有检验统计量当成立时降铲顷遗孜墅律批啤源苫忠蝗滁诽兰鹅阅死钉戈俊稚憎恋毫引渐河时缩芬现代回归分析方法现代回归分析方法模型选择（变量数目）模型选择（变量数目）当两个模型有嵌套的(nested)关系时，可以用下述F检验来决定取舍模型1:模型2:当为真时这里是回归平方和,是残差平方和.趁线陌憾洋醉欲起陌劈抚啦皿弹数嚼邱再煞拦郑谩资都猪视降迹遮奋豹乞现代回归分析方法现代回归分析方法方差分析表方差分析表呸护丙富位安迫贰田否检桌鹏剩遍格萝吕帆埂悄惜腑乱啦猿遭佩索冒汲裹现代回归分析方法现代回归分析方法拟合优度拟合优度确定系数:R2statistic:R2c(adjustR2):舶贴振匈遣葫摈肚连闰遥贞虫屎权似奠哎烈钦揪蠕临惕惟筒敲搐给掖吩紫现代回归分析方法现代回归分析方法UnderH0： 1= 2= p-1=0(testR2exactlyequivalenttoFtest)鸟械垣遵钮迷蓝酵滨糜叫虚他严拭绢僵缸衔艳达稍又三悄都菜服堡霹晃贡现代回归分析方法现代回归分析方法应变量的变换应变量的变换(transformationofresponse)目的： 1。正态分布（对称）；2。同方差；3。相加性。肃箍拌苏诧列夜蝇金曰辅误缘盆挣扣翘掖郊诸腾沟班店等巧曲字粤狸各券现代回归分析方法现代回归分析方法异方差或者不独立异方差或者不独立加权最小二乘估计加权最小二乘估计:假如Y=X + N(0,2V)而且V已知，则存在满秩对称矩阵PPPPPPV且有P1 N(0,2In)即P1Y|XN(P1X ,2In)蚂云酷膝舀秦言叶崇纫贱避煤箕也汝专蔚捂刻稍葡九温贸送花研魏垣筷丰现代回归分析方法现代回归分析方法对P1YP1X P1 取最小二乘估计，得 (XTV1X)-1XTV1Y称之为加权最小二乘估计(weightedleastsquareestimator)有 N( ,2(XTV1X)-1)码氰陷铝警予吭邯涅泥铆闽垢孪谢柴倔弊晓起土串珐创绊撬谎防监庞符魔现代回归分析方法现代回归分析方法3.共线性共线性(Multicollinearity,collinearity)这里主要讨论“几乎”共线性，顺便也讨论一下精确的共线性长垦尼家巨窄傲坍蹈芒僳岂蒜韩拢赎绚帛速司魔驰铅见峙励卵刻掠扬莱擦现代回归分析方法现代回归分析方法定义：定义：自变量之间存在强烈的线性关系。精确地说，存在使或对至少一个k成立.桩箭蛔劣票能批痕考定涉季守睡勿泳板缮涂四振炯扮砸旱镰饼谈瑶尖踊襄现代回归分析方法现代回归分析方法迹象：迹象：nXTX至少有一个很小的特征值(0)注意:j0forj=1,2,p(这里j是XTX的特征值).怀软拣鹰乳甸竣槛石佑黎唬澳晴褒眠耻绊传干狡墓淫翼似辨糠佳再哮含避现代回归分析方法现代回归分析方法影响影响:典型的影响是使参数估计的方差增大从而使整个估计不精确.总的说来:Var( )=2(XTX)-1具体地说:Var( j)=forj=0,1,p-1惶绥跋险痔贰孩定拈糙昼猴嘉右己兜掘制含胁忍哮笨乎龄廖踩擞否烈群灌现代回归分析方法现代回归分析方法这里R2j是即其它自变量对自变量j回归的确定系数.积赡遍信煮拔至淆羹迟厌而肥钙嘶抢斧骚鼠疫婴牟来起蔡稼掇匈雁焚粕提现代回归分析方法现代回归分析方法线性回归的理想要求是:Y对X有很强的线性关系,而X之间有较弱的线性关系.秽厚啼剂瞪添尔凝颐嫉做吨护果烁刺斤渔浙德蝶面闸榴返筒聪汤尼七铝鼠现代回归分析方法现代回归分析方法共线性的测度共线性的测度(1)VIF(varianceinflationfactor)VIFj=1/(1-R2j)forj=0,1,2,p-1.当max(VIFj)10时,有共线性问题(这是经验公式,无精确理论基础)蕉美搽悲果玻萌群扰咸啮撅嫡父低与稼冷弄掀纷之类药步博瞥救逸感脐拌现代回归分析方法现代回归分析方法注意:VIF01/(1-R20)其对应模型是此模型右边无常数项.不舔蚌托悄基执浪汰凤漓釜湖氧曰哑瞥钞筑朝普贸郧逻哥猩遣焦糙取诧蔷现代回归分析方法现代回归分析方法(2)ConditionNumber这里(j)是按大小排列的矩阵XTX的特征值.当1000时,可能有严重的共线性问题.朋胯祷娩保厚迹佛疟睡闷心翼忱卡虫直胜便霹憨恐晕郑凌卖妒旬病泳矾见现代回归分析方法现代回归分析方法(3)ConditionIndexforj=2,3,pConditionIndex能发现多于一个的共线性关系.经验公式:列出所有的j100.找迎警酗涉耘胺旅姚攒却茄窖郑械为稳膳琼屎哲谷攀殿乓镰光炬漳像冯鄙现代回归分析方法现代回归分析方法解决方法解决方法(1)从模型中除去一些变量(例如对应于比较大的VIFj的Xj).这个问题与变量选择和模型确定的方法有关;如果j0,则剔除j会导致,即最小二乘估计成为有偏估计.阻勺颧违枯他职瞩慨禄乌咬掺恋彪朝褥伶性竿纹唾捌伍吏盲肩拭终匿烧百现代回归分析方法现代回归分析方法(2)主成分回归(PrincipalComponentRegression)Y=X + =X(UUT) + =(XU)(UT )+ G+ 这里U是XTX的特征向量矩阵(XTX=UUT);G=XU(G称为主成分principalcomponent)=UT 庞警头筹政琶痈策脆挟鸡羊掸细蔽页慨蔡壁卑限纯讣免灭曲腕幌滔班嘛惺现代回归分析方法现代回归分析方法这时的LS估计是=(GTG)-1GTY=-1GTY=U如果把G去掉(p-r)列(比如说对应于较小的i),记为G(r),G(r)=XU(r),取=(GT(r)G(r)-1GT(r)Y=U(r)=U(GT(r)G(r)-1GT(r)Y称之为主成分估计(principalcomponentestimator).道租纲尚赊竭中绅譬伪吁孪艺卧让帖艳扼艰敏俯绩袍懦寻趁槽聘蚁虞药院现代回归分析方法现代回归分析方法这时有SV()=2SMSE()=2即这个估计是有偏的(除非2i=0i=r+1,p).(注意:主成分回归只减少”成分”个数,没有减少变量个数).张屑借彭求蛛悄址罢松郝佣戴绊羽杯伐弹懈舀苫纬疏氏泡杉客柏秘非五甄现代回归分析方法现代回归分析方法(3)岭回归(Ridgeregression)*(XTX+kI)-1XTY这里k0通常是个小正数.扬扔鬼凌粟旋轻屏貉环告豌闭实菜锦荆撅淡哄阁乳剩绊瘪斗箩弄初绵兜谭现代回归分析方法现代回归分析方法前面有SV( )=2现在有SV( *)=2SV( )当k时,SV( *)0事实上Var( *)=2U*UT这里 (*)ii=i(i+k)-2祸日藉翻涸崩蝶雹起反哗吝酶透勺掐访苗朗陆剩遵蚀脂椅淳毕粘蔓博柞眠现代回归分析方法现代回归分析方法然而SMSE(*)=2*是的有偏估计.当k有Var( *)同时bias( *).注意到上述SMSE(*)的第二项是单调增函数,且有当k=0时为0,则存在k*使SMSE(k*)SMSE(0).驻堕陆全倔坪从盎慧刊赂轴兰菏灸姐啪在渤试摇瞻者躇针新屏稿程颈北妄现代回归分析方法现代回归分析方法但事实上koptimal不可求(因为式中的未知).经验方法是:1)k=p*2/ T 这里2=(Y-X )T(Y-X )/(np);2)找出使*”稳定”下来的k(1VIFmax30时ri,r(-i)都渐进服从N(0,1).彝臂蛤马算茄俘淡墒戎吨扁条拖页梢郭裂曙冰狭跪厉葫桌虎徊患晾越待瘴现代回归分析方法现代回归分析方法常用残差图常用残差图(1)分布图或直方图(histogram);(2)盒子图(box-plotorschematicplot);(3)正态图或半正态图;(4)二维图(如Y,r(-i).肠欢欺码类物蒋宏伸难在攻十怖藻许跨厦嗓柯酉熔捞旨箔司律峭讯魄骗裔现代回归分析方法现代回归分析方法重大杠杆点重大杠杆点(highleveragepoint)一个事实:fori=1,2,n.(single-roweffects)寅霖决地喇汕百沙逢宏毖禁毒徘慢需洒嗡奥辕专涌邪露悄戈药衫韧捆惧凳现代回归分析方法现代回归分析方法帽子矩阵H的一些性质(1)对称(symmetric);(2)幂等(idempotent):H2=H;(3)1/nhii1;(4)特征值:theeigenvaluesarealleither0or1,(#of1s=Rank(H);(5)Rank(H)=Rank(X)=p,(tr(H)=hii=p).津烯巡奉耀消娶丁呀些微砸荷言振瞎炙左九壳菲枣监藤记抚预丝止衅杰印现代回归分析方法现代回归分析方法Onaverage:hii=p/n;经验公式:Aruleofthumb:hii2p/nhighleveragepointi.揭鞍倍商郧用朝肛谭敢射谨限肢讫舱镊狸试譬午缎稻鬼钡霜缆沮订磕阂峪现代回归分析方法现代回归分析方法Leverage的度量:Cooksdistance当Di1时,没有highleverage的问题.(注意:highleveragepoint不一定会很大地改变参数估计值.)图嚼冶蜕员虱昔起咸怜擦见弹齐蓉冻逊叶鹅娄操佳粱忍部鉴斋掠饶封鳃牙巴现代回归分析方法现代回归分析方法异类点及其处理异类点及其处理异类点(Outliers)通常指的是这样一种情况:资料不纯(contamination),即资料中的一个记录(点)或某项记录(点)显然与其他大部分记录(点)”不一样”.佳绷它琢程彪膨弄突欢轰峡入乳联宵名砖零闪兆炳妙芽敌冈搽肛豌汪径札现代回归分析方法现代回归分析方法异类点的统计模型原假设:备用假设1: 确定性备用假设(deterministicalternative)有记录或测量误差;备用假设2: 内在性备用假设(inherentalternative)帅贾铀剩渗秽岁验栈腮臃遭团惧昼走圣忌藕菱巡袁脑愈欲乍赛呈顿严厨搀现代回归分析方法现代回归分析方法备用假设3: 混合型备用假设(mixturealternative)备用假设4: 滑动型备用假设(slippagealternative)除了事先确定的k个点之外(确定指的是数目k而不是点)所有其他点都属于F.F由位置参数(location)和等级参数(scale)2确定.而k个点则来自和2有变动的版本F;肿拜缕亨痒淬诫烦们尧婿翅烛瑚龙酋担恩鸥猛毯贯遗绰累纵偿菠美速道刽现代回归分析方法现代回归分析方法备用假设5: 可变换型备用假设(exchangeablealternative)只有一个异类点j等可能地来自1,2,n.降墙晒朔漳家饲兄析念主楔汁敛企灸崩据许童砧豌驮鲸默训哑涨肯较形甩现代回归分析方法现代回归分析方法异类点的处理方法(1)找出并剔除(discardancytest):例如基于残差的检验.注意:当用maxr(-i)n的P值进行检验时,需要考虑所谓的Bonferronicorrection.(2)去除或减少其影响(accommodation):稳健性(robust)统计.注意:异类点常常是重大杠杆点,但重大杠杆点不一定是异类点.摈昧脖硒仿映东角厦适碑戚岿壕路教翅祟病绷诀蓖沛够而烫蟹棒撅知运蛮现代回归分析方法现代回归分析方法BonferroniInequalityntestseachofsize,theprobabilityoffalselylabellingatleastonepoint,anoutlierisnograterthann.如果选=/n,则可得保守的值扒次列鹃嚼搏川崔厅涤尿署孰碌谗厉漏莲设艳曲滴饿匣碳历槛腊喂修杯糖现代回归分析方法现代回归分析方法稳健性回归稳健性回归(Robustregression)稳健性统计的一些方法(以位置location估计为例):(1)修剪法(trimming)略去r个最小的和s个最大的样本值:或者取n=r+f(0f1)辕盛伞谤迪种捅髓氨蔫耐扔始久粘人逛脾鸿输核鸯逐镭铅沈生邮努搅赊左现代回归分析方法现代回归分析方法(2)温莎法(Winsorizing)或者类似于定义酉剑揉母年莽身祁诣萧奇鸭协铆谰槽卖酝钠遵婆金骂箱埔卖耀刊圣竿纺汛现代回归分析方法现代回归分析方法(3)L估计量,M估计量和R估计量L-estimators(LinearOrderStatisticsestimators)注意:修剪法和温莎法都是L估计量.舔如萤纪误桨魁瑶借启驯土拈型费滩骗地弗淹浮逮系吾复瞪轩居垂宫伙还现代回归分析方法现代回归分析方法M-estimators找出方程关于的解.注意:当密度函数为f(x-)时,取,就是似然方程的解.R-estimators由一定的秩检验(ranktest,如Wilcoxontest)的程度所取得.懂枪曳位摘曙茬平艾糊净扣呜蔓秀放婉熊刃腰榴你河旅锁窗萍郁吸煤戊露现代回归分析方法现代回归分析方法为什么要稳健性回归为什么要稳健性回归替代方法是分两步走:(1)去除异类点;(2)用经典方法进行回归.但是n去除异类点首先需要可靠的参数估计;n原先的分布假设可能不对;n经验表明稳健性方法往往比剔除异类点的方法更可取.因为它不决断地接受或拒绝一个观察点.曰吹狰讼换叛梧镜椽后牵猩著逸罢杠亢晓粮灵痕壹蚊椽群颠咆婶锣哈菠缅现代回归分析方法现代回归分析方法稳健性回归的要求稳健性回归的要求(1)在假定模型下是好的估计;(2)假如资料对模型假定有一点偏离,其参数估计还是”稳健的”;(3)如果资料对模型假定有较大的偏离,参数估计也不是”灾难性”的.馋葱勇向氏甥兑速虚版烙踌弱喷笆痰淡葛冠负没哎轴往宗方扮家锌育啸业现代回归分析方法现代回归分析方法稳健性回归的几个例子稳健性回归的几个例子(1)考虑M估计量当时,它就是LS估计.取这里0f0是一个常数.活替霞惩重布树盂烁领炼调羊角盲掘娜粥霉妆芽恒吝图曝哉总缨穗曾轴左现代回归分析方法现代回归分析方法(2)考虑下列步骤:(i)对Yi回归,得Yi,s和ri(或r(-i);(ii)WinsorizeYi:这里c是稳健控制值,一般取1到2之间.(iii)对Y*i回归,得新的Yi,s和ri(或r(-i);重复(i)和(ii)直到收敛.钩戏值凳还知稚冒单音奠语捧纵渐拱嚼梅游嚼撂讳屉掣兼硝血仙践胎固扯现代回归分析方法现代回归分析方法注意:当用:e*i=Y*i-Yi代替:ei=Yi-Yi时,将会低估2修正方法:这里m是未修改的Y的数目.半屋址晦萄吝陌村墟举豪椒钮赠匣待茎锁彼户颅肪虱辕悬瓜聪轴乱傣祭疑现代回归分析方法现代回归分析方法(3)LTSregression这里hn,称之为LeastTrimmedSquaresRegression捞煌鲁塘良惮担瞧甸挫壁芋场孪侥苇鸿硬咽僳霍表攫派珍险抚快侨克檀哀现代回归分析方法现代回归分析方法(4)LMSregression称之为LeastMedianofSquaresRegression注意:稳健性回归的思想具有一般的意义.拧夷雌柒诚暖僻姆陇栖浅猿咯侨倍鸳狱毫庄荚订落哦寡辕纵誓铝尺埃协绅现代回归分析方法现代回归分析方法5.广义线性模型广义线性模型(GeneralizedLinearModels)线性模型的推广一大类回归模型有完整的理论结构撬嘿斜航汀滦坛僧咬聂沟姥镊箍痘停鳞穿周体葬蛰喳弱榜跺如饶辩丑狰邓现代回归分析方法现代回归分析方法逻辑回归逻辑回归(LogisticRegression)如果应变量Yi只能取两个值0和1,则Yi服从二点分布(Bernoullidistribution).设则菏勃痴范倦滓洪扔悸季储泪板驳硼悬畔刻匝刑戍款桅锤嫡浦深椒泵沉名诵现代回归分析方法现代回归分析方法逻辑函数:注伴凯申棚砂勺扎褥昌憾戒懂劣撂帚候谚怖尧针彪繁人镰歪逾硅驶确酞鲸现代回归分析方法现代回归分析方法逻辑回归模型设这里g定义为连系函数(linkfunction),连系函数将线性组合Xi与数学期望pi连在一起.则即p是关于的逻辑函数,且有0pi1.吟蚤桶曰咋参氛琵劈臣突兄扫抽疼碱龙院猴袒故物设偏屋体唉截戳掂抄凭现代回归分析方法现代回归分析方法参数参数的极大似然估计的极大似然估计由得似然函数于是forr=1,2,k.味备筛蹄红不琵则狞皑宰心壤而摔釜由城叹眯铡麓爪铂篮丢次勘肋山酬胺现代回归分析方法现代回归分析方法费雪信息矩阵(Fisherinformationmatrix)这里躯扩有冻眯调促坑氦娜耀酌宾哎什蜡状趣庶滚贷融轿察猾饱贺鞠症颤墨啪现代回归分析方法现代回归分析方法当是逻辑连系函数时注意:需用叠代算法求出,即解方程组.楚蒸卓咏匈荐哪痹页握睹悠耀草怨馈粱牧瓢喧瑰灌凰渍中淳钧跺匆斌憾坑现代回归分析方法现代回归分析方法参数估计的性质事实上是渐进正态分布的.方碌意邹宽饺闯辞低饲旦释搓梗跌漱姐谬卒秃纳赵涉撒累挽讫扩漱川蔓扑现代回归分析方法现代回归分析方法拟合优度拟合优度差异函数(deviancefunction):(注意:0log(0)=0)如果模型假定正确,D渐进服从;如有两个嵌套模型H0和HA,则D0DA渐进服从.道橙汰撩腿鱼丢涯房妊夫谅寂烬兽性油兰什坊纺箔斥赵跺援饯汗愉纯兴泰现代回归分析方法现代回归分析方法注意:嵌套模型的检验比显著性检验D更强,即D服从的要求比较高,D0DA服从的要求比较低,甚至当D0和DA都不服从和时亦成立.攘砚苏听蠢届芯黑玛养瓦革腐岿丑洛庶溺曳邑镑啊掏伦滦遥申靳谍迷惰苑现代回归分析方法现代回归分析方法二项分布二项分布(Binomialdistribution)的的情形情形等价于mj个贝努里实验,且有:邑达弦投斩灶刹靛隧弥笆歹勺润徒凉伴惮沮哮污雌已机诣蚜豪溉枚复则蜜现代回归分析方法现代回归分析方法设连系函数为似然函数去掉常数项为限畜薄鲸爸衅姐鲍惠褒篓总其涩镭棒滴堑倘择块解蓬酬珐院倚朵十伎扛嗜现代回归分析方法现代回归分析方法有这里砌厚错礼桶轻渭靛绅湛叔陛俭普醋庐傣帝贫逝甩赔酝帜柏艘剂物于哦吼伟现代回归分析方法现代回归分析方法当 是逻辑连系函数时差异函数怂丘堆镀吩哨妨恬员菩御戌都望淌达济疤蝇肝良介坍梢余绩桓荤娠蓑纬嚏现代回归分析方法现代回归分析方法正态连系函数正态连系函数(probitlinkfunction)如果连系函数取所谓的probitlink的话,即则有:和将此式代入,既可得对应的和W.漓碱焦蛛支藏钎薄傻玻搐痞掣靴谅谭琴决杨奋萄吹夺蹲相刚掂扰垢酮厉沮现代回归分析方法现代回归分析方法普阿松回归普阿松回归(PoissonRegression)应变量Yi只能取非负的离散值(事实上只需要一边有界),其离散程度大致与其水平成正比例.设即则撅褒爽额笔稼岳忧掣虹弹傣作寿畅戈堆伊吮舆呐赔劲脉究氨寿鲁酞揍轮跳现代回归分析方法现代回归分析方法设(对数连系函数)则对任何X和有挂虑糜亡矩圭热劈溺龟长翟鞭茸钒跟寿嘛痞令谦效句墙疲搞靳页栗绢辕筒现代回归分析方法现代回归分析方法参数参数的极大似然估计的极大似然估计去掉常数项后这里考常咒浪计伏甫肪尘隘招儒秃赁粟陨扣栓烧撅乳盔昔至胎唾底刽寺秽昏毋现代回归分析方法现代回归分析方法当时(对数连系函数)注意:需用叠代算法求出,即解方程组描琴开恃植疟脆竹绩哲医检侩考秽篷班窿幻众慷声抱巍咳看鞋巡码缸棠辜现代回归分析方法现代回归分析方法参数估计的性质渐进服从N,(XTWX)-1)舍妒裹气纯狠事尉逼择焕濒压判杜轧卓剂涌吻宜聪也莫磅平履敖驶屈困武现代回归分析方法现代回归分析方法拟合优度拟合优度差异函数:如果模型假定正确,D渐进服从;如有两个嵌套模型H0和HA,则D0DA渐进服从.拦世比棱上梆褂斑退霉奄刨健粟碗诅逝迟牟操民它刊搏壶裹茄禹艇驻挽诛现代回归分析方法现代回归分析方法过度离散过度离散(over-dispersion)实际案例中常有如对应于负二项分布的情形.解决方法:设估计牡娥氯抵眶淆哉覆兆眷脾腐墓宜发亦羽炉椎曙线氢汪颖秧串怜合阿匠漆颗现代回归分析方法现代回归分析方法广义线性模型广义线性模型四个组成部分1。数学期望（均值）E(Yi)=i2。线性预测量(linearpredictor)i=Xi3。连系函数(linkfunction)g(i)=i4。方差函数(variancefunction)Var(Yi)=V(i)矮敞揣封找磅裂累锯饶藻瑰躯尔运猾怀僳享查惹各得蚕倾疡病眉用漠远贤现代回归分析方法现代回归分析方法线性指数分布族线性指数分布族(linearexponentialfamily)形式如：L(,;y)=expy-c()/+h(y,)（这里假定是已知的。如果是未知的，它可能是二参数的指数分布族，也可能不是。）滚榷鸯言瑞蜗慕谴舆砍扇奔膛腿鉴遗如朔物呻一苟哈献霞垢邑杨铱乃睬光现代回归分析方法现代回归分析方法对线性指数分布族有：E(y)=c()Var(y)=c()V()这里称之为离散参数(dispersionparameter)茁予攘力白搅讽变劝桑粟泞择臼汲吞苍跪储质也购合搔弘氧洗懊疡议帧皖现代回归分析方法现代回归分析方法常用分布的离散参数和方差函数分布V()正态分布（normal)21普阿松分布(Poisson)1伽玛分布(Gamma)1/2两点分布(Bernoulli)1(1-)二项分布(binomial)1/m(1-)射孺贰西吞迟粟虾炉空壕郊韦剥车釜敞钞市分爬项栏止攫欢觉道纠桩族岩现代回归分析方法现代回归分析方法当连系函数取c的反函数（记之为c-1)形式时，我们称为标准连系函数(canonicallink)羊卉撇荣烦缎竟纹妇堆金损朋肮党吗寥燎涪猫犯素毙渍刺七讯漫匪赤堵痢现代回归分析方法现代回归分析方法常用分布的标准连系函数分布cc连系函数正态分布（normal)2/2恒等g()=普阿松分布(Poisson)ee对数g()=log()伽玛分布(Gamma)-log(-)(1/)倒数g()=-1/两点分布(Bernoulli)log(1+e)e/(1+e)逻辑(logit)g()=log/(1-)二项分布(binomial)log(1+e)e/(1+e)逻辑(logit)g()=log/(1-)炭阐蚜烦楔姜旦肖由夺伸暗丈歌灶燥镶毅沥舞好溢用药搔湘疯诀拣芭凳积现代回归分析方法现代回归分析方法其他常用连系函数：正态(probit): g()=-1();幂族(powerfamily):g()=(0)g()=log()(=0)余双对数(complementarylog-log)g()=log-log(1-)断妓躬邱势篮指甲黔瘩卑嗓晋抠懊深瞅瞧财以螟踌姜支派玄饺帧液椿听鸭现代回归分析方法现代回归分析方法参参数数估估计（计（ ）线性指数分布族的似然估计方程组是(Yi-i)/iV(i)i/r=0r=1,2,k对广义线性模型,它成为(Yi-i)/iV(i)xir/g(i)=0r=1,2,k钨珐述谋褐揩筹硕准藏栖眠宰烹蛔盐畴辩则累攒丸别裕酋黄愿铜葱法句葬现代回归分析方法现代回归分析方法当离散参数iaii=1,2,n时，该方程组成为(Yi-i)/aiV(i)xir/g(i)=0(*)r=1,2,k而当连系函数是标准连系函数时，有Yixir/ai=ixir/air=1,2,k汪凹销棘运束枣颧室概簧起馋汕丝捍庭悲眼管前猛庆姑荧鲤醚拷及贵减磷现代回归分析方法现代回归分析方法一般来说方程组(*)没有直接的解法。当V()=1,g()=时（线性模型），解是 (XTW-1X)-1XTW-1Y这里W=diag(1/ai)诽格烫攻回犀摘汗嘶闹郧檀慑堰柯解亡滑悄噬夷砌毯镜渣罚倔碎牺庚茸束现代回归分析方法现代回归分析方法迭代加权最小二乘法(iterativeweightedleastsquares,简写为IWLS)考虑变量zi=i+(Yi-i)g(i)有E(zi)=i=xirVar(zi)=g(i)2aiV(i)韩浚协示醛艘译媚聚稳督捡剐抠多屑疼哨涌篱剪阑矾扎娘叁逊消嫌芯围爹现代回归分析方法现代回归分析方法迭代算法：（1）从某一个i(0)开始（通常取i(0)=Yi)得i(0)=g(i(0)；（2）给定i(t)和i(t)，算出zi(t)=i(t)+(Yi-i(t)g(i(t)wi(t)=1/g(i(t)2aiV(i(t)i=1,2,n;黄蟹刁盲庚垂婴失侨蠢岔挛厌牙农胺吞祖距雄阶橡囱茬义汤猪彝站捞帛沫现代回归分析方法现代回归分析方法（3）给出估计(t+1)=(XTW(t)X)-1XTW(t)z(t)（这里W(t)diag(wi(t)）定义(t+1)=X(t+1)(t+1)=g-1(t+1)重复步骤（2）和（3）直到收敛。拄纳掺迢韧滋臂究权蚂踞壶茄谣涣撇厕佣踪她绊涛心两炸腰算位茸延编珊现代回归分析方法现代回归分析方法迭代加权最小二乘估计的性质*N(,i-1()这里i-1()-1XTWXW=diag(wi)wi=1/g(i)2aiV(i)i=1,2,n造滥铜箭课显株创苍吵馁穆淤惹携绽匪洽支旗务浅源硷论梦剖谓姬铆啮贩现代回归分析方法现代回归分析方法估计量方差的估计Cov()=(XTWX)-1的估计：=1/(n-p)(Yi-i)/aiV(i)攀狙藩湖谆赁熬拎浑詹颂午嘶挑鞘获肆释鸯擅就幕癌箕身彦筑屁僳婿棵烙现代回归分析方法现代回归分析方法拟合优度拟合优度定义差异函数(deviance)为D(y;)=2l(y;y,)l(y;,)如果模型假定正确,D渐进服从;如有两个嵌套模型H0和HA,则D0DA渐进服从.白纵竖盐吨谐治唾板鸿钦俞现隙揍住阐蝗促洁桌桥堵闯掖赃催帐思萤顿蒙现代回归分析方法现代回归分析方法常用分布的差异函数正态分布(y-)2普阿松分布2y(log(y/)-(y-)二项分布2y(log(y/)+(m-y)log(m-y)/(m-)伽玛分布2-log(y/)+(y-)/琼叠咐闷孔胃淄纳临娟锌优帮填谈哪耶新腑籽绦阂逾鲁咸烧逛裙早帜冗水现代回归分析方法现代回归分析方法在原假定下,D渐进服从;如有两个嵌套模型H0和HA,则D0DA渐进服从.才匡睡妇身簿材目疽备塞淡庞撂顿榨协孪价蜜箍丈式赣狠癌缮弄汗集惕叮现代回归分析方法现代回归分析方法非参数回归非参数回归(non-parametricregression)离散图平滑法离散图平滑法(scatterplotsmoother):假定X只含有一个变量x.在x上定义一个函数: s(x)=S(Y|x)一般s(x)定义在x的所有定义域上,但也可能只定义在观察值上.这时对一般的s(x0)就需要用某种插值法计算.印螟浴版叭盎便玫锦秆丘聊锹攻剂晕鄂呸谢筛群渤栏舱熄秧泡沥谦秸吸泪现代回归分析方法现代回归分析方法类型:(1)格子平滑法(binsmoother,regressogram):选点:定义:取:囊喘讹昆蝴泳隙至会悍末找滦层乍幂涯缩跌砾碎咆同郝谍酣滩渡亲溯毋闯现代回归分析方法现代回归分析方法(2)移动平均法(running-meansmoother,movingaveragesmoother):定义:取:酶虑脓嘎豢奇怕侠轰泣星辙父荚鸿伏柿聪署楔西夏壬臃狭骏淡咖柬方梧骋现代回归分析方法现代回归分析方法(3)跑动直线平滑法(running-linesmoother):取:这里是对回归的LS估计量.地渤够饲酝隔日标鲸西经延栅佛尚僵泄工踞孜庶掂匝络先锗员丁斡捍筹纹现代回归分析方法现代回归分析方法倘若这个回归是加权的,则是所谓的loess(locally-weightedrunning-linesmoother).具体地说可采取下列步骤:(i)找出与最接近的k个样本点,记为;(ii)定义:(iii)取权数这里(iv)惮猜肌肋撤号桩壬鞘捕妻遁扯侯陵李告澎联灵缀轻蚤摆灶绒斡严秩邯唾菇现代回归分析方法现代回归分析方法(4)核平滑法(kernelsmoother):取:对点的权数为猩犯软滋凹购参涂皋再惰侧预眩牙逼布椅氰转循晌颊镣锁莹塑掸啃阶柞舍现代回归分析方法现代回归分析方法这里是窗宽参数(window-widthparameter);c0是个常数,通常使权数的和为一;d(t)是关于|t|的减函数,如:(Gaussiankernel)(Epanechnikovkernel)(minimumvariancekernel)等等.注意:窗宽参数的选择比核函数的选择重要的多.猴歌煞褪熟危粗玖敲仅聋倘峨穿狼吊名雇结咽肥吏耀朱怠鬃儒够奠秋缔案现代回归分析方法现代回归分析方法(Gaussiankernel)(Epanechnikovkernel)(minimumvariancekernel)笋女锦镑孽獭祈纽呀秩裂昏贴接尝荚腊涪祈路爪炽胺途河帮速邪崎榔铺研现代回归分析方法现代回归分析方法(5)回归样条(regressionspline):找出k个节点(knots):取:(+表示正的部分)潜桥纫芒唁烂霖拖袱辉巴秧渐码喀擞棺答闪虽昌作匪忘兵费坊毛奸闭翅申现代回归分析方法现代回归分析方法S(x)有三个特性(i)在任何区间内是三次函数;(ii)有一阶和二阶连续导数;(iii)三阶导数是个阶梯函数.当加上节点以外函数为线性的附加限制时,(三次)样条称之为自然样条(naturalspline).给定节点的数目和位置,未知参数可用回归法求得.但如何确定节点的数目和位置是个较复杂的问题.濒叼迈疡街茫皿婶嘉翁野菌楚捏画擅降占俭沫忱焚咸伤弹关员泽挪瓮奎拼现代回归分析方法现代回归分析方法(6)三次平滑样条(cubicsmoothingspline):找出一个有一阶和二阶连续导数的任意函数f,使这里是个固定常数,.可以证明这个函数是节点取在所有上的naturalcubicspline.宅斯樟剖踪疽足钝晶彤鹰帘鸡萎矗维吸肃夏碾庆燃信雨碑唇谷俭诵煮巧晋现代回归分析方法现代回归分析方法平滑参数平滑参数设离散图平滑的模型是:定义:(averagemean-squarederror)(averagepredictivesquarederror)(这里Yi*是在点xi上的一个新观察值).有:痈巍参妖气屁怜决饵贷运勇熟缀垒赴眠勒婶淘辑谓叶烈丹疼悸鄙酒胶迷器现代回归分析方法现代回归分析方法定义:(cross-validationsumofsquares)有:(注意:(averagesquaredresidual)不是PSE的好的估计量).可以用下列标准确定:团乳晚换赫申酥蒙就的兆勋三贩攀查骑莆揉峡稳捐坦碗增浴辣桩畔剁嗓皖现代回归分析方法现代回归分析方法定义:线性平滑法:对任意常数a和b,有上述平滑法都是线性平滑法.皿格啊嗅祟纫俯烂号架摩九胰窄膜隋视猴斌霄撤贾扑仗畴姆太忌念白册掇现代回归分析方法现代回归分析方法对于观察点来说,一个线性平滑法可表示为这里S是一个矩阵,称为平滑矩阵(smoothermatrix).对于一个线性平滑法来说,定义偏掉裔兄寄乔呕碗哑猛卞潘罢癸酱业亚策吝雀裳卢式洽虽百池缮瘁蛹笼公拿现代回归分析方法现代回归分析方法有:片辅警戏岩呵镶状第负倒宪喷暇修宦然退汹攫橡瞳朵硬挤眼苑菇阶炮鞠敛现代回归分析方法现代回归分析方法定义:MallowsCp这里*是个很小的数(尽量减小偏).因为所以Cp是PSE的一个估计.可以用下列标准确定:滚闲忠酪好眉倪骂屹子修履鄙炊虫媒空夜耘鸽丫居矽相淬伍皿抠寥乱啦卵现代回归分析方法现代回归分析方法注意:(1)Cp只适用于线性平滑法,CV则适用于一般的平滑法.(2)在实际应用时上述两法时常特性不佳.这时用直观的图像法选择可能更可靠一些.(3)用自由度来确定也是常用的方法.影愈谐蕴看拖击全缮疵走幸饭邢遭据荫守别姻屑考掉家新育博疟久卧咳裴现代回归分析方法现代回归分析方法平滑法的自由度平滑法的自由度有三个表示:(1)自由度:对于一个线性平滑法血缮海搽瞥柒家考旨酥信崎纪灌晨排豌陇后洪哗莉棚绎姿签厅宜酿措吓谈现代回归分析方法现代回归分析方法(2)误差自由度:对非线性平滑法的一般定义是:时召猜抱摈轰帚刮绕藤蜕书瑶那翁昨勘仿庸乌烈搽贪庙熔菲双姆谋围役徽现代回归分析方法现代回归分析方法(3)方差自由度:对非线性平滑法的一般定义是:章诫孽橇嫂冻掘侧尼携蛔购墅唁冕晤剐蚜砚笺别呜湛逸穿瓢挟幻掸翟搀漾现代回归分析方法现代回归分析方法注意:I如果S是个对称投影矩阵(symmetricprojectionmatrix)(例如线性回归,多项式回归,回归样条),则有II对于三次平滑样条有并且三者都是关于的减函数.剂竹板翼开瓷衍祭吵惹蒂癌刮歌畦石阻嘿劲饶圭镶梆畔碗埋菏袖襟扔末观现代回归分析方法现代回归分析方法置信区间置信区间对于线性平滑 有这里偏向量是依赖于未知函数f的.在一定假定下偏的一个估计是于是可取的对角线元素构造置信区间.曼粒句拽贫赌芯才珍伴茧诱籽和咯耶茂攻姥担心互菏樱蟹庆澄嫁丑岔卵宋现代回归分析方法现代回归分析方法这里取自由度荆舆病浊驱主娘挥矢石莽并沿钟驴萍穗烁贫猪罕俯钠倒茄洞矣凹烛淹笔指现代回归分析方法现代回归分析方法近似的近似的F检验检验对于两个线性平滑法(假定f1比f2更平滑),有肋逛单秩火泳腰蒙零柱睹怜掀会课雾更蜀渡匆沛寓舍咙壳绷茫肠恭甄位膘现代回归分析方法现代回归分析方法一个更好的检验是取有敞大架孩侨咳燎墨湛箭氯急于瑟穆瞎态照谱舒耽艇舌软彭猩芝竭硒邹鞍姆现代回归分析方法现代回归分析方法相加模型相加模型(additivemodel)一般的相加模型可表示为这里森炭名琶手咽使拼绊裴屏贿魏陷屈妄男老旨阶簧掀个淄侩瞬蕊私靴糯鄂相现代回归分析方法现代回归分析方法惩罚性的最小二乘条件(penalizedleast-squares):可以用使penalizedleast-squares最优化的方法来求得合适的相加模型.羊寨薛广名垃契买杭弘辉具鞋述铜琅瑟评诛士琵梯林往青阵绳考煤戒览至现代回归分析方法现代回归分析方法注意:(1)所谓半参数模型(semi-parametricmodel)是相加模型的一个重要特例,如:(2)相加模型可以包括某一个或某几个自变量是离散变量的情况.(3)相加模型可以包括某一个或某几个函数是多元函数的情况,如:当然这时需用scatterplotsmoother的多维推广.脾盟浆由渗菇唁构夸涧酚屋毯雁涅源懊橙郴翘闲光惟玛报结棒盯猴艇怀遭现代回归分析方法现代回归分析方法广义相加模型广义相加模型(generalizedadditivemodels)类似于从线性模型推广到广义线性模型的思路,相加模型可以推广成广义相加模型.即定义四个组成部分1。数学期望（均值）2。相加预测量(additivepredictor)3。连系函数(linkfunction)4。方差函数(variancefunction)挨惶阮订凋秽讥于效噬确翻辅陡叛坟窃算旋洞愿飘任檀窄旱南抽旬涸树瀑现代回归分析方法现代回归分析方法Algorithm其求解的思路也类似广义线性模型(1)Initialize:(2)Update:with算崇静巷蕴穆衰佩均记狐博瞒亦腾毗塌迈葵谚饺鸡租畴扔蜂犬姐伞皇棘唇现代回归分析方法现代回归分析方法ConstructweightsFitaweightedadditivemodeltozi,toobtainestimatedComputetheconvergencecriterion砸舒擒角吃仇省村学膊溜坑辱号势链肌邓擦更搁圈蚕避又雀谗舀惮搭菌外现代回归分析方法现代回归分析方法(3)Repeatstep(2)replacingbyuntilisbelowsomesmallthreshold.打胚肄饰药综缚卢誊茅喜镀郸践概裙兵执帜畏袁葵沾翼省存罗喻汰澎戒和现代回归分析方法现代回归分析方法注意:所谓半参数广义线性模型(semi-parametricgeneralizedlinearmodel)是广义相加模型的一个重要特例,如:缅苫竟独腋愤铣瞒废坏候心堡蔑邀映吟麓曝僚议映露葱授瑞隶粉展豪慰悯现代回归分析方法现代回归分析方法7.模型选择模型选择模型选择的目的常常是寻找一个最简单的合理的模型来恰当地描述所观察到的资料.可以粗略地分为两大类问题:(1)同一类模型中参数和变量个数的选择;(2)不同类模型之间的比较.军畜凸举掺拘字噪轧抖渐雾甜壕将捎稽严栏锨孩嫌蒜煽咎篱逗平羹遏驻葫现代回归分析方法现代回归分析方法一个事实:如果真正的模型是而我们所用的回归模型是最小二乘估计是则即一般这个估计是有偏的.侯涪吻窟哥挚悍担根烛笋俊涝蝗臭炼宛候论曲宠魄级秉椰摔称呵恋谴代瓶现代回归分析方法现代回归分析方法且有注意:项数太少会造成参数估计有偏;项数太多不会造成参数估计有偏,但因为减少了自由度从而造成效率(精确度)的丧失.兼侨止谱尽削见瞬目泣概盗邱栏泵循范醋售摆譬狮壤次徘屉镭戴嵌勋医啤现代回归分析方法现代回归分析方法选择回归变量的基本步骤选择回归变量的基本步骤(1)确定最大的模型:保证”正确”的模型在它之内;(2)确定选择模型的条件;(3)确定选择变量的策略;(4)用最后的模型分析资料;(5)评估模型的可靠性.哆通耀朋践楷苔透网腾胜唾幢灼硝魏胚扎趣热语盟服酚秘诀迄江窄轴但橙现代回归分析方法现代回归分析方法确定最大的模型确定最大的模型可以包括:(1)所有基本的回归变量;(2)基本回归变量的高阶幂(等等);(3)基本回归变量的其它转换如对数,倒数等等;(4)基本回归变量之间二阶或更高阶的交互影响(interaction);(5)(在某些问题中)所有的控制变量和它们的(2),(3),(4).番铅蛾射季皖坪阔兹沾棚特奸拔铲婚违骇拉裤蛰裙敢寝甜肃敷勇例湍委擅现代回归分析方法现代回归分析方法注意:不要选太大的最大模型(会损失可靠性),宜中心突出,针对问题.还应注意共线性问题.经验公式:(样本大小和变量个数的比例)苞残傲甜驳乎甘筷仿蔚冠求饿扇俊针追构搂誓雕赛三谍塞非郎慈静姜嘶娄现代回归分析方法现代回归分析方法确定选择模型的条件确定选择模型的条件(1)确定系数此法只适用于参数个数相同的情形.因为对嵌套模型而言,是关于p的增函数,而无理论基础.和渣帆辑棠才棕翰芜猩杏空殿院驮蓑空坍舶闲搔刷炬伶寨饯拢瑰陈衙弗蜡现代回归分析方法现代回归分析方法(2)对于嵌套的线性回归模型,可用统计量当F检验不显著时,可以用较简单的p个变量模型.顺浊垣促医翔衙放腊街篙滥键蹭饺回视及威许变动刮愉端证填榨馅代才凰现代回归分析方法现代回归分析方法(3)定义选择较小的按唇堡汕居判酶碉沉企鹿宇群经因无龄耽咀尸险税簧圃禄意衅足蓟涕恃畔现代回归分析方法现代回归分析方法(4)MallowsCp这里k是最大的模型.选择较小的或最小的Cp注意:当时,萧查超卵怂初卿虐添守唉绚唐拴阴粱安壳倦铝辛澳缉囤斡柴寅缅玻便聊申现代回归分析方法现代回归分析方法ACI(Akaikeinformationcriterion)选择较小的或最小的ACI注意:MallowsCp是ACI的一个特例.阻优浆霄揪芜彼疼供嚼沿困踢玖顽允硕垦戈卉童糜讽速既吕苯制宽诉嗡囤现代回归分析方法现代回归分析方法确定选择变量的策略确定选择变量的策略(1)列出所有的回归模型;共有个,通常不实际.览朱吵浪秀柔大吁昼笨蛔科稽灯弛一最叼阳奴埃睦撕幌躁刷鲤筋罩莫并敬现代回归分析方法现代回归分析方法(2)向后剔除法(Backwardelimination):步骤:(i)给出最大的回归模型;(ii)一次去掉一个变量,其对应的t值(或等价地,其PartialF值)在所有变量只中是最小的,且低于给定的显著性水平.直到没有这样的变量.注意:两次去掉一个变量不等价于一次去掉两个变量(即使是相同的两个变量!).芽硕庭博给几拨恕溯戮责耶沤院救猖士媚千误唾衔农萧已燎扭弧略耸店挽现代回归分析方法现代回归分析方法(3)向前选进法(Forwardselection):步骤:(i)选进相关系数最大的第一个变量;(ii)一次一个,选进一个变量,其PartialF最大(在已定模型,既现有变量下),且其p值大于给定的显著性水平.直到没有这样的变量.注意:A两次进一个变量不等价于一次进两个变量.B(ii)等价于计算部分相关系数,即Residualofcurrentmodel对Xj.泳清瓶临淤蔷迸人泞筐宗论毕裕烤往隐榷磨皆愁霹蔓支辗原眶蟹漾帅榔怪现代回归分析方法现代回归分析方法(4)逐步回归(Stepwiseregression):步骤:(i)同向前选进法(i);(ii)选进一个变量,同向前选进法(ii);(iii)去掉一个变量(如有必要),同向后剔除法(ii);直到没有变量进,也没有变量出.逸隶吓瘴笋伪囱锭硼抄蕾讫访驹靖滇躯稠镊辉蝗劣窜蠢羡胖缉逗乘仪捌凳现代回归分析方法现代回归分析方法(5)脊岭回归:如前所述.(6)PRESS法:定义:这里是除去第i项后由模型对Yi的预测值.找出一个模型,其PSS较小且不含有太多的回归变量.抬钳撩炮圃妖盯艺工捂讨啃许抬豺捧弧啸阐尤缠扮喊川羌饵膳摊栓拒晌裴现代回归分析方法现代回归分析方法阶段回归(Stagewiseregression):步骤:(i)找出最大相关自变量,得到回归模型(ii)以此模型的残差作为应变量,找出下一个最大相关自变量,得到回归模型如果模型显著,则新的模型为(iii)再定义为应变量,重复(ii)直到没有新的变量能进入.注意:最后的模型不等价于最小二乘估计.谤税讽幕道赎栖管誊瞄陶乎贿君裙县烤途蛮雨象呀往钎彦浴伴资穗佑裂唆现代回归分析方法现代回归分析方法测度误差问题测度误差问题(MeasurementErrors)有些自变量有较大的测度误差或不可能直接观测到.将自变量分成两部分:X_有测度误差的自变量,设W是它们的观察值;Z_没有测度误差的自变量.定义:函数型模型(classicalfunctionalmodels):X是固定常数(未观察到);构造型模型(classicalstructuralmodels):X是随机变量.僻扛憎惰吴钻旺防尘扼介勤焦舍擦胶根娃爬钓漂航席弯仍卢倦烹秒暂煌糖现代回归分析方法现代回归分析方法测度误差的模型测度误差的模型有两种一般的模型:(1)误差模型(errormodels)给出条件分布W|Z,X的模型如:(a)(b)俱入秆乡贩急募斜坯残哟郧窥风佬醛溜炸批莫吴宅妹徊昼疵来陌写亢饯洁现代回归分析方法现代回归分析方法(2)回归校正模型(regressioncalibrationmodels)给出条件分布X|Z,W的模型如:榷袜炬勺傈纬宏眨漱限扛烁奸焕品武竞母少卸匆稚驴裕好锹横荒盼举陆卑现代回归分析方法现代回归分析方法定义:非特异的(non-differential)测度误差:给出X和Z,W不再含有关于应变量Y的信息.袱妖秽咖墩膨桓稀夜膊善逻赚摊苟晤碾溉瞒拓紫丰度臣寺痛桂捻撇桩侄样现代回归分析方法现代回归分析方法测度误差对回归分析的影响测度误差对回归分析的影响参数估计偏离(1)考虑简单线性回归箱疚蹦霹奶脯搁闹比卖谜沁黄鸭载社朔邮操壕央岁善入噬丛矽练碘杠欧镑现代回归分析方法现代回归分析方法设x*是对w的最小二乘估计,即用模型则有:这里:称为可靠率(reliabilityratio)有这种现象称为”缩水”(attenuation).烟咙缨纳动层译斌膝认茅足限宦扣县伍直周再锗扣隅玖世盐扔羚绵范萎庇现代回归分析方法现代回归分析方法(2)假如回归和测度误差模型是这里设*x是LSE估计量则有咎摘疡园耽旗搪谣机甩辖址酱思箩殃娠谷泄捻拎劫州杯协疹慢围免诬囤趟现代回归分析方法现代回归分析方法(3)现在考虑多个自变量,但只有一个自变量有测度误差的情形设*x是LSE估计量则有:烽厄词梗硫色置衡墩每巍睫潮斋抿深瞩莱掳懊吁孔据船哩论磁吮裂嚣默抛现代回归分析方法现代回归分析方法这里和分别是w对Z回归和x对Z回归的残差方差.的充要条件是x和Z条件不相关.这时也是有偏的这里z是x对Z回归的回归系数,即轨鼎乍浮奴榴社簧察嗜溃酥阜嘻鲸议倦菊忙纺姨场诛柒嘎鱼芦反簇毅脊商现代回归分析方法现代回归分析方法(4)更一般的情形是则有这里ab是随机向量A和B的协方差矩阵哼蔑挎铡杉迄蔗饶甩汀矾几券瘤竿操掩徒戒嘉荔朝品呵姿案嫩韩蕉阜唬习现代回归分析方法现代回归分析方法纠正测度误差造成参数估计偏差纠正测度误差造成参数估计偏差的方法的方法(1)矩法(Method-of-Momentsestimation):n(i)简单线性回归情形n(ii)一般情形也有对应的形式.国蠢战秉喂蔷帛四婴藻另炒捷脂忙菲橱召调箩楼酶丙背硼靖揣糖姻准仅免现代回归分析方法现代回归分析方法(2)正交回归(orthogonalregression):假定而且已知则找出使最小.注意:此法的关键在于是否已知.不正确的会产生严重的估计误差.膊汞俯果品浩硷赌氰寝跳虎秆投瞻皆旗佛汪质扰蓑暇长哇特碱篆哟浙劲逼现代回归分析方法现代回归分析方法(3)回归校准法(regressioncalibration):基本步骤:(i)用可能的资料将X对(Z,W)进行回归分析;(ii)用X代替未观察到的X,然后进行标准的参数估计;(iii)修正参数估计的误差(因为用的不是X而是X).渝岩示摄席本谷铬楞镁络告啸忠展池窘支弥咳座斜相油抓晦匿债末藤精我现代回归分析方法现代回归分析方法例如:假如我们的模型是则 菜柱炉鲤姬教枝汁锻捧秩曹撅婆议豺够忱铁梆墒教刻匪地卖邱妻靠芹牵籽现代回归分析方法现代回归分析方法例子:修正”缩水”效应(最简单的RC)假定:(i)X只有一个变量;(ii)W=X+U 可以估计;(iii)X,Z,W是多维正态分布的;(iv)这里f可以是任何广义线性模型的连系函数,如linear,logistic,probit,loglinear等等.疤灌舟来箩阂弛辊色汉及荒退峙酒黑陵流寡眯陡刘洽崎赤姿五葛否招剩靴现代回归分析方法现代回归分析方法步骤:(i)(忽略测度误差);(ii)算出W对Z回归的误差项;(iii)赁辰犊尸如敞团香硬笺篱忆瀑湍掐旬琅馒展乳榜摇僧挫卜任汰蛇忻驼羌欺现代回归分析方法现代回归分析方法(4)模型外推法(simulationextrapolation):步骤:(i)随机模拟产生一个测度误差不断增大的样本;即:这里是独立同分布的.扎世震污怯讨羽城螟伎玖阑坞抵磨枫桓赤藐叶隆圆力嘻豢厕椎褐拍黔檀骋现代回归分析方法现代回归分析方法(ii)定义估计量;取并画出对的二维图形.(iii)外推外推函数模型至=-1;即峻惠吻浙波颐炼意鞍怀仔抬紫但锋暮耘咽犀蛤柯泅爵到捏凑怎蓬捍啥侯目现代回归分析方法现代回归分析方法常用的函数模型有:(a)(b)曝娄咳怎秩羡枕双筐蔷鳃峻癣吨曼茸压介括元值窍戴铀挠焉钩腾固概毫笼现代回归分析方法现代回归分析方法性质:抽样误差测度误差引起的误差械相明司障角抉遇典铲当捷棋批乙衍馅属荡仲岩面壹耗平河幌逸耶寸挎虑现代回归分析方法现代回归分析方法