资源预览内容
第1页 / 共49页
第2页 / 共49页
第3页 / 共49页
第4页 / 共49页
第5页 / 共49页
第6页 / 共49页
第7页 / 共49页
第8页 / 共49页
第9页 / 共49页
第10页 / 共49页
亲,该文档总共49页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述
第五讲估计量的优良性准则(续),一、一致最小方差无偏估计(续),二、信息不等式,三、相合估计,一、一致最小方差无偏估计(续),定理4.3(Lehmann-Scheffe),无偏估计,,UMVUE,,注:,Lehmann-Scheffe定理实际上给出了两,种寻找UMVUE的方法,,(1),(2),但首先必须知,即寻找完全充分统,计量的函数使之成为的无偏估计。,例4.5,样本。,解,首先求完全充分统计量。,由于,又,的函数,,例4.6,注:,解,由因子分解定理可知,它是充分统计量。,由于,下证它也是完全的。,这个只,又因为,UMVUE。,二、信息不等式,在上一节,我们知道如果UMVUE存在,,则它在无偏估计类中是最好的,,且其方差不可,能是零,,不是无偏估计。,因为参数的方差为零的平凡估计,那么,现在的问题是:,对的无偏估计类,,(1),既然无偏估计的方差不是零,,在一定的条件下,,一个下界,,则必存在,这个下界到底是多少?,(2),若UMVUE存在,那么它的方差是否可以,达到这个下界?,问题(1)已由Cramer-Rao不等式(信息不,等式)揭示;,问题(2)不一定成立,,我们举例,予以阐述。,为了使问题简化,在这一小节中,我们仅讨,单参数和连续总体情况。,对多参数及离散总体,也有相应结论,可参看高等数理统计学,(茆诗松),或线性统计推断及应用,(C.R.Rao)。,(1),(2),Cramer-Rao正则族:,分可交换次序,,即,当仅有(1)成立时,我们可以定义所谓的,Fisher信息量(FisherInformationNumber),例4.7,设总体分布是Poisson分布族,,即,则,因而,可以证,明,,定理4.4(Cramer-RaoorInformationInequality),的统计量,,如果分布族是,Cramer-Rao正则族,,则对所,证明,由于对所有,,等式两边对求导可得,有,有,又因为对所有的,,等式两边对求导可得,即就是,这样就有,从而有,由SchwarzInequality,有,而,所以有,即就是,在信息不等式中,下界通过依赖于,因它是的数学期望,,也就是说对,不同的统计量而言,下界是变化的。,如果将此,有,特别地,,有,通常称量为Cramer-Rao下界。,注意:(1)在以上三个不等式中,的密度函数或分布率。,通常将看成一次观察所能获得的关于,参数的信息,,即一个观测值所含的信息,,那么就表示样本所含的信息。,(2),在将定理4.4应用于无偏估计类时,,一定要注意定理的条件是否满足。,Cramer,在1946年举例说明当定理的条件不满足时,,存在这样的无偏估计,,其方差小于信息不等,式的下界。,这个例子为:,取充分统计量作为参数的估计,,通过取其数学期望可获得参数的无偏估计为,则有,其具体证明过程课后自己完成。,对无偏估计类而言,,了方差的下界,,那么UMVUE方差是否一定取,既然信息不等式给出,得这个下界?,我们用下述例子说明不一定。,例4.8,一个简单样本。,试求参数的UMVUE,,并,证明其方差大于信息不等式的下界。,解,由于,由定理4.2知完全充分统计量为,,所以,UMVUE为,,且服从。,而由,有,统计量的函数,,所以它是的UMVUE。,为了计算UMVUE的方差,,令,则,而,所以,这说明的UMVUE的方差未达到信息不等,式的下界。,信息不等式的下界,,即,例4.9,一个简单样本。,解,由于,从而,对任,有,所以,即,故,定义4.4,则族,,其方差达到信息不等式的下界,,如果存在某无偏估计,即,则称为的,定义4.5,令,有效率(Efficiency)。,显然,因此,有效估计乃是有效率为1的无偏估计。,定义4.6,如果,都有,例如对证态总体,,我们知道是总,体方差的有偏估计,,且,这样有,定义4.7,如果存在无偏估,使得,成立,,则称为的,例如,由于,所以,即,而Cramer-Rao下界为,是有效估计。,但是,需要说明的是,当UMVUE的方差较大时,,方差小,的有偏估计也不失为一个好的估计。,三、相合估计,引例,假设掷一枚硬币,,出现正面的概率是,,出现反面的概率为。,为了估计正面出,现的概率,,做次独立重复试验,,即将硬币,反复掷次,,令,由大数定律知,,试验次数越多,,频率越,频,率稳定于(趋于)概率。,接近于正面出现的概率,,时,,当样本容量变大,要求参数的估计量具有这种极限性质实际,上是对估计量的基本要求,,这就是下面要介绍,估计量的相合性(Consistency)准则。,定义4.8,任一估计序列,,一般情形下证明估计的相合性可使用定义或大,数定律。,即大样本性质,,当样本容量有限时是无意义的。,例4.10,相合估计。,的一个简单样本,,证明,由例4.6知的密度函数为,且,这样,下面的定理在证明估计的相合性时很有用。,定理4.5,相合估计。,且,证明,从而,这样,即就是,在Hardy-Weinberg模型中同位基因,之一发生频率的三个频率替换估计为,又因为相应的函数,且由大数定律知,估计,,都是连续函数,,例如4.11,注:,(1),这里仅介绍(弱)相合性(依概率收敛),,还有强相合性(依概率1收敛或几乎必然收,敛)就不涉及。,(2),相合性本身不能说明估计达到某一可靠度,时,要求样本容量至少为多少。,(3),对同一参数而言,满足相合性的估计也许,有多个。,(4),在一定的条件下,可以证明频率替换估计,,矩估计,极大似然估计都是相合估计。,对于(3),当存在多个相合估计时,,关于它们,的优劣往往可通过比较其渐近分布的渐近方差,的大小来进行,,定义4.9,都有,对任意实数,,最常用的渐近分布是正态分布。,简记为,列,,的,注意:,因满,足,和,的任,意序列也能使定义的条件成立。,这说明渐近正态性并不能确定用,近似概率,达到某精度时样本容量必须至少是多少。,一般情形下,,可取,对频率替换估计,,其中,在Hardy-Weinberg模型中,例如4.12,都是相合估计,,频率替换估计,的三个,它们相应的函数为,究竟哪个最优呢?,正态分布的方差。,比较其渐近,从而有,其中,比较这三个渐近方差,,可知最小,,因此可,以认为是的较好估计,,实际上,是的MLE。,注:,在一定的条件下,可以证明矩估计,极,大似然估计也具有渐近正态性。,
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号