资源预览内容
第1页 / 共54页
第2页 / 共54页
第3页 / 共54页
第4页 / 共54页
第5页 / 共54页
第6页 / 共54页
第7页 / 共54页
第8页 / 共54页
第9页 / 共54页
第10页 / 共54页
亲,该文档总共54页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述
第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第1 1页页第六章 参数估计 6.2 点估计的评价标准 6.3 最小方差无偏估计 6.4 贝叶斯估计第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第2 2页页一般常用 表示参数,参数 所有可能取值组成的集合称为参数空间,常用表示。参数估计问题就是根据样本对上述各种未知参数作出估计。参数估计的形式有两种:点估计与区间估计。第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第3 3页页设 x1, x2, xn 是来自总体 X 的一个样本,我们用一个统计量 的取值作 为 的估计值, 称为 的点估计(量),简 称估计。在这里如何构造统计量 并没有明 确的规定,只要它满足一定的合理性即可。 这就涉及到两个问题: 其一 是如何给出估计,即估计的方法问题; 其二 是如何对不同的估计进行评价,即估计的好坏判断标准。第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第4 4页页6.2 点估计的评价标准 6.2.1 相合性我们知道,点估计是一个统计量,因此它是一个随 机变量,在样本量一定的条件下,我们不可能要求 它完全等同于参数的真实取值。但如果我们有足够 的观测值,根据格里纹科定理,随着样本量的不断 增大,经验分布函数逼近真实分布函数,因此完全 可以要求估计量随着样本量的不断增大而逼近参数 真值,这就是相合性,严格定义如下。 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第5 5页页定义6.2.1 设 为未知参数, 是 的一个估计量,n 是样本容量,若对任 何一个0,有(6.2.1) 则称 为 参数的相合估计。 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第6 6页页相合性被认为是对估计的一个最基本要求, 如果一个估计量, 在样本量不断增大时,它 都不能把被估参数估计到任意指定的精度, 那么这个估计是很值得怀疑的。 通常, 不 满足相合性要求的估计一般不予考虑。证明 估计的相合性一般可应用大数定律或直接由 定义来证.第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第7 7页页若把依赖于样本量n的估计量 看作一个随机变量序列,相合性就是 依概率收敛于 ,所以证明估计的相合性可应用依概率收敛的性质及各种大数定律。第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第8 8页页在判断估计的相合性时下述两个定理是很有用的 。定理6.2.1 设 是 的一个估计量,若则 是 的相合估计,定理6.2.2 若 分别是 1, , k 的相合估计, =g( 1 , , k) 是 1, , k 的连续函数,则 是 的相合估计。第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第9 9页页例6.2.2 设 x1, x2 , , xn 是来自均匀总体U(0, )的样本,证明 的极大似然估计是相合估计。 证明:在例6.1.7中我们已经给出 的极大似然估 计是 x(n)。由次序统计量的分布,我们知道 x(n) 的分布密度函数为 p(y)=nyn-1/ n, y 1, 比 有效。这表明用全部数据的平均估计总体均值要比只使用部分数据 更有效。 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第1616页页例6.2.7 均匀总体U(0, )中 的极大似然估计是x(n) ,由于 ,所以x(n)不是 的无偏估计,而 是 的渐近无偏估计。经过修偏后可以得到 的一个无偏估计: 。且另一方面,由矩法我们可以得到 的另一个无偏 估计 ,且由此,当n1时, 比 有效。第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第1717页页6.2.4 均方误差 无偏估计不一定比有偏估计更优。评价一个点估计的好坏一般可以用:点估计值 与参数真值 的距离平方的期望,这就是下式给 出的均方误差均方误差是评价点估计的最一般的标准。我们希 望估计的均方误差越小越好。 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第1818页页注意到 ,因此(1) 若 是 的无偏估计,则 ,这说明用方差考察无偏估计有效性是合理的。(2) 当 不是 的无偏估计时,就要看其均方误差 。下面的例子说明:在均方误差的含义下有些有偏估计优于无偏估计。 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第1919页页例6.2.8 对均匀总体U(0, ),由 的极大似然估计得到的无偏估计是 ,它的均方误差 现我们考虑的形如 的估计,其均方差为 用求导的方法不难求出当 时上述均方误差达到最小,且其均方误差 所以在均方误差的标准下,有偏估计 优于无偏估 计 。 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第2020页页6.3 最小方差无偏估计 6.3.1 Rao-Blackwell定理 以下定理说明:好的无偏估计都是充分统计量的函数。定理6.3.2 设总体概率函数是 p(x, ), x1, x2 , , xn 是其样本,T=T(x1, x2 , , xn )是 的充分统计量,则 对 的任一无偏估计 ,令 ,则 也是 的无偏估计,且 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第2121页页第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第2222页页定理6.3.2说明:如果无偏估计不是充分统计 量的函数,则将之对充分统计量求条件期望可以得到一个新的无偏估计,该估计的方差比原来的估计的方差要小,从而降低了无偏估计的方差。换言之,考虑 的估计问题只需要在基于充分统计量的函数中进行即可,该说法对所有的统计推断问题都是正确的,这便是所谓的充分性原则。 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第2323页页例6.3.1 设 x1, x2 , , xn 是来自b(1, p)的样本,则 是p 的充分统计量。为估计 =p2,可令由于 ,所以 是 的无偏 估计。这个只使用了两个观测值的估计并不好. 下面我们用Rao-Blackwell定理对之加以改进:求 关于充分统计量 的条件期望,得第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第2424页页6.3.2 最小方差无偏估计 定义6.3.1 对参数估计问题,设 是 的一个无偏估计,如果对另外任意一个 的无偏估计 ,在参数空间上都有则称 是 的一致最小方差无偏估计,简记为UMVUE。如果UMVUE存在,则它一定是充分统计量的函数。第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第2525页页定理6.3.3 设 x=(x1, x2 , , xn) 是来自某总体的一个样本, 是 的一个无偏估计, 如果对任意一个满足E(x)=0的(x),都有则 是 的UMVUE。关于UMVUE,有如下一个判断准则。第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第2626页页例6.3.2 设 x1,x2 ,xn 是来自指数分布Exp(1/ )的样 本,则T = x1+xn 是 的充分统计量,而 是 的无偏估计。设 =(x1 , x2 , , xn)是0的任一无偏 估计,则两端对 求导得这说明 ,从而 , 由定理6.3.3,它是 的UMVUE。 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第2727页页6.3.3 Cramer-Rao不等式 定义6.3.2 设总体的概率函数 P(x, ), 满足下列条件:(1) 参数空间是直线上的一个开区间;(2) 支撑 S=x: P(x, )0与 无关;(3) 导数 对一切 都存在;(4) 对P(x, ),积分与微分运算可交换次序;(5) 期望 存在;则称 为总体分布的费希尔(Fisher) 信息量。 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第2828页页费希尔信息量是数理统计学中一个基本概念,很多的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差,无偏估计的方差的下 界等都与费希尔信息量I( )有关。I( )的种种 性质显示,“I( )越大”可被解释为总体分布中包含未知参数 的信息越多。第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第2929页页例6.3.3 设总体为泊松分布P()分布,则于是第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第3030页页例6.3.4 设总体为指数分布,其密度函数为可以验证定义6.3.2的条件满足,且于是第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第3131页页定理6.3.4(Cramer-Rao不等式)设定义6.3.2的条件满足,x1, x2 , , xn 是来自 该总体的样本,T=T(x1, x2 , , xn )是g( )的任一个无偏估计, 存在,且对 中一切 ,微分可在积分号下进行,则有 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第3232页页 上式称为克拉美-罗(C-R)不等式; g()2/(nI( )称为g( )的无偏估计的方差 的C-R下界,简称g( )的C-R下界。 特别,对 的无偏估计 ,有 ; 如果等号成立,则称 T=T(x1, , xn) 是 g( )的有效估计,有效估计一定是UMVUE 。第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第3333页页例6.3.5 设总体分布列为p(x, )= x(1- )1-x, x=0,1,它满足定义6.3.2的所有条件,可以算得该分布的费希尔信息量为 , 若 x1, x2, , xn 是该总体的样本,则 的C-R 下界为(nI( )-1= (1- )/n。因为 是 的无 偏估计,且其方差等于 (1- )/n,达到C-R 下界,所以 是 的有效估计,它也是 的UMVUE。 第六章第六章 参数估计参数估计华东师范大学华东师范大学* *第第3434页页例6.3.6 设总体为指数分布Exp(1/ ),它满足定 义6.3.2的所有条件,例6.3.4中已经算出该分布的费希尔信息量为I( ) = -2,若x 1, x2, , xn 是 样本,则 的C-R下界为(nI( )-1= 2
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号