统计教研室 刘莲花6.1 参数的点估计参数的点估计点估计概念点估计概念矩法矩法极大似然法极大似然法小结小结1偶然现象)统计教研室 刘莲花1. 1. 分布分布: : 2. t 分布分布上节知识回顾上节知识回顾 3. F 分布分布 一、三种分布一、三种分布2统计教研室 刘莲花二、抽样分布二、抽样分布3统计教研室 刘莲花 上一章，我们介绍了总体、样本、简上一章，我们介绍了总体、样本、简单随机样本、统计量和抽样分布的概念，单随机样本、统计量和抽样分布的概念，介绍了统计中常用的几大分布，给出了几介绍了统计中常用的几大分布，给出了几个重要的抽样分布定理个重要的抽样分布定理. . 它们是进一步学它们是进一步学习统计推断的基础习统计推断的基础. .4统计教研室 刘莲花 现在我们来介绍一类重要的统计推断问题现在我们来介绍一类重要的统计推断问题 参数估计问题是利用从总体抽样得到的信息参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数来估计总体的某些参数或者参数的某些函数. 参数估计参数估计估计废品率估计废品率估计新生儿的平均体重估计新生儿的平均体重 在参数估计问题中，假定总体分布在参数估计问题中，假定总体分布形式已知，未知的仅仅是一个或几个形式已知，未知的仅仅是一个或几个参数参数.5统计教研室 刘莲花这类问题称为参数估计这类问题称为参数估计. .参数估计问题的一般提法参数估计问题的一般提法X1,X2,Xn要依据该样本对参数要依据该样本对参数作出估计，或估计作出估计，或估计的某个已知函数的某个已知函数 .现从该总体抽样，得样本现从该总体抽样，得样本设有一个总体，总体的分布函数设有一个总体，总体的分布函数向量向量) . 为为 F(x, )，其中，其中 为未知参数为未知参数 ( 可以是可以是6统计教研室 刘莲花问题问题参数估计参数估计参数估计概念参数估计概念总体总体X 的分布类型已知，但其中的一个或几个参数未知，的分布类型已知，但其中的一个或几个参数未知，如何对总体分布的参数作出估计。如何对总体分布的参数作出估计。点估计点估计区间估计区间估计点估计：点估计：估计未知参数的值估计未知参数的值区间估计：区间估计：估计未知参数的取值范围，并使此范围估计未知参数的取值范围，并使此范围包含未知参数真值的概率为给定的值包含未知参数真值的概率为给定的值. .7统计教研室 刘莲花（假定身高服从正态分布假定身高服从正态分布 ） 设这设这5个数是个数是:1.65 1.67 1.68 1.78 1.69估计估计 为为1.68，这是点估计这是点估计.这是区间估计这是区间估计. .估计估计 在区间在区间1.57, 1.84内，内，假如我们要估计我们班男生的平均身高假如我们要估计我们班男生的平均身高. 现从该总体选取容量为现从该总体选取容量为5 5的样本，我们的样本，我们的任务是要根据选出的样本（的任务是要根据选出的样本（5 5个数）求出个数）求出总体均值总体均值 的估计的估计. . 而全部信息就由这而全部信息就由这5 5个个数组成数组成 . .8统计教研室 刘莲花点估计的概念：点估计的概念：设总体设总体X 的分布中含有未知参数的分布中含有未知参数从总体从总体X 中抽取一个中抽取一个样本样本其观测值为其观测值为利用样本构造一个利用样本构造一个是是的点估计量的点估计量(Point estimate)， 则称则称统计量统计量如果以它的观测值作为未知参数如果以它的观测值作为未知参数的估计值，的估计值，而称其观测值而称其观测值是是点估计值点估计值。 9统计教研室 刘莲花一、矩估计法一、矩估计法(method of moments) 矩估计法是英国统计学家矩估计法是英国统计学家K.皮尔逊皮尔逊最早提出来的最早提出来的 . .【替换原理替换原理】10统计教研室 刘莲花根据替换原则，在总体分布形式未知的场根据替换原则，在总体分布形式未知的场合也可以对各种参数作出估计，譬如：合也可以对各种参数作出估计，譬如：用样本均值估计总体均值用样本均值估计总体均值用样本方差估计总体方差用样本方差估计总体方差用事件用事件A A出现的频率估计事件发生的概率出现的频率估计事件发生的概率11第六章第六章 参数估计参数估计9/19/20249/19/2024第第1212页页例6.2.1 对某型号的20辆汽车记录其每加仑汽油的行驶里程(km)，观测数据如下： 29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9 经计算有 由此给出总体均值、方差和中位数的估计分别为: 28.695, 0.9185 和 28.6。 矩法估计的实质是用经验分布函数去替换总体分布，其理论基础是格里纹科定理。统计教研室 刘莲花记总体记总体k阶矩为阶矩为样本样本k阶矩为阶矩为用相应的样本矩去估计总体矩的估计方法用相应的样本矩去估计总体矩的估计方法就称为矩估计法就称为矩估计法.记总体记总体k阶中心矩为阶中心矩为样本样本k阶中心矩为阶中心矩为13统计教研室 刘莲花 用样本的各阶矩来估计总体的各阶矩的的方法用样本的各阶矩来估计总体的各阶矩的的方法。 具体步骤具体步骤（重点）（重点） 若总体若总体X的分布中含有的分布中含有r r个待估参数个待估参数1 1, , ,r r 。矩估计法：矩估计法：14统计教研室 刘莲花2、若上述方程组可解，则从中解出：、若上述方程组可解，则从中解出：3、用样本矩作为总体矩的估计量，即、用样本矩作为总体矩的估计量，即4、则得到参数的矩估计量：、则得到参数的矩估计量：15统计教研室 刘莲花说明：说明：一般的可用样本的一般的可用样本的k阶原点矩阶原点矩 估计总体的估计总体的k阶原点矩阶原点矩 ，用样本的，用样本的k阶中心矩阶中心矩 估计总体的估计总体的k阶阶中心矩中心矩 ，注意总体方差的矩估计量是修正后的样本，注意总体方差的矩估计量是修正后的样本方差方差 ，而不是样本方差，而不是样本方差16统计教研室 刘莲花17统计教研室 刘莲花18统计教研室 刘莲花一个参数的矩估计量可能不是唯一的，此时一般使用低阶样本矩获得的估计量19统计教研室 刘莲花练习练习练习练习：解：解：20统计教研室 刘莲花例例6.2.3 设设 X1,X2,Xn 是取自总体是取自总体 X 的的一个样本一个样本, 求求 的矩估计的矩估计. 解：解：X 的密度函数为的密度函数为 通过计算易得通过计算易得 21统计教研室 刘莲花22 用样本的各阶矩来估计总体的各阶矩的的方法。用样本的各阶矩来估计总体的各阶矩的的方法。 具体步骤具体步骤 若总体若总体X的分布中含有的分布中含有r个待估参数个待估参数1, ,r 。一、矩估计法一、矩估计法（重点）（重点）上节知识回顾上节知识回顾22统计教研室 刘莲花232、若上述方程组可解，则从中解出：、若上述方程组可解，则从中解出：3、用样本矩作为总体矩的估计量，即、用样本矩作为总体矩的估计量，即4、则得到参数的矩估计量：、则得到参数的矩估计量：23统计教研室 刘莲花【结论结论】矩估计法的优点：矩估计法的优点： 当总体的原点矩不存在时，不能采用矩法当总体的原点矩不存在时，不能采用矩法简便易于计算简便易于计算矩估计法的矩估计法的缺点：缺点：24统计教研室 刘莲花二、二、最大最大似然似然估计估计(maximum likelihood estimation) 首先由德国数学家首先由德国数学家Guass在在1821年针对正态分布提年针对正态分布提出的；英国统计学家出的；英国统计学家Fisher在在1922年再次提出了这种方年再次提出了这种方法并证明了它的一些性质，从而使得最大似然法得到法并证明了它的一些性质，从而使得最大似然法得到了广泛的应用。了广泛的应用。25统计教研室 刘莲花最大似然法的基本思想最大似然法的基本思想一只野兔从前方窜过一只野兔从前方窜过 .是谁打中的呢？是谁打中的呢？ 某位同学与一位猎人一起外某位同学与一位猎人一起外出打猎出打猎 .如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下 .26统计教研室 刘莲花 你会想，只发一枪便打中你会想，只发一枪便打中, 猎人命中的概率一猎人命中的概率一般大于这位同学命中的概率般大于这位同学命中的概率 . 看来这一枪是猎人射看来这一枪是猎人射中的中的 . 这个例子所作的推断已经体现了这个例子所作的推断已经体现了最最大似然法的大似然法的基本思想基本思想 . .27统计教研室 刘莲花 最最大似然法的基本思想大似然法的基本思想再再看一个简单例子：看一个简单例子： 例例6.3.16.3.1：设有外形完全相同的两个箱子，甲：设有外形完全相同的两个箱子，甲箱中有箱中有9999个白球和个白球和1 1个黑球，乙箱中有个黑球，乙箱中有9999个黑球个黑球1 1个白球，今随机抽取一箱，并从中抽取一球，结个白球，今随机抽取一箱，并从中抽取一球，结果是白球，问这球是从哪一箱中取得的？果是白球，问这球是从哪一箱中取得的？28统计教研室 刘莲花 解：不管是哪一个箱子，从中任取一球都有解：不管是哪一个箱子，从中任取一球都有两个可能，表示取出白球，表示取出黑球，如两个可能，表示取出白球，表示取出黑球，如果我们取出的是甲箱，则发生的概率为果我们取出的是甲箱，则发生的概率为.99,.99,而而如果取出的是乙箱，则发生的概率为如果取出的是乙箱，则发生的概率为.0.0, ,现现在一次试验在一次试验A A发生了，所以根据经验认为最像是从发生了，所以根据经验认为最像是从甲箱取出的，甲箱取出的，“最像最像”就是就是“最大似然最大似然”之意。之意。 29统计教研室 刘莲花30统计教研室 刘莲花31统计教研室 刘莲花设总体设总体X是离散随机变量是离散随机变量似然函数似然函数(likelihood function)：是一组样本观测值，则是一组样本观测值，则直观想法：直观想法：选取的选取的应使这组样本观测值出现的可能性最大应使这组样本观测值出现的可能性最大.实现途径：实现途径：求似然函数求似然函数L()的最大值的最大值.令令或或解方程可得解方程可得就是参数就是参数的最大似然估计值。的最大似然估计值。32统计教研室 刘莲花设总体设总体X是连续型随机变量是连续型随机变量33统计教研室 刘莲花说明说明 对数似然函数34统计教研室 刘莲花求极大似然估计的步骤（重点）求极大似然估计的步骤（重点）此方程称为对数此方程称为对数似然方程，方程似然方程，方程的解即为所要求的解即为所要求的极大似然估计的极大似然估计35统计教研室 刘莲花解解例例 :设总体设总体X 服从泊松分布服从泊松分布 P( ), 其中其中为未知参数。如果取为未知参数。如果取得样本观测值为得样本观测值为 求求 的的极大似然估计值。极大似然估计值。（1）由）由得似然函数得似然函数 得得 的极大似然估计值为的极大似然估计值为令令36统计教研室 刘莲花练习练习 设总体设总体 X 服从指数分布，概率密度为服从指数分布，概率密度为求极大似然值。求极大似然值。其中其中 为未知参数。如果取得样本观测值为为未知参数。如果取得样本观测值为 解解似然函数为似然函数为 得得 的极大似然估计值为的极大似然估计值为令令37统计教研室 刘莲花然估计值。然估计值。例例6.3.4 总体总体X服从正态分布服从正态分布其中其中及及 是未知参数。是未知参数。如果取得样本观测值为如果取得样本观测值为求参数求参数及及 的极大似的极大似似然函数为似然函数为解解38统计教研室 刘莲花令令所以得所以得 及及 的极大似然估计值为的极大似然估计值为解得解得39第六章第六章 参数估计参数估计9/19/20249/19/2024第第4141页页 极大似然估计有一个简单而有用的性质：如果 是 的极大似然估计，则对任一函数 g( )，其极大似然估计为 。该性质称为极大似然估计的不变性，从而使一些复杂结构的参数的极大似然估计的获得变得容易了。 第六章第六章 参数估计参数估计9/19/20249/19/2024第第4242页页 例6.3.5 设 x1 , x2 , , xn是来自正态总体N( , 2) 的样本，则和 2的极大似然估计为 ，于是由不变性可得如下参数的极大似然估计，它们是: 标准差 的MLE统计教研室 刘莲花解解得得 的矩估计值为的矩估计值为：令令(1)取得样本观测值为取得样本观测值为 求参数求参数 的矩估计与极大似的矩估计与极大似练习练习 设总体设总体X的概率密度为的概率密度为如果如果然估计值。然估计值。45统计教研室 刘莲花得得 的极大似然估计值为：的极大似然估计值为：(2) 似然函数为：似然函数为：46统计教研室 刘莲花解：似然函数为解：似然函数为对数似然函数为对数似然函数为练习练习 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本求求 的极大似然估计的极大似然估计. .其中其中 0,47统计教研室 刘莲花求导并令其为求导并令其为0 0=0从中解得从中解得即为即为 的的MLE .对数似然函数为对数似然函数为48统计教研室 刘莲花 用样本的各阶原点矩来估计总体的各阶原点矩的用样本的各阶原点矩来估计总体的各阶原点矩的的方法。的方法。 具体步骤：具体步骤：1、设总体、设总体X的的r 阶原点矩存在。阶原点矩存在。X的分布中含有的分布中含有r 个待估参数个待估参数1, ,r 。总体的。总体的r阶原点矩为：阶原点矩为：1、矩估计法：、矩估计法： 四、小结四、小结49统计教研室 刘莲花2、若上述方程组可解，则从中解出：、若上述方程组可解，则从中解出：3、用样本矩作为总体矩的估计量，即、用样本矩作为总体矩的估计量，即4、则得到参数的矩估计量：、则得到参数的矩估计量：50统计教研室 刘莲花 2. . 最大似然法最大似然法（1 1）写似然函数：）写似然函数：（3）解似然方程）解似然方程:（2 2）写对数似然函数：）写对数似然函数：或或51