概率论与数理统计第18讲（夜大） 第五章 参 数 估 计 第一节 点估计 参数估计问题是利用对总体的抽样得到的信息来估计总体的某些参数或者参数的某个函数，如师大学生的身高问题，可以认为服从正态分布，通过参数估计，可以得到均值和方差。 在参数估计问题中，我们总是假定总体具有已知的分布形式，未知的仅仅是一个或几个参数。而总体的真分布完全由这些参数所决定，因此通过估计参数就可以估计总体的真分布。 点估计问题的一般提法如下：设总体X的分布函数的形式为已知，是待估计参数。是X的一个样本，是相应的一个样本值。点估计问题就是要构造一个适当的统计量，用它的观察值作为未知参数的近似值。我们称为的估计量，为的估计值。在不致混淆的情况下统称估计量和估计值为估计。并都简记为。由于估计量是样本的函数，因此对于不同的样本值，的估计值一般是不相同的。 下面介绍两种常用的构造估计量的方法：矩估计法和最大似然估计法。 一、矩估计法 设X为连续型随机变量，其概率密度为，或X为离散型随机变量，其分布律为，其中为待估参数，是来自X的样本。假设总体X的前阶矩； 存在。一般来说，它们是的函数。基于样本矩依概率收敛于相应的总体矩，样本矩的连续函数依概率收敛于相应的总体矩的连续函数，我们就可以利用样本矩作为相应的总体矩的估计量，而以样本矩的连续函数作为相应的总体矩的连续函数的估计量。这种估计方法称为矩估计法。 其做法如下：设 这是一个包含个未知参数的联立方程组。一般来说，可以从中解出，得到 以分别代替上式中的，就以分别作为，的估计量，这种估计量称为矩估计量。矩估计量的观察值称为矩估计值。 例1 设总体X的均值，方差都存在且未知，是来自X的一个样本，试求，的矩估计量。解： 解得 分别以代替，得到，的矩估计量分别为， 结果表明，总体均值与方差的矩估计量的表达式不因不同的总体分布而不同。 二、最大似然估计法 若总体X属于离散型，其分布律的形式已知，为待估参数，是可能的取值范围。设是来自X的样本，则的联合分布律为：。又设是相应于的一个样本值。容易知道样本取到观察值的概率，即事件发生的概率为 这一概率随的取值而变化，它是的函数，称为样本的似然函数（注意这里是已知的样本值，它们都是常数）。 关于最大似然估计法，我们有以下想法：现在已经取到样本值了，这表明取到这一样本值的概率比较大。我们当然不会考虑那些不能使样本出现的作为的估计值，再者，如果已知当时使取很大值，而中其它的值使取很小值，我们自然认为取作为参数的估计值，较为合理。由费舍引进的最大似然估计法，就是固定样本观察值，在取值范围内挑选使似然函数达到最大的参数值，作为的估计值，即取使：这样得到的与样本值有关，常记为，称为参数的最大似然估计值，而相应的统计量称为参数的最大似然估计量。 若总体X为连续型，概率密度为的形式已知，为待估参数，是的取值范围。设是来自X的样本，则的联合概率密度为：又设是相应于的一个样本值。则随机点（）落在（）的邻域（边长分别为的维立方体）内的概率近似为：。其值随的取值而变化。与离散型情况一样，我们取的估计值使概率取到最大值，但考虑到不随而变，故只需要考虑函数：，的最大值。这里称为样本的似然函数。若： ，则称为参数的最大似然估计值，而相应的统计量为参数的最大似然估计量。 这样，确定最大似然估计量的问题就归结为求最大值的问题了。 在很多情况下，和关于可微，这时常可从方程解得。由因为与在同一处取到极值，因此，的最大似然估计也可以从方程求得，而后一方程求解往往比较方便。这个方程称为对数似然方程。 最大似然估计法也适用于分布含有多个未知参数的情况。这时，似然函数L是这些未知参数的函数。分别令，解方程组就可以得到各个未知参数的最大似然估计值。这样的方程称为对数似然方程组。 例3 为了估计湖中有多少条鱼，特从湖中捕出1000条鱼，标上记号后又放回湖中，然后在捕150条鱼，发现其中有10条鱼带有记号， 在湖中有多少条鱼，才能使150条鱼中出现10条带有记号的鱼的概率最大？第二节 估计量的评选标准从前面的分析可以看出，对于同一参数，用不同的估计方法求出的估计量可能不相同，此外，原则上任何统计量都可以作为未知参数的估计量。这就产生了问题，采用什么标准来评价估计量的问题。 （1）无偏性 设是总体X的一个样本。是包含在总体X的分布中的待估计参数。 定义：无偏性。若估计量的数学期望存在，且对于任意，有，则称是的无偏估计量。 在科学技术中，称为以作为的估计的系统误差。无偏估计的实际意义就是无系统误差。如设总体X的均值为，方差均未知，由前面分析可以知道 ；也就是说不论总体服从什么分布，样本均值是总体均值的无偏估计；样本方差是总体方差的无偏估计。而估计量却不是的无偏估计，因此我们一般取作为的估计量。 （2）有效性 现在来比较参数的两个无偏估计量，如果在样本容量相同的情况下，的观察值较更密集在真值的附近，我们就认为较为理想。由于方差是随机变量取值与其数学期望（这里）的偏离程度的度量，所以无偏估计以方差小者为好。这就引出了估计量有效性这一概念。 定义：有效性。设与都是的无偏估计量，若对于任意，有，且至少对于某一个上式中的不等号成立，则称较有效。 例3 （续例2）试证当时，的无偏估计量较有效。 证明：由于，故有，再者，由于，故有。当时，故较有效。 （3）相合性 无偏性和有效性都是在样本容量固定的前提下提出的。我们自然希望随着样本容量的增大，一个估计量的值稳定于待故参数的真值。这样，对估计量又有下述相合性的要求。 定义：相合性。设为参数的估计量，若对于任意，当时，依概率收敛于，则称为的相合估计量。 即，若对于任意都满足：对于任意，有 ，则称为的相合估计量。 相合性是对一个估计量的基本要求，若估计量不具有相合性，那么不论样本容量取多么大，都不能将估计得足够准确，这样的估计量是不可取的。第四节 区间估计 对于一个未知量，人们在测量或计算时，常常不以得到近似值为满足，还需要估计误差，即要求知道近似值的精确程度。类似地，对未知参数，除了求出它的点估计外，我们还希望估计出一个范围，并希望知道这个范围包含参数真值的可信程度。这样的范围通常以区间的形式给出，同时还给出此区间包含真值的可信程度。这种形式的估计称为区间估计，这样的区间称为置信区间。 置信区间：设总体X的分布函数为，为待估参数，是可能的取值范围。对于给定值，若由样本确定的两个统计量和，对于任意，满足则称随机区间是的置信水平为的置信区间，和分别称为置信水平为的双侧置信区间的置信下限和置信上限，称为置信水平。 当X是连续型随机变量时，对于给定的，我们总是按要求求出置信区间。而当X是离散型随机变量时，对于给定的，我们常常找不到区间使得恰好等于。此时我们就去找区间，使得至少为，且尽可能接近。 上面的概率表达式含义如下：若反复抽样多次（各次得到的样本容量都相等）。每个样本值确定一个区间，每个这样的区间要么包含的真值，要么不包含的真值，按照贝努力大数定律，在这样多的区间中，包含真值的约占100（）%，不包含真值的约占。例如：若，反复抽样1000次，则得到1000个区间中不包含真值的约仅为10个。入图所示 例1 设总体为未知参数，为已知，是来自X的样本，求参数的置信水平为的置信区间。 解：已知是的无偏估计，且有，可以看出所服从的分布不依赖于任何未知参数。按标准正态分布的上分位点的定义，有即 这样我们就得到了的一个置信水平为的置信区间，这样的置信区间常常写成。 例2 从正态总体中抽取容量为的样本，如果要求其样本均值位于区间内的概率不小于，问样本容量至少应取多大？解：因为独立同正态分布，所以样本均值，则，从而有，所以有，所以至少取。 作业： 设总体为未知参数，由一个样本值算得样本均值的观察值，求参数的置信水平为的置信区间。 解：的一个置信水平为的置信区间， 。且。于是得到一个置信水平为的置信区间