第第 七七 章章参参 数数 估估 计计 引言引言 上一讲，我们介绍了总体、样本、简上一讲，我们介绍了总体、样本、简单随机样本、统计量和抽样分布的概念，单随机样本、统计量和抽样分布的概念，介绍了统计中常用的三大分布，给出了几介绍了统计中常用的三大分布，给出了几个重要的抽样分布定理个重要的抽样分布定理. 它们是进一步学它们是进一步学习统计推断的基础习统计推断的基础. 总体总体样本样本统计量统计量描述描述作出推断作出推断研究统计量的性质和评价一个研究统计量的性质和评价一个统计推断的优良性，完全取决统计推断的优良性，完全取决于其抽样分布的性质于其抽样分布的性质.随机抽样随机抽样 现在我们来介绍一类重要的统计推断问题现在我们来介绍一类重要的统计推断问题 参数估计问题是利用从总体抽样得到的信息参数估计问题是利用从总体抽样得到的信息来估计总体的来估计总体的某些参数某些参数或者或者参数的某些函数参数的某些函数. 参数估计参数估计估计废品率估计废品率估计新生儿的体重估计新生儿的体重估计湖中鱼数估计湖中鱼数 估计降雨量估计降雨量 在参数估计问题中，假定总体分布形在参数估计问题中，假定总体分布形式已知，未知的仅仅是一个或几个参数式已知，未知的仅仅是一个或几个参数.这类问题称为这类问题称为参数估计参数估计.参数估计问题的一般提法参数估计问题的一般提法X1,X2,Xn要依据该样本对参数要依据该样本对参数作出估计，或估计作出估计，或估计的某个已知函数的某个已知函数 .现从该总体抽样，得样本现从该总体抽样，得样本设有一个统计总体，总体的分布函数设有一个统计总体，总体的分布函数向量向量) . 为为 F(x, )，其中其中 为未知参数为未知参数 ( 可以是可以是参数估计参数估计点估计点估计区间估计区间估计矩矩估计估计极大似然估计极大似然估计（假定身高服从正态分布（假定身高服从正态分布 ） 设这设这5个数是个数是:1.65 1.67 1.68 1.78 1.69估计估计 为为1.68， 这是这是点估计点估计.这是这是区间估计区间估计.估计估计 在区间在区间1.57, 1.84内，内，假如我们要估计某队男生的平均身高假如我们要估计某队男生的平均身高. 现从该总体选取容量为现从该总体选取容量为5的样本，我们的样本，我们的任务是要根据选出的样本（的任务是要根据选出的样本（5个数）求出个数）求出总体均值总体均值 的估计的估计. 而全部信息就由这而全部信息就由这5个个数组成数组成 . 第第 一一 节节 点点 估估 计计 一、点估计概念及讨论的问题一、点估计概念及讨论的问题例例1 已知某地区新生婴儿的体重已知某地区新生婴儿的体重X随机抽查随机抽查100个婴儿个婴儿得得100个体重数据个体重数据10,7,6,6.5,5,5.2, 呢呢? ?据此据此, ,我们应如何估计我们应如何估计和和而全部信息就由这而全部信息就由这100个数组成个数组成. ,我们需要构造出适当的样本我们需要构造出适当的样本的函数的函数g(X1,X2,Xn)，每当有了样本，就每当有了样本，就代入该函数中算出一个值，用来作为代入该函数中算出一个值，用来作为 的的估计值估计值 . 为估计为估计 把样本值代入把样本值代入g(X1,X2,Xn) 中，得到中，得到的一个点估计值的一个点估计值 .g(X1,X2,Xn)称为参数称为参数的点估计量，的点估计量， 定义定义7.1.17.1.1 设设X X1 1, , , ,X Xn n是总体是总体X X的一个样本，的一个样本，其分其分布函数为布函数为F(x;F(x; ), ), 。其中其中 为未知参数为未知参数, , 为为参数空间参数空间, , 若统计量若统计量g(Xg(X1 1, , , ,X Xn n) )可作为可作为 的一个估的一个估计计, ,则称其为则称其为 的的一个一个估计估计量量，记为，记为注：注：F(x;F(x; ) )也可用分布律或密度函数代替也可用分布律或密度函数代替. .若若x x1,1, , ,x xn n是样本的一个观测值是样本的一个观测值, , 由于由于g(xg(x1 1, , , ,x xn n) )是实数域上的一个点是实数域上的一个点, ,现用它现用它来估计来估计 , ,故称这种估计为故称这种估计为点估计点估计。 请注意，被估计的参数请注意，被估计的参数 是一个未知常数，而估是一个未知常数，而估计量计量 g(X1,X2,Xn)是一个随机变量，是样本的函是一个随机变量，是样本的函数数,当样本取定后，它是个已知的数值当样本取定后，它是个已知的数值,这个数称为这个数称为 的估计值的估计值 .估计值估计值. .点估计的经典方法是点估计的经典方法是矩估计法矩估计法与与极大似然估计法。极大似然估计法。使用什么样的统计量去估计使用什么样的统计量去估计 ？可以用样本均值可以用样本均值;也可以用样本中位数也可以用样本中位数 (从小到大排列的样本数列中间的值从小到大排列的样本数列中间的值);还可以用别的统计量还可以用别的统计量 .问题是问题是: 既然是总体的特征数，有没有一般的既然是总体的特征数，有没有一般的方法来求方法来求 ？类似地，用样本体重的方差类似地，用样本体重的方差 . .我们知道我们知道, ,服从正态分布服从正态分布由大数定律由大数定律, , 自然想到把样本体重的平均值作为总体平均自然想到把样本体重的平均值作为总体平均体重的一个估计体重的一个估计. .用样本体重的均值用样本体重的均值样本体重的平均值样本体重的平均值 二、寻求估计量的方法二、寻求估计量的方法1. 矩估计法矩估计法2. 极大似然法极大似然法3. 最小二乘法最小二乘法4. 贝叶斯方法贝叶斯方法这里我们主要介绍前面两种方法这里我们主要介绍前面两种方法 .1. 矩矩(估计估计)法法 其基本思想是其基本思想是用样本矩估计总体矩用样本矩估计总体矩 . 理论依据理论依据: 或格列汶科定理或格列汶科定理 它是基于一种简单的它是基于一种简单的“替换替换”思想建立起来的一种估计方思想建立起来的一种估计方法法 .是英国统计学家是英国统计学家K.皮尔逊皮尔逊最早提出的最早提出的 .大数定律大数定律记总体记总体k阶矩为阶矩为样本样本k阶矩为阶矩为用相应的样本矩去估计总体矩的估计方法用相应的样本矩去估计总体矩的估计方法就称为就称为矩估计法矩估计法.记总体记总体k阶中心矩为阶中心矩为样本样本k阶中心矩为阶中心矩为 设总体的分布函数中含有设总体的分布函数中含有k个未知参数个未知参数 都是这都是这k个参数的函数个参数的函数,记为：记为：,那么它的前那么它的前k阶矩阶矩一般一般i=1,2,k从这从这k个方程中解出个方程中解出那么用诸那么用诸 的估计量的估计量 Ai分别代替上式分别代替上式中的诸中的诸 , 即可得诸即可得诸 的矩估计量的矩估计量 ：j=1,2,kj=1,2,k例例2 设总体设总体X的数学期望的数学期望都是有限的，试求都是有限的，试求的矩法估计量。的矩法估计量。见见书中例书中例7.1.2解解: 由矩法由矩法,样本矩样本矩总体矩总体矩从中解得从中解得的矩估计的矩估计.即为即为数学期望数学期望是一阶是一阶原点矩原点矩 例例3 设总体设总体X的概率密度为的概率密度为是未知参数是未知参数,其中其中X1,X2,Xn是取自是取自X的样本的样本,求参数求参数 的矩估计的矩估计.解解:由密度函数知由密度函数知 例例4 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本其中其中 0,求求 的矩估计的矩估计.具有均值为具有均值为 的指数分布的指数分布故故 E(X- )= D(X- )=即即 E(X)= D(X)=解得解得令令用样本矩估计用样本矩估计总体矩总体矩 E(X)= D(X)= 矩法的优点是简单易行矩法的优点是简单易行,并不需要并不需要事先知道总体是什么分布事先知道总体是什么分布 . 缺点是，当总体类型已知时，没有缺点是，当总体类型已知时，没有 充分利用分布提供的信息充分利用分布提供的信息 . 一般场合下一般场合下,矩估计量不具有唯一性矩估计量不具有唯一性 . 其主要原因在于建立矩法方程时，其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有选取那些总体矩用相应样本矩代替带有一定的随意性一定的随意性 . 2. 极大似然法极大似然法 是是在在总总体体类类型型已已知知条条件件下下使使用用的的一一种种参数估计方法参数估计方法 . 它首先是由德国数学家它首先是由德国数学家高斯高斯在在1821年提出的年提出的 , GaussFisher然而，这个方法常归功于然而，这个方法常归功于英国统计学家英国统计学家费歇费歇 . 费歇费歇在在1922年重新发现了年重新发现了 这一方法，并首先研究了这这一方法，并首先研究了这 种方法的一些性质种方法的一些性质 . 极大似然法的基本思想极大似然法的基本思想 先看一个简单例子：先看一个简单例子：一只野兔从前方窜过一只野兔从前方窜过 .是谁打中的呢？是谁打中的呢？某位同学与一位猎人一某位同学与一位猎人一起外出打猎起外出打猎 .如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下 . 下下面面我我们们再再看看一一个个例例子子,进进一一步步体体会会极极大似然法的基本思想大似然法的基本思想 . 你就会想，只发一枪便打中你就会想，只发一枪便打中,猎人命中的猎人命中的概率一般大于这位同学命中的概率概率一般大于这位同学命中的概率. 看来这看来这一枪是猎人射中的一枪是猎人射中的 . 这个例子所作的推断已经体现了极大似这个例子所作的推断已经体现了极大似然法的基本思想然法的基本思想 . 例例5 设设XB(1,p), p未知未知.设想我们事先知设想我们事先知道道p只有两种可能只有两种可能:问问:应如何估计应如何估计p?p=0.7 或或 p=0.3如今重复试验如今重复试验3次次,得结果得结果: 0 , 0, 0由概率论的知识由概率论的知识, 3次试验中出现次试验中出现“1”的次数的次数k=0,1,2,3 将计算结果列表如下：将计算结果列表如下：应如何估计应如何估计p?p=0.7 或或 p=0.3k=0,1,2,3p值值 P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.70.027 0.189 0.441 0.343 0.30.343 0.441 0.189 0.027出现出现估计估计出现出现出现出现出现出现估计估计估计估计估计估计0.3430.4410.4410.343如果有如果有p1,p2,pm可供选择可供选择, 又如何合理又如何合理地选地选p呢呢?从中选取使从中选取使Qi 最大的最大的pi 作为作为p的估计的估计.i=1,2,m则估计参数则估计参数p为为时时Qi 最大最大,比方说比方说,当当 若重复进行试验若重复进行试验n次次,结果结果“1”出现出现k次次(0 k n), 我们计算一切可能的我们计算一切可能的 P(Y=k; pi )=Qi ， i=1,2,m 如果只知道如果只知道0p1,并且实测记录是并且实测记录是 Y=k (0 k n),又应如何估计又应如何估计p呢呢?注意到注意到是是p的函数的函数,可用求导的方法找到使可用求导的方法找到使f (p)达到达到极大值的极大值的p .但因但因f (p)与与lnf (p)达到极大值的自变量相达到极大值的自变量相同同,故问题可转化为求故问题可转化为求lnf (p)的极大值点的极大值点 .=f (p)将将ln f (p)对对p求导并令其为求导并令其为0,这时这时, 对一切对一切0p1,均有均有从中解得从中解得=0便得便得 p(n-k)=k(1-p) 以上这种以上这种选择一个参数使得实验结选择一个参数使得实验结果具有最大概率果具有最大概率的思想就是极大似然法的思想就是极大似然法的基本思想的基本思想 .这时这时,对一切对一切0p0,求导并令其为求导并令其为0=0从中解得从中解得即为即为 的极大似然估计值的极大似然估计值 .对数似然函数为对数似然函数为例例7 7 设设X1,X2,Xn是取自正态总体是取自正态总体的一个样本的一个样本,求参数求参数 的极大似然估计的极大似然估计.与矩估计一致与矩估计一致.解解: 由矩法由矩法,样本矩样本矩总体矩总体矩从中解得从中解得的矩估计的矩估计.即为即为数学期望数学期望是一阶是一阶原点矩原点矩 前面的例前面的例3 设总体设总体X的概率密度为的概率密度为是未知参数是未知参数,其中其中X1,X2,Xn是取自是取自X的样本的样本,求参数求参数 的矩估计的矩估计.是未知参数是未知参数,其中其中设总体设总体X的概率密度为的概率密度为X1,X2,Xn是取自是取自X的样本的样本.的极大似然估计呢的极大似然估计呢? 这一讲，我们介绍了参数点估计，给出了这一讲，我们介绍了参数点估计，给出了寻求估计量最常用的矩法和极大似然法寻求估计量最常用的矩法和极大似然法 . 可见，不同的估计方法可能得到不同的估可见，不同的估计方法可能得到不同的估计值，究竟哪个估计值更好呢？这就有必要计值，究竟哪个估计值更好呢？这就有必要讨论估计量的优良性，建立一些评价估计量讨论估计量的优良性，建立一些评价估计量好坏的标准。这就是下一节的内容。好坏的标准。这就是下一节的内容。