概率论与数理统计概率论与数理统计第十七讲第十七讲主讲教师：柴中林副教授主讲教师：柴中林副教授中国计量学院理学院中国计量学院理学院第七章第七章: : 参数估计参数估计数理统计的任务：数理统计的任务： 总体分布类型的判断；总体分布类型的判断； 总体分布中未知参数的推断总体分布中未知参数的推断( (参数估计参数估计与与 假设检验假设检验) )。参数估计问题的一般提法参数估计问题的一般提法 设总体设总体 X 的分布函数为的分布函数为 F( x, )，其中其中 为未知参数或参数向量，现从该总体中抽样为未知参数或参数向量，现从该总体中抽样,得到样本得到样本X1, X2 , , Xn . 依样本对参数依样本对参数 做出估做出估计计，或估计参数或估计参数 的的某个已知函数某个已知函数 g( ) 。 这类问题称为参数估计。这类问题称为参数估计。参数估计包括：参数估计包括：点估计点估计和和区间估计区间估计。 称该计算称该计算值为值为 的一个点估计。的一个点估计。 为估计参数为估计参数 ，需要构造适当的统计量，需要构造适当的统计量 T( X1, X2 , , Xn )，一旦当有了样本，就将样本值代入到该统计一旦当有了样本，就将样本值代入到该统计量中，算出一个值作为量中，算出一个值作为 的估计，的估计，寻求估计量的方法寻求估计量的方法1. 矩估计法矩估计法2. 极大似然法极大似然法3. 最小二乘法最小二乘法4. 贝叶斯方法贝叶斯方法 我们仅介绍前面的两种参数估计法我们仅介绍前面的两种参数估计法 。其思想是其思想是: 用同阶、同类用同阶、同类的样本矩来估计总体矩。的样本矩来估计总体矩。 矩估计是基于矩估计是基于“替换替换”思想建立起来的思想建立起来的一种参数估计方法一种参数估计方法 。 最早由英国统计学家最早由英国统计学家 K. 皮尔逊皮尔逊 提出。提出。7.1 矩估计矩估计矩估计就是用相应的样本矩去估计总体矩。矩估计就是用相应的样本矩去估计总体矩。设总体设总体 X 的分布函数中含的分布函数中含 k 个未知参数个未知参数 步骤一：步骤一：记总体记总体 X 的的 m 阶原点矩阶原点矩 E(Xm)为为 am , , m = = 1,2,1,2, ,k. .am( 1, 2, k), m =1, 2, , k. 一般地一般地, am (m = 1, 2, , K) 是总体分布是总体分布中参数或参数向量中参数或参数向量 ( 1, 2, , k) 的函数。的函数。 故故, am (m=1, 2, , k) 应记成应记成:步骤二：步骤二：算出样本的算出样本的 m 阶原点矩阶原点矩步骤三：步骤三：令令 得到关于得到关于 1 1, , 2 2, , , k k 的方程组的方程组( (L Lk)。一般要求方程组。一般要求方程组(1)(1)中有中有 k 个独立方程。个独立方程。步骤四：步骤四：解方程组解方程组(1), (1), 并记其解为并记其解为 这种参数估计法称为参数的矩估计法，这种参数估计法称为参数的矩估计法，简称矩法。简称矩法。解：解：先求总体的期望先求总体的期望例例1 1：设总体设总体 X 的概率密度为的概率密度为由矩法，令由矩法，令样本矩样本矩总体矩总体矩解得解得为为 的矩估的矩估计计。注意：要在参数上边加上注意：要在参数上边加上“”，表示参数的估计。它是统计量。表示参数的估计。它是统计量。解解: 先求总体的均值和先求总体的均值和 2 阶原点矩。阶原点矩。例例2：设设 X1,X2,Xn 是取自总体是取自总体 X 的简单样本的简单样本, X 有概率密度函数有概率密度函数令令y=(=(x- - )/)/ 令令y=(=(x- - )/)/ 用样本矩用样本矩估计总体矩估计总体矩得列出方程组列出方程组: :例例3：设总体设总体X的均值为的均值为 ，方差为，方差为 2，求求 和和 2 的的矩估计。矩估计。解：解：由由 故，均值,方差2的矩估计为求解，得求解，得如：如：正态总体正态总体N( , 2) 中中 和和 2 2的矩估计的矩估计为为又如：又如：若总体若总体 X U(a, b)，求，求a, b的矩估计。的矩估计。 解：解：列出方程组列出方程组 因因 解上述方程组，得到解上述方程组，得到 a, ,b 的矩估计的矩估计: : 矩估计的矩估计的优点是：优点是：简单易行简单易行, , 不需要事不需要事先知道总体是什么分布。先知道总体是什么分布。 缺缺点点是是：当当总总体体的的分分布布类类型型已已知知时时，未未充充分分利利用用分分布布所所提提供供的的信信息息；此此外外，一一般般情情形下，矩估计不具有唯一性形下，矩估计不具有唯一性 。7.2 极大似然估计极大似然估计 极大似然估计法是在总体的分布类型已极大似然估计法是在总体的分布类型已知前提下，使用的一种参数估计法知前提下，使用的一种参数估计法 。 该方法首先由德国数学家该方法首先由德国数学家高斯高斯于于 1821年年提出，其后英国统计学家提出，其后英国统计学家费歇费歇于于 1922年发现年发现了这一方法，研究了方法的一些性质，并给了这一方法，研究了方法的一些性质，并给出了求参数极大似然估计一般方法出了求参数极大似然估计一般方法极大极大似然估计原理似然估计原理 。I. 极大似然估计原理极大似然估计原理 设总体设总体 X 的分布的分布 (连续型时为概率密度，连续型时为概率密度，离散型时为概率分布离散型时为概率分布) 为为 f(x, ) , X1,X2,Xn 是抽自总体是抽自总体 X 的简单样本。于是，样本的联合的简单样本。于是，样本的联合概率函数概率函数 (连续型时为联合概率密度，离散型连续型时为联合概率密度，离散型时为联合概率分布时为联合概率分布) 为为被看作固定，被看作固定，但未知的参数。但未知的参数。视为变量视为变量将上式简记为将上式简记为 L( )，即，即称称 L( )为为 的似然函数。的似然函数。视为变量视为变量视为固定值视为固定值 假定现在我们观测到一组样本假定现在我们观测到一组样本 X1, X2, , Xn，要去估计未知参数，要去估计未知参数 。称称 为为 的极大似然估计的极大似然估计 (MLE)。 一种直观的想法是：哪个参数一种直观的想法是：哪个参数(多个参多个参数时是哪组参数数时是哪组参数) 使得现在的出现的可能性使得现在的出现的可能性 (概率概率) 最大，哪个参数最大，哪个参数(或哪组参数或哪组参数)就作为就作为参数的估计。参数的估计。 这就是这就是 极大似然估计原理。极大似然估计原理。如果如果 可能变化空间可能变化空间,称为称为参数空间。参数空间。 (4). 在最大值点的表达式中，代入样本值，在最大值点的表达式中，代入样本值， 就得参数就得参数 的极大似然估计。的极大似然估计。II. 求极大似然估计求极大似然估计(MLE)的一般步骤的一般步骤(1). 由总体分布导出样本的联合概率函数由总体分布导出样本的联合概率函数(连连 (2) 续型时为联合概率密度续型时为联合概率密度, 离散型时为联离散型时为联合合 (3) 概率分布概率分布)；(2). 把样本的联合概率函数中的自变量看成把样本的联合概率函数中的自变量看成 已知常数已知常数, 参数参数 看成自变量看成自变量, 得到似然得到似然 函数函数 L( )；(3). 求似然函数求似然函数 L( ) 的最大值点的最大值点 (常常转化常常转化 为求为求ln L( )的最大值点的最大值点) ，即，即 的的MLE;两点说明：两点说明： 求似然函数求似然函数 L( ) 的最大值点，可应用微积的最大值点，可应用微积分中的技巧。由于分中的技巧。由于 ln(x) 是是 x 的增函数，所的增函数，所以以 ln L( ) 与与 L( ) 在在 的同一点处达到各自的同一点处达到各自的最大值。假定的最大值。假定 是一实数是一实数, ln L( )是是 的的一个可微函数。通过求解似然方程一个可微函数。通过求解似然方程可以得到可以得到 的的MLE。 用上述方法求参数的极大似然估计有时行不用上述方法求参数的极大似然估计有时行不通，这时要用极大似然原理来求通，这时要用极大似然原理来求 。若若 是向量，上述似然方程需用似然方程组是向量，上述似然方程需用似然方程组代替代替 。III. 下面举例说明如何求参数的下面举例说明如何求参数的MLE例例1: 设设X1, X2, , Xn是取自总体是取自总体 XB(1, p) 的一个样本，求参数的一个样本，求参数 p 的极大似然估计。的极大似然估计。解：解：似然函数为似然函数为对数似然函数为：对数似然函数为：对对 p 求导，并令其等于零，得求导，并令其等于零，得上式等价于上式等价于解上述方程，得解上述方程，得换成换成换成换成例例2 2：求正求正态总体态总体 N( , 2) 参数参数 和和 2 2 的极的极大似然估计大似然估计( (注注: : 我们把我们把 2 2 看作一个参数看作一个参数) )。解：解：似然函数为似然函数为对数似然函数为对数似然函数为 似然方程组为似然方程组为由第一个方程，得到由第一个方程，得到代入第二方程，得到代入第二方程，得到 是是L L( ( , , 2 2) )的的最最大值点，大值点，即即 和和 2 2 的极大似然估计。的极大似然估计。 下面验证：下面验证：似然方程组的唯一解似然方程组的唯一解是似然是似然函数的最大值点。函数的最大值点。例例3：设总体设总体 X 服从泊松分布服从泊松分布 P( )，求参数，求参数 的极大似然估计。的极大似然估计。解：解：由由 X 的概率分布函数为的概率分布函数为得得 的似然函数的似然函数似然方程为似然方程为对数似然函数为对数似然函数为其解为其解为换成换成换成换成得得 的极大似然估计的极大似然估计例例 4：设设 X U(a, b)，求，求 a, b 的极大似然估计。的极大似然估计。 解：解：因因所以所以 由上式看到：由上式看到：L L( (a, ,b) )作为作为a和和b的二元函数的二元函数是不连续的，是不连续的，所以所以我们不能用似然方程组来求我们不能用似然方程组来求极大似然估计，而必须从极大似然估计的定义极大似然估计，而必须从极大似然估计的定义出发，求出发，求L(a,b)的最大值。的最大值。 为使为使 L(a, b) 达到最大，达到最大，b- -a 应该尽量地小。应该尽量地小。但但 b不能小于不能小于 max x1 1, ,x2 2, , ,xn n 。否则，。否则，L(a,b) = 0 0。类似地，。类似地，a 不能大于不能大于min x1 1, ,x2 2, , ,xn n 。因此，因此，a 和和 b b 的极大似然估计为的极大似然估计为解：解：似然函数为似然函数为例例5：设设 X1, X2, , ,Xn 是抽自总体是抽自总体 X 的一个样的一个样本，本，X 有如下概率密度函数有如下概率密度函数其中其中 0为未知常数。为未知常数。求求 的极大似然估计。的极大似然估计。也可写成也可写成求导并令其导数等于零，得求导并令其导数等于零，得解上述方程，得解上述方程，得小结小结 本讲首先介绍参数矩估计的基本思想以本讲首先介绍参数矩估计的基本思想以及求矩估计的步骤，给出多个求参数矩估计及求矩估计的步骤，给出多个求参数矩估计的例子；然后介绍参数极大似然估计的基本的例子；然后介绍参数极大似然估计的基本原理，求极大似然估计的基本方法，给出多原理，求极大似然估计的基本方法，给出多个求参数极大似然矩估计的例子。个求参数极大似然矩估计的例子。