参数估计参数估计- -矩法和极大似矩法和极大似然法然法可靠性数学基础可靠性数学基础 参数估计参数估计点估计点估计区间估计区间估计可靠性数学基础可靠性数学基础 可靠性数学基础可靠性数学基础 可靠性数学基础可靠性数学基础 可靠性数学基础可靠性数学基础 可靠性数学基础可靠性数学基础 可靠性数学基础可靠性数学基础 可靠性数学基础可靠性数学基础 为估计为估计 :我们需要构造出适当的样本的函数我们需要构造出适当的样本的函数 T(X1,X2,Xn) ， 每当有了样本，就代入该函数中算出一个值，用来每当有了样本，就代入该函数中算出一个值，用来作为作为 的估计值的估计值 .把样本值代入把样本值代入T(X1,X2,Xn) 中，中，估计值估计值 .T(X1,X2,Xn) 称为参数称为参数的的点估计量点估计量，得到得到 的一个的一个点点可靠性数学基础可靠性数学基础 我们知道我们知道, ,若若 , ,由大数定律由大数定律, , 自然想到把样本重量的平均值作为总体平均重量的一自然想到把样本重量的平均值作为总体平均重量的一个估计个估计. .样本重量的平均值样本重量的平均值则则 .用样本重量的均值用样本重量的均值 估计估计 . . 类似地，用样本重量的方差类似地，用样本重量的方差 估计估计 . .可靠性数学基础可靠性数学基础 使用什么样的统计量去估计使用什么样的统计量去估计 ？可以用样本均值可以用样本均值;也可以用样本中位数也可以用样本中位数;还可以用别的统计量还可以用别的统计量 .问题是问题是: 可靠性数学基础可靠性数学基础 二、寻求估计量的方法二、寻求估计量的方法1. 矩估计法矩估计法2. 极大似然法极大似然法3. 最小二乘法最小二乘法4. 贝叶斯方法贝叶斯方法 这里我们主要介绍前面两种方法这里我们主要介绍前面两种方法 .可靠性数学基础可靠性数学基础 最大似然法最大似然法 它它是是在在总总体体类类型型已已知知条条件件下下使使用用的的一一种种参参数数估估计方法计方法 . 它首先是由德国数学家它首先是由德国数学家高斯高斯在在1821年提出的年提出的 . GaussFisher 然而然而,这个方法常这个方法常归功于英国统计学家归功于英国统计学家费歇费歇 . 费歇费歇在在1922年重新发现了这年重新发现了这一方法，并首先研究了这种方法一方法，并首先研究了这种方法的一些性质的一些性质 .可靠性数学基础可靠性数学基础 最大似然法的基本思想最大似然法的基本思想 先看一个简单例子：先看一个简单例子：一只野兔从前方窜过一只野兔从前方窜过 .是谁打中的呢？是谁打中的呢？ 某位同学与一位猎人一起外某位同学与一位猎人一起外出打猎出打猎 .如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下 .可靠性数学基础可靠性数学基础 你就会想，只发一枪便打中你就会想，只发一枪便打中, 猎人命中的概率猎人命中的概率一般大于这位同学命中的概率一般大于这位同学命中的概率 . 看来这一枪是猎人看来这一枪是猎人射中的射中的 . 这个例子所作的推断已经体现了极大似然法的这个例子所作的推断已经体现了极大似然法的基本思想基本思想 .可靠性数学基础可靠性数学基础 最大似然估计原理：最大似然估计原理： 当给定样本当给定样本X1,X2,Xn时，定义时，定义似然函数似然函数为：为： 设设X1,X2,Xn是取自总体是取自总体X的一个样本，样本的一个样本，样本的联合密度的联合密度(连续型）或联合分布律连续型）或联合分布律 (离散型离散型)为为 f (x1,x2, ,xn ; ) .f (x1, x2 , xn; )这里这里 x1, x2 , xn 是样本的观察值是样本的观察值 .可靠性数学基础可靠性数学基础 似然函数：似然函数： 最大似然估计法最大似然估计法就是用使就是用使 达到最大值的达到最大值的 去估计去估计 . 称称 为为 的的最大似然估计值最大似然估计值 . 看作参数看作参数 的函数，它可作为的函数，它可作为 将以多大可将以多大可能产生样本值能产生样本值 x1, x2, ,xn 的一种度量的一种度量 . f (x1,x2, xn; )而相应的而相应的统计量统计量称为称为 的的最大似然估计量最大似然估计量 .可靠性数学基础可靠性数学基础 两点说明：两点说明： 1、求似然函数、求似然函数L( ) 的最大值点，可以应用的最大值点，可以应用微积分中的技巧。由于微积分中的技巧。由于ln(x)是是 x 的增函数的增函数, lnL( )与与L( )在在 的同一值处达到它的最大值，假定的同一值处达到它的最大值，假定 是一实数，且是一实数，且lnL( )是是 的一个可微函数。通过的一个可微函数。通过求解方程：求解方程：可以得到可以得到 的的MLE . 若若 是向量，上述方程必须用方程组代替是向量，上述方程必须用方程组代替 . 2、用上述求导方法求参数的、用上述求导方法求参数的MLE有时行不有时行不通，这时要用最大似然原则来求通，这时要用最大似然原则来求 .可靠性数学基础可靠性数学基础 下面举例说明如何求最大似然估计下面举例说明如何求最大似然估计L(p)= f (x1, x2, xn; p ) 例例5 设设X1,X2,Xn是取自总体是取自总体 XB(1, p) 的一个的一个样本，求参数样本，求参数p的最大似然估计量的最大似然估计量.解：解：似然函数似然函数为为: 可靠性数学基础可靠性数学基础 对数似然函数对数似然函数为：为：可靠性数学基础可靠性数学基础 对对p求导并令其为求导并令其为0，=0得得即为即为 p 的的最大似然估计值最大似然估计值 .从而从而 p 的的最大似然估计量最大似然估计量为为 可靠性数学基础可靠性数学基础 (4) 在最大值点的表达式中在最大值点的表达式中, 用样本值代入就用样本值代入就得参数的得参数的最大似然估计值最大似然估计值 .求最大似然估计求最大似然估计(MLE)的一般步骤是：的一般步骤是： (1) 由总体分布导出样本的联合分布率由总体分布导出样本的联合分布率(或联或联合密度合密度); (2) 把样本联合分布率把样本联合分布率 ( 或联合密度或联合密度 ) 中自变中自变 量看成已知常数量看成已知常数,而把参数而把参数 看作自变量看作自变量,得到得到似然似然 函数函数L( ); (3) 求似然函数求似然函数L( ) 的最大值点的最大值点(常常转化为常常转化为求求ln L( )的最大值点的最大值点) ，即，即 的的MLE;可靠性数学基础可靠性数学基础 例例 设总体设总体 X N( ) , 未知未知 . 是来自是来自 X 的样本值的样本值 , 试求试求 的最大似然估计量的最大似然估计量 .似然函数为似然函数为 解解X 的概率密度为的概率密度为 可靠性数学基础可靠性数学基础 于是于是令令可靠性数学基础可靠性数学基础 解得解得的最大似然估计量的最大似然估计量为为可靠性数学基础可靠性数学基础 解：似然函数为解：似然函数为例例 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本其中其中 0,求求 的最大似然估计的最大似然估计.i=1,2,n可靠性数学基础可靠性数学基础 对数似然函数为对数似然函数为解：似然函数为解：似然函数为i=1,2,n可靠性数学基础可靠性数学基础 =0 (2)由由(1)得得=0 (1)对对 分别求偏导并令其为分别求偏导并令其为0,对数似然函数为对数似然函数为用求导方法无法最终确定用求导方法无法最终确定用最大似然原则来求用最大似然原则来求 .可靠性数学基础可靠性数学基础 对对是是故使故使 达到最大的达到最大的 即即 的的MLE 于是于是 取其它值时，取其它值时，即即 为为 的的MLE .且是且是 的增函数的增函数可靠性数学基础可靠性数学基础 我们介绍了参数点估计我们介绍了参数点估计, 给出了寻求估计量最常给出了寻求估计量最常用的矩法和极大似然法用的矩法和极大似然法 . 参数点估计是用一个确定的值去估计未知的参数点估计是用一个确定的值去估计未知的参数参数 . 看来似乎精确看来似乎精确 ，实际上把握不大，实际上把握不大 . 小结小结