实验数据处理方法第三部分：统计学方法第十二章第十二章 最大似然法最大似然法(Maximum Likelihood method)(Maximum Likelihood method)第十二章第十二章 最大似然法最大似然法(Maximum Likelihood Method)点估计的方法之一，是参数估计中常用的方法，具有以下的特点：点估计的方法之一，是参数估计中常用的方法，具有以下的特点：1.在在一定的条件下，一定的条件下，ML估计式满足一致性、无偏性、有效估计式满足一致性、无偏性、有效性等要求；性等要求；2.当样本容量当样本容量n 时，时，ML估计式满足正态分布估计式满足正态分布方差容易方差容易计算；计算；3.用用ML方法可较容易地得到参数的估计式；方法可较容易地得到参数的估计式；本章内容：本章内容：1.最大似然原理；最大似然原理；2.用用ML方法求解参数估计问题的步骤；方法求解参数估计问题的步骤；3.ML估计式的特性；估计式的特性；4.如何计算如何计算ML估计值的方差；估计值的方差；5.利用似然函数进行区间估计利用似然函数进行区间估计第十二章第十二章 最大似然法最大似然法(Maximum (Maximum LikelyhoodLikelyhood Method) Method)12.1 最大似然原理最大似然原理12.1 最大似然原理最大似然原理(一一) 似然函数的定义似然函数的定义p.d.f：f(x| )测量量：测量量：x = x1, x2, , xn (二二) 最大似然原理最大似然原理未知参数未知参数 的的最佳估计值最佳估计值 应满足如下的条件：应满足如下的条件：i. 位于位于 的的允许取值范围；允许取值范围；ii.对于给定的一组测量值，对于给定的一组测量值， 使使L取极大值：取极大值：12.1 最大似然原理最大似然原理(三三)估计值估计值 的求法的求法似然方程：似然方程：极大值条件：极大值条件：因为因为lnL是是L的单调上升函数，的单调上升函数，lnL和和L具有相同的极大值点，具有相同的极大值点，所以，所以，LlnL， 求和运算比乘积运算容易处理求和运算比乘积运算容易处理似然方程：似然方程：极大值条件：极大值条件：如果有如果有k个位置参数，个位置参数， = 1, 2, , kk阶似然方程阶似然方程估计值：估计值：12.1 最大似然原理最大似然原理极大值条件：二次矩阵极大值条件：二次矩阵 是负定的是负定的(Negative definite)第十二章第十二章 最大似然法最大似然法(Maximum (Maximum LikelyhoodLikelyhood Method) Method)12.2 用用ML方法进行参数估计的步骤方法进行参数估计的步骤12.2 用用ML方法进行参数估计的步骤方法进行参数估计的步骤1)构造概率密度函数；构造概率密度函数；2)构造似然函数；构造似然函数；3)求似然函数的极大值。求似然函数的极大值。12.2 用用ML方法进行参数估计的步骤方法进行参数估计的步骤（一）构造概率密度函数（一）构造概率密度函数物理系统的特性：某些量的理论概率分布函数物理系统的特性：某些量的理论概率分布函数实验的条件：分辨率、探测效率实验的条件：分辨率、探测效率ML方法中所需的方法中所需的p.d.f例：不变质量谱分析：例：不变质量谱分析：e+e-J/ K+K-通过测量通过测量K+K-的动量，可得到的动量，可得到K+K-的不变质量的不变质量分布，对该分布进行统计分析，可得到衰变过程分布，对该分布进行统计分析，可得到衰变过程中产生的共振态的信息；中产生的共振态的信息；描述不变质量描述不变质量m的分布的的分布的p.d.f应包含对该分布有应包含对该分布有贡献的物理过程贡献的物理过程12.2 用用ML方法进行参数估计的步骤方法进行参数估计的步骤1. 信号事例：信号事例：在不变质量为在不变质量为m0处出现共振态处出现共振态X的弹性散射振幅可用的弹性散射振幅可用Breit-Wigner公式描述：公式描述： ：X的宽度，的宽度，m0：X的静质量，的静质量，m：K+K-的不变质量的不变质量（1）如果）如果 较小较小实验结果包含质量分辨率实验结果包含质量分辨率 和探测效率的影响，和探测效率的影响， ，故，故必须对理论公式进行修正必须对理论公式进行修正12.2 用用ML方法进行参数估计的步骤方法进行参数估计的步骤 (m)：效率函数，因效率函数，因 (m)随随m的变化较小，故的变化较小，故 (m)常数常数 R(m,m)：分辨率函数，真值为分辨率函数，真值为m时，获得测量值时，获得测量值m的概率的概率其中：其中： ：质量分辨率：质量分辨率因此，窄共振峰的因此，窄共振峰的p.d.f为为12.2 用用ML方法进行参数估计的步骤方法进行参数估计的步骤（1）如果）如果 较大，宽共振峰较大，宽共振峰如果在衰变过程中存在着多个宽共振，则可能存在仙湖干涉如果在衰变过程中存在着多个宽共振，则可能存在仙湖干涉的现象，设有的现象，设有Namp个相干的共振峰，则描述这些共振峰的个相干的共振峰，则描述这些共振峰的p.d.f为为因为因为 ，所以，所以R(m,m) (m-m)k-1：相位差k-1：第k个相干的共振峰事例数/第一个相干的共振峰的事例数12.2 用用ML方法进行参数估计的步骤方法进行参数估计的步骤2. 本底事例：相空间本底、粒子误判本底、其它衰变道本底等本底事例：相空间本底、粒子误判本底、其它衰变道本底等fps(m,)：相空间函数相空间函数Pi(x)：i阶阶Legendre多项式多项式bi：未知参数未知参数12.2 用用ML方法进行参数估计的步骤方法进行参数估计的步骤如果衰变过程中：如果衰变过程中：N NBWBW个窄共振峰、个窄共振峰、N Nampamp个相干共振峰，则个相干共振峰，则m m的的pdfpdf其中：其中：CBW、Camp、Cback为归一化常数，保证为归一化常数，保证：第：第k k个窄共振峰事例数个窄共振峰事例数/ /总事例数总事例数：NampNamp个相干共振峰事例数个相干共振峰事例数/ /总事例数总事例数BESBES分析软件分析软件BWFITBWFIT程序中使用的程序中使用的p.d.fp.d.f（二）构造似然函数（二）构造似然函数12.2 用用ML方法进行参数估计的步骤方法进行参数估计的步骤设对某物理系统进行了设对某物理系统进行了n次测量次测量，x1、x2、xn根据需要可对根据需要可对在实验条件一定的条件下，事例的产生率为常数，在实验条件一定的条件下，事例的产生率为常数，在时间在时间t t内获得内获得n n个事例的概率为泊松分布。个事例的概率为泊松分布。观测到观测到n个事例，且测量量为个事例，且测量量为x1、x2、xn的联合概率为的联合概率为条件：条件：必须能够精确确定必须能够精确确定进行变化：进行变化：1. 广义似然函数广义似然函数（Generalized Likelihood Function）总事例数总事例数n也是随机变量，服从平均值为也是随机变量，服从平均值为的泊松分布：的泊松分布：广义似然函数，广义似然函数，优点：优点：n对对增加了附加的限制增加了附加的限制12.2 用用ML方法进行参数估计的步骤方法进行参数估计的步骤2. 2. 数据分类情况下的似然函数数据分类情况下的似然函数对实验数据进行分间隔处理，（如作成直方图）然后用对实验数据进行分间隔处理，（如作成直方图）然后用MLML方法对分类方法对分类后的数据进行处理。后的数据进行处理。优点：减小了数据量，使得对优点：减小了数据量，使得对的计算速度加快的计算速度加快缺点：由于将原缺点：由于将原简化为少量的几个简化为少量的几个“平均平均”pdfpdf的乘积，使得的乘积，使得参数估计的精度下降。参数估计的精度下降。设将设将x x的变化范围分成了的变化范围分成了N N个间隔个间隔：第：第i i个间隔内的事例数个间隔内的事例数：某事例落入第：某事例落入第i i个间隔的概率个间隔的概率N N个事例分布于个事例分布于N N个间隔内，每个间隔内的事例数为个间隔内，每个间隔内的事例数为n1、n2、nN的概率满足多项式分布：的概率满足多项式分布：12.2 用用ML方法进行参数估计的步骤方法进行参数估计的步骤：间隔的宽度：间隔的宽度取对数并只保留与取对数并只保留与有关的项有关的项分间隔的似然函数（分间隔的似然函数（Binned Likelihood Function）(1) N(1) N很大，很大，很小，很小，(2) (2) 如果在某一间隔内的变化不是很大，则用如果在某一间隔内的变化不是很大，则用得到的得到的的精度是可接受的的精度是可接受的12.2 用用ML方法进行参数估计的步骤方法进行参数估计的步骤例：估计粒子的平均寿命例：估计粒子的平均寿命（三）求似然函数的极大值（三）求似然函数的极大值1. 1. 求解似然方程：求解似然方程：一般情况下无解析解，只能用数值解法。一般情况下无解析解，只能用数值解法。2. 2. 用用CERNCERN程序程序MINUITMINUIT求解函数求解函数的极小值，得的极小值，得的估计式的估计式 及其误差及其误差探测探测K0 0粒子的产生和衰变。假定探测器无限大，则粒子的产生和衰变。假定探测器无限大，则K0粒子在粒子在t t时刻衰变的时刻衰变的p.d.fp.d.f12.2 用用ML方法进行参数估计的步骤方法进行参数估计的步骤：粒子的平均寿命，为未知参数。：粒子的平均寿命，为未知参数。K0的飞行时间的飞行时间t ti iL L：飞行距离，：飞行距离，p p：动量，：动量，E E：能量，：能量，c c：光速：光速对于对于n n个观测事例：个观测事例：当当时，时，LF取极大值。取极大值。第十二章第十二章 最大似然法最大似然法(Maximum (Maximum LikelyhoodLikelyhood Method) Method)12.3 ML估计式的特性估计式的特性1. 1. 参数变换不变性参数变换不变性12.3 ML估计式的特性估计式的特性设设是参数的是参数的MLML估计值，估计值，是是的函数。如果用的函数。如果用作为作为参量来求参量来求LFLF的极大值，则所得的极大值，则所得的估计值亦为的估计值亦为如果如果，则有，则有2. 2. 一致性（一致性（consistencyconsistency）在一般条件下，在一般条件下，MLML估计值满足一致性条件，即估计值满足一致性条件，即，当，当时。时。3. 3. 无偏性（无偏性（unbiassednessunbiassedness）在某些特殊情况下，在某些特殊情况下，ML估计式是无偏的，即估计式是无偏的，即在一般条件下，在一般条件下，ML估计式不满足无偏性：估计式不满足无偏性：故当样本容量故当样本容量时，时，ML估计式总是无偏的。估计式总是无偏的。, ,但其偏差但其偏差12.3 ML估计式的特性估计式的特性如果如果的充分估计式的充分估计式t t存在，则用存在，则用MLML方法一定能得到该估计式。方法一定能得到该估计式。4. 4. 充分性（充分性（sufficiencysufficiency）充分必要条件充分必要条件即即只依赖于只依赖于t t5. 5. 有效性（有效性（EfficiencyEfficiency）如果如果的有效估计式的有效估计式t t存在，则用存在，则用MLML方法一定能得到该估计式。方法一定能得到该估计式。充分必要条件充分必要条件6. 6. 渐近正态性（渐近正态性（AsympototicAsympototic normality normality）在样本容量很大时，在样本容量很大时，的的MLML估计值满足渐近正态分布，其平均值估计值满足渐近正态分布，其平均值为为的真值的真值0 0，方差为最小方差限（，方差为最小方差限（MVBMVB）。）。第十二章第十二章 最大似然法最大似然法(Maximum (Maximum LikelyhoodLikelyhood Method) Method)12.4 ML估计式的方差估计式的方差12.3 ML估计式的方差估计式的方差对对MLML估计值的误差的估计依赖于估计值的误差的估计依赖于p.d.fp.d.f的性质和样本的大小，不同的性质和样本的大小，不同（一）方差估计的一般方法（适合于任何容量的样本）（一）方差估计的一般方法（适合于任何容量的样本）通过求解似然方程通过求解似然方程的方法适用于不同的样本；大样本公式，小样本公式。的方法适用于不同的样本；大样本公式，小样本公式。统计误差：如果统计误差：如果p.d.fp.d.f是纯理论公式，即没有对实验条件进行修正，是纯理论公式，即没有对实验条件进行修正，则由则由MLML得到的误差为统计误差。得到的误差为统计误差。否则：误差否则：误差 统计误差实验误差统计误差实验误差LF : :，得，得i i的估计式的估计式 是随机变量是随机变量的函数的函数 的真值：的真值：12.3 ML估计式的方差估计式的方差1. 1. 此式与上式等价。此式与上式等价。如果如果p.d.fp.d.f和和估计式的方差。估计式的方差。2. 2. 由由 是是分母为归一化因子。分母为归一化因子。和和的协方差的协方差的表达式已知，则无需任何数据就可求出的表达式已知，则无需任何数据就可求出可导出可导出的概率分布的概率分布：雅可比行列式：雅可比行列式3. 3. 在给定的样本下，可认为在给定的样本下，可认为的概率分布函数的概率分布函数，而，而12.3 ML估计式的方差估计式的方差时，时，MLML估计值服从正态分布估计值服从正态分布N(N(,MVB,MVB) )如果如果b b( (）: :偏差偏差由有效性条件由有效性条件样本容量样本容量的方差由的方差由MVBMVB给出：给出：如果如果是是的无偏估计，的无偏估计， b b( (）= 0= 0（二）充分（二）充分MLML估计式的方差估计式的方差是参数是参数的充分估计式（从而也是有效估计式）。则的充分估计式（从而也是有效估计式）。则（三）大样本的（三）大样本的MLML估计式的方差估计式的方差正态分布中变量和平均值是对称的正态分布中变量和平均值是对称的参数参数服从服从N(N(,MVB,MVB) )12.3 ML估计式的方差估计式的方差不同的公式给出的方差不同，因此，在给出实验结果不同的公式给出的方差不同，因此，在给出实验结果在一般情况下，在一般情况下，将式中的将式中的L 用用p.d.fp.d.f代替可得到方差的平均值代替可得到方差的平均值用此式可以估计：欲达到一定的误差，需进行的实验次数用此式可以估计：欲达到一定的误差，需进行的实验次数n n。指明误差是如何计算的指明误差是如何计算的时，时，MVB:MVB:应由（一）中的公式求解，但很难得到应由（一）中的公式求解，但很难得到的解析解，只能用数值方法。的解析解，只能用数值方法。第十二章第十二章 最大似然法最大似然法(Maximum (Maximum LikelyhoodLikelyhood Method) Method)12.5 利用似然函数进行区间估计利用似然函数进行区间估计12.5 12.5 利用似然函数进行区间估计利用似然函数进行区间估计利用似然函数进行区间估计利用似然函数进行区间估计不同的公式给出的方差不同，因此，在给出实验结果不同的公式给出的方差不同，因此，在给出实验结果在一般情况下，在一般情况下，将式中的将式中的L 用用p.d.fp.d.f代替可得到方差的平均值代替可得到方差的平均值用此式可以估计：欲达到一定的误差，需进行的实验次数用此式可以估计：欲达到一定的误差，需进行的实验次数n n。指明误差是如何计算的指明误差是如何计算的时，时，应由（一）中的公式求解，但很难得到应由（一）中的公式求解，但很难得到的解析解，只能用数值方法。的解析解，只能用数值方法。MLML估计式估计式的误差可用区间估计方法来估计的误差可用区间估计方法来估计12.5 12.5 利用似然函数进行区间估计利用似然函数进行区间估计利用似然函数进行区间估计利用似然函数进行区间估计其中其中为为的真值落入的真值落入 a a, ,b b 间的概率，取相对间的概率，取相对对称的区间对称的区间在一般情况下，当测量次数无限大时，似然函数在一般情况下，当测量次数无限大时，似然函数L 将与样本变量无关将与样本变量无关且呈正态分布且呈正态分布的真值落入的真值落入 a a, ,b b 间的可信度间的可信度，有，有12.5 12.5 利用似然函数进行区间估计利用似然函数进行区间估计利用似然函数进行区间估计利用似然函数进行区间估计是抛物线是抛物线lnlnL ( () )与直线与直线例：例：的两个交点的两个交点求解出这两个交点即可得到求解出这两个交点即可得到的误差的误差实验结果实验结果误差误差MINUITMINUIT程序中误差定义量程序中误差定义量ML方法方法如果测量次数如果测量次数 n 为有限数，则为有限数，则LF 将不是正态型将不是正态型12.5 12.5 利用似然函数进行区间估计利用似然函数进行区间估计利用似然函数进行区间估计利用似然函数进行区间估计用上述方法求出用上述方法求出g g的似然区间的似然区间小结：小结：1 1）最大似然原理：）最大似然原理：为变量为变量g g的的MLML估计值，估计值，MLML估计值变换不变性估计值变换不变性2 2）应用步骤：构造似然函数，求解似然方程）应用步骤：构造似然函数，求解似然方程3 3）MLML估计值的性质：一致性、无偏性、有效性和充分性估计值的性质：一致性、无偏性、有效性和充分性变量变换不变性、渐近正态性变量变换不变性、渐近正态性4 4）MLML估计值方差的求法：不同的方法有各自的适用范围，估计值方差的求法：不同的方法有各自的适用范围，给出不同的结果给出不同的结果5 5）似然区间估计给出）似然区间估计给出的误差：求解的误差：求解与直线与直线的两个交点的两个交点