1优质材料第三章第三章 先验分布的确定先验分布的确定3.1 主观概率主观概率3.2 利用先验信息确定先验分布利用先验信息确定先验分布3.3 利用边缘分布利用边缘分布m(x)m(x)确定先验密度确定先验密度3.4 无信息先验分布无信息先验分布3.5 多层先验多层先验2优质材料一、主观概率一、主观概率1.贝叶斯学派要研究的问题：如何用人们的经验和过去的历史资料确定概率和先验分布。2.经典统计确定概率的两种方法： （1）古典方法； （2）频率方法。3.主观概率的定义：一个事件的概率是人们根据经验对该事件发生可能性所给出的个人信念。3.1 主观概率主观概率3优质材料二、确定主观概率的方法二、确定主观概率的方法n1. 1.利用对立事件的比较确定主观概率利用对立事件的比较确定主观概率( (例例3.13.1) )；n2. 2.利用专家意见确定主观概率利用专家意见确定主观概率( (例例3.23.2) ) ；n3. 3.向多位专家咨询确定主观概率向多位专家咨询确定主观概率( (例例3.33.3) ) ；n4. 4.充分利用历史资料，考虑现有信息加以修正充分利用历史资料，考虑现有信息加以修正, ,才才能得到比较切合实际的主观概率能得到比较切合实际的主观概率( (例例3.43.4) ) 。4优质材料1. 1.利用对立事件的比较确定利用对立事件的比较确定主观概率主观概率5优质材料2. 2.利用专家意见确定利用专家意见确定主观概率主观概率6优质材料3. 3.向多位专家咨询确定向多位专家咨询确定主观概率主观概率7优质材料 在座人员根据自己的经验各写了两个数，经理在计算了两个平均值后，稍加修改，提出自己看法：在上述两种情况下，本公司新产品畅销率各为0.9和0.4，这是经理在征求多位专家意见后所获得的主观概率。另据本公司情报部门报告，外厂正忙于另一项产品开发，很可能无暇顾及生产此新产品。经理据此认为，外厂将生产此新产品的概率为0.3，不生产此产品的概率为0.7. 利用上述四个主观概率，由全概率公式可得本公司生产此新产品获畅销的概率为 0.9*0.7+0.4*0.3=0.758优质材料4. 4.充分利用历史资料，考虑现有信息加以修正充分利用历史资料，考虑现有信息加以修正9优质材料 注意事项：（1）不管按照什么方法确定的主观概率必须满足概率的三条公理：非负性公理：对任意事件A，0P(A)1。正则性公理：必然事件的概率为1可列可加性公理：对可列个互不相容的事件A1，A2，有（2）如果发现所确定的主观概率与上述三个公理及其推出的性质相悖，必须立即修正。直到两者一致为止。（例3.5）10优质材料11优质材料3.2 利用先验信息确定先验分布利用先验信息确定先验分布一、直方图法一、直方图法二、选定先验密度函数形式再估计其超参数二、选定先验密度函数形式再估计其超参数三、定分度法与变分度法三、定分度法与变分度法12优质材料一、直方图法一、直方图法基本步骤：1.把参数空间分成一些小区间；2.在每个小区间上决定主观概率或依据历史数据确定其频率；3.绘制频率直方图；4.在直方图上作一条光滑曲线，此曲线即为先验分布()。例3.6 某药材店记录了吉林人参的每周销售量,现要寻求每周平均销售量的概率分布。13优质材料二、选定先验密度函数形式再估计其超参数二、选定先验密度函数形式再估计其超参数该方法的要点：（1）根据先验信息选定的先验密度函数()的形式，如选其共轭先验分布。（2）当先验分布中含有未知参数（称为超参数）时，譬如()= (；,)，给出超参数,的估计值 ， 使(； ， )最接近先验信息。 14优质材料15优质材料16优质材料n说明说明：如果有两个甚至多个先验分布都满足给定的先验信息，则要看情况选择：假如这两个先验分布差异不大，对后验分布影响也不大，则可任选一个；如果我们面临着两个差异极大的先验分布可供选择时，一定要根据实际情况慎重选择。17优质材料三、定分度法与变分度法基本概念:(1)定分度法:把参数可能取值的区间逐次分为长度相等的小区间,每次在每个小区间上请专家给出主观概率.(2)变分度法:该法是把参数可能取值的区间逐次分为机会相等的两个小区间,这里的分点由专家确定.例3.2.3(自学)18优质材料3.33.3 利用边缘分布利用边缘分布m(x)m(x)确定先验密度确定先验密度一、边缘分布m(x)m(x)二、混合分布三、先验选择的ML-II方法四、先验选择的矩方法19优质材料一、边缘分布m(x) 设总体X的密度函数为p(x|),它含有未知参数 ，若的先验分布选用形式已知的密度函数(),则可算得X的边缘分布（即无条件分布）：当先验分布含有未知参数，譬如()= (|)，那么边缘分布m(x)依赖于，可记为m(x|)，这种边缘分布在寻求后验分布时常遇到。20优质材料21优质材料22优质材料二、混合分布(1)混合分布的概念混合分布的概念：设随机变量X以概率在总体F1中取值，以概率1-在总体F2中取值。若F(x|1)和F(x|2)分别是这两个总体的分布函数，则X的分布函数为：F(x)= F(x |1)+(1-)F(x|2)或用密度函数（或概率密度）表示： p(x)= p(x |1)+ (1-)p(x|2)这个分布F(x)称为F(x |1)和F(x|2)的混合分布。这里的和1-可以看作一个新随机变量的分布， 即： P(=1)=(1)， P(=2)=1-=(2)23优质材料(2)混合样本的概念混合样本的概念：从混合分布中抽出的样本称为混合样本。 注：从混合分布F(x)中抽取一个样品x1，相当于 如下的二次抽样： 第一次:从()中抽取一个样品。 第二次：若=1，则从F(x |1)中再抽一个样品，这个样品就是x1； 若=2，则从F(x |2)中再抽一个样品，这个样品就是x124优质材料若从混合分布抽取一个容量为n的样本x1,x2,xn,则约有n(1)个来自F(x |1)，约有n(2)个来自F(x |2)。(3)实例分析:25优质材料26优质材料三、先验选择的ML-方法 定义：设 为所考虑的先验类，且x x=(x1,x2,xn)是来自边缘分布中的样本，若存在 满足（对观测数据x）：则 被称为型极大似然先验，或简称为ML-先验。 说明：这里将说明：这里将m(x)m(x)看成似然函数看成似然函数27优质材料28优质材料29优质材料四、先验选择的矩方法 在选择时，可用矩方法代替极大似然方法。矩方法应用于当有“已知函数形式”。即可利用先验矩与边缘分布矩之间的关系寻求超参数的估计。这种方法称为先验选择的矩方法。该方法的具体步骤是：1.计算总体分布p(x|)的期望()和方差2()，即 ()=Ex|(X)， 2()= Ex|X-()2 Ex|表示用给定下的条件分布p(x|)求期望。30优质材料2.计算边缘密度m(x|) 的期望m()和方差 ，其中:31优质材料其中：代入上式得： 32优质材料3.特殊情形:当先验分布中仅含二个超参数时，即,可用混合样本计算其样本均值和样本方差，即：再用样本矩代替边际分布的矩，列出如下方程 解此方程组，可得超参数的估计从而获得先验分布33优质材料解：34优质材料35优质材料36优质材料37优质材料例3.14 设总体XN(，1)，其中参数的先验分布取共轭先验 。试估计两个参数的值。解：38优质材料3.4 无信息先验分布无信息先验分布一、贝叶斯假设二、位置尺度参数族的无信息先验三、用Fisher信息阵确定无信息先验39优质材料一、贝叶斯假设1.贝叶斯假设的基本含义 无信息先验分布应选取在(同等无知，无偏爱）取值范围内的均匀分布，即： 这种看法被称为贝叶斯假设。说明：贝叶斯假设在很多情况下都是合理的。40优质材料2.应用贝叶斯假设时所出现的问题(1)当的取值范围为无限区间时，就无法在上定义一个正常的均匀分布。定义3.1 设总体Xf(x|)，。若的先验分布()满足下列条件：()0，且由此决定的后验密度(|x)是正常的密度函数，则称()为的广义先验密度。(2)贝叶斯假设不满足变换下的不变性。41优质材料二、位置-尺度参数族的无信息先验 定义：设密度函数中有两个参数与，且密度具有下述形式： 其中f(x)是一个完全确定的函数，它相应于=0，=1时的密度，称为位置参数，称为尺度参数，这类分布族称为位置-尺度参数族。如正态分布、指数分布、均匀分布等都属于这一类。 特别=1时称为位置参数族，而=0时称为尺度参数族。42优质材料(一)位置参数的无信息先验定理：位置参数族的先验分布可用贝叶斯假设作为无信息先验分布。证明：设总体X的密度具有形式p(x-)，其样本空间与参数空间均为实数集。对X作一个平移Y=X+c，则Y的密度具有形式：p(y-c-)，这相当于对参数作一个平移=+c，即Y的密度形式为p(y-)，它仍然是位置参数族的成员，且其样本空间与参数空间没有发生改变。因此与应具有相同的无信息先验分布。即 ()=*()其中*()为的无信息先验分布。同时，由变换=+c可算得的无信息先验分布为n 比较上述两式就可知道的无信息先验分布是常数。43优质材料44优质材料例3.18 设x是从正态总体N(,2)抽取的容量为1的样本，其中2已知，未知，但知其为正，试求参数的估计。解：这是一种带约束条件的估计问题，用贝叶斯方法解决这类问题比较容易。取参数的无信息先验分布为（0，）上的均匀分布，即： （）=I（0，）（）由此可得后验密度：若取后验均值作为的估计，则:45优质材料46优质材料(二)尺度参数的无信息先验定理 设总体X的密度函数具有形式： 则参数的无信息先验分布为： ()=1/，0 证明：令Y=cX(c0),同时让参数也作同比例变化，即定义=c，不难算出Y的密度函数为 仍然属于尺度参数族。且X与Y的样本空间相同，此时的无信息先验()与的无信息先验*()应相同，即： ()=*() 另一方面，由变换=c可以得的无信息先验为：47优质材料若令(1)=1，则()=1/，0它还是一个非正常先验。比较上述两式得： 48优质材料49优质材料三、使用杰弗莱原则确定先验分布 贝叶斯假设中的一个矛盾是：如果对参数 选用均匀分布，那么当 的函数 作为参数时，也应该选用均匀分布作为先验分布。然而由 服从均匀分布这一前提，往往导出 不是均匀分布，反之也一样。 杰弗莱为了克服这一矛盾提出了选取先验的不变原理。并被称为杰弗莱原则或杰弗莱准则。50优质材料 1.确定无信息先验的更一般方法(Jeffreys(1961): 设x=(x1,x2,xn)是来自密度函数p(x|)的一个 样本，为p维参数向量，则可用费希尔信息阵的平方根作为的无信息先验分布。 2.寻求分布的一般步骤： (1)写出样本的对数似然函数： 51优质材料(2)求样本的信息阵：特别在单参数的情形： (3)的无信息先验密度为： 其中detI()表示pp阶信息阵I()的行列式。52优质材料 例1 设x=(x1,x2,xn)服从多项分布，其中 求(1,2,m)的无信息先验分布.53优质材料54优质材料例2 设x=(x1,x2,xn)是来自正态分布N(,2)的一个样本。试求参数向量(,)的Jerfreys先验。55优质材料例3 设为成功概率，则在n次独立试验中成功次数X服从二项分布，即：试求参数的Jerfreys先验。56优质材料57优质材料3.5 多层先验多层先验一、多层先验二、多层模型58优质材料59优质材料60优质材料61优质材料