1,2,第五章 贝叶斯决策,第一节 贝叶斯决策问题 第二节 后验风险决策 第三节 常用损失函数下的贝叶斯估计 第四节 抽样信息期望值 第五节 最佳样本量的确定 第六节 二行动线性决策问题的EVPI,3,第一节 贝叶斯决策问题,一、决策问题分类 (1)仅使用先验信息的决策问题称为无数据(或无样本信息)的决策问题; (2)仅使用抽样信息的决策问题称为统计决策问题; (3)先验信息和抽样信息都使用的决策问题称为贝叶斯决策问题.,4,二、贝叶斯决策问题,先验信息和抽样信息都用的决策问题称为贝叶斯决策问题。若以下条件已知，则我们认为一个贝叶斯决策问题给定了。,(4) 定义在 上的二元函数 称为损失函数,5,三、贝叶斯决策的优缺点,1.优点主要表现在: (1)贝叶斯决策充分利用各种信息,使决策结果更加科学化; (2)能对调查结果的可能性加以数量化的评价; (3)贝叶斯决策巧妙地将调查结果和先验知识有机地结合起来; (4)贝叶斯决策过程可以不断地使用,使决策结果逐步完善. 2.缺点: (1)贝叶斯决策所需要的数据多，分析计算也比较复杂,如果 解决的问题比较复杂时,这个矛盾就更加突出; (2)在决策的过程中，有些数据必须要使用主观概率,有些人 不是很相信,这也妨碍了贝叶斯决策方法的推广和使用. O,6,第二节 后验风险决策,1.后验风险函数,我们把损失函数 对后验分布 的 期望称为后验风险,记 ,即,后验风险就是用后验分布计算的平均损失. 11,7,2.决策函数,定义5.1 在给定的贝叶斯决策问题中,从样本空间 到行动集A上的一个映照 称为该决策问题的一个决策函数, 表示所有从样本空间到A上的决策函数组成的类,称为决策函数类.,在贝叶斯决策中我们面临的是决策函数类D,要在D中选择决策函数 ,使其风险最小. 例题分析,8,3.后验风险准则,定义 在给定的贝叶斯决策问题中 是其决策函数类,则称 为决策函数 的后验风险.假如在决策函数类中存在这样的决策函数 ,它在D中有最小的风险,即,则称 为后验风险准则下的最优决策函数,或称贝叶斯决策,或贝叶斯解,或贝叶斯估计。 注: (1)定义中的条件:给定的贝叶斯决策问题 (2)定义中的先验分布允许是广义的.,9,例1 设 是来自正态分布N(,1)的一个样本。又设参数的先验分布为共轭先验分布N(0,2),其中2已知.而损失函数为0-1损失函数试求参数的贝叶斯估计。,解:分三步求解: (1)求参数的后验分布 (2)对于任意一个决策函数 计算后验风险函数: (3)求出使得上述风险函数达到最小时的决策函数:,10,例2 在市场占有率的估计问题中，已知损失函数为：药厂厂长对市场占有率无任何先验信息，另外在市场调查中，在n个购买止痛剂的顾客中有x人买了新药，试在后验风险准则下对作出贝叶斯估计。,解:(1)求参数的后验分布: 结果为 Be(x+1,n-x+1) (2) ,计算风险函数 (3)求最优行动使上述风险函数达到最小.令: 则得: (4)数值计算:,11,例3 如何判断一个样本是来自密度函数为p0(x) 的总体还是来自密度函数为p1(x) 的总体。,解:两个假设: 问题:接受H0还是H1? (1)把假设检验问题转化为贝叶斯决策问题: 参数空间=0,1 行动空间A=0,1 先验分布:P(=0)=0, P(=1)=1 损失函数:决策正确无损失,决策错误的损失为1.则,(2)求后验分布: (3)计算每个行动下的后验风险:R(a=0|x)=P(=1|x) R(a=1|x)=P(=0|x) (4)找出最佳行动,即确定拒绝域.,12,1.平方损失函数下的贝叶斯估计,定理5.1 在平方损失函数 下, 的贝叶斯估计为后验均值,即,Pr 在平方损失函数下,任何一个决策函数 的后验风险为,第三节 常用损失函数下的贝叶斯估计,13,定理5.2 在加权平方损失函数 下, 的贝叶斯估计为:其中()为参数空间上的正值函数.定理5.3 在参数向量 的场合下,对多元二次损失函数 ,Q为正定阵, 的贝叶斯估计为后验均值向量:,14,例4 设 是来自泊松分布的一个样本.若的先验分布用其共轭先验分布G(,),即其中参数与已知.求平方损失函数下的贝叶斯估计.,解:解题过程分为以下三步: (1)根据题意求出的后验分布 (2)写出后验均值 (3)结论:由定理5.1知的贝叶斯估计为:,15,例5 设 是来自均匀分布U(0,)的一个样本.又设的先验分布为Pareto分布.在损失函数分别为绝对值损失函数和平方损失函数下求的贝叶斯估计.,解题步骤: 第一步:求的后验分布: 第二步:在绝对值损失函数 下的贝叶斯估计:恰为后 验分布的中位数. 第三步:平方损失函数下 的贝叶斯估计:,Pareto分布的分布函数: 密度函数为: 期望: 方差: 中位数:,16,例6 贝叶斯决策在可靠性统计中的应用,问题的描述:假设某产品的寿命T服从指数分 布,其分布函数为: 把指定时间t0后该产品才失效的概率 称为产品在t0时刻的可靠度。在平方损失函数下 怎样估计可靠度R(t0)？,17,2.线性损失函数下的贝叶斯估计,证明:(1)证明的思路: 设m为(|x)的中位数,要证 明定理成立,即要证: , 都有 即,当m时,2-(m+) 2-(m+)=-m,故,定理5.4 在绝对值损失函数L(,)=|-|下, 的贝叶斯估计B(x)为后验分布(|x)的中位数.,(2)证明的过程:先证m的情形,此时:,因此,(3)同理可证m的情形。,18,定理5.5 在线性损失函数:下, 的贝叶斯估计n(x)为后验分布(|x)的 分位数.证明:(1)计算任一决策函数=(x)的后验风险:,(3)结论: 的贝叶斯估计是后验分布的 分位数. 例9(p191例题5.13)自学,(2)求R(|x)的驻点:令,19,3.有限个行动问题的假设检验,(1)一般问题:设A=a1,a2,ar,在ai下的损失为L(,ai),如何从这些行动当中选择一个最优行动?(使后验期望损失 达到最小的行动) (2)特例:r=2的情形,即二个行动的假设检验问题 (3)特例:r=3的情形(三个行动的假设检验问题) (儿童智商检验的实例P193),20,二个行动的假设检验问题,1.问题的描述: 有两个假设: 两个行动:a0:表示接受H0的行动, a1:表示接受H1的行动. 决策方法:如果 ,则认为a0为最优行动; 如果 ,则认为a1为最优行动. 2.损失函数的确定:确定原则:决策正确无损失,决策错误损失ki个单位.则得到损失矩阵:,21,3.计算每个行动的后验期望损失：假设后验分布已经求出,则 4.按照后验风险准则,确定最优行动: 如果 ,即: 则 应选择a1,拒绝a0. 如果 ,即: 则 应选择a0,拒绝a1. 5.确定拒绝域: 若 ,则 则由上一步可算得: 即拒绝域,22,第四节 抽样信息期望值,一、基本概念 1.完全信息：对需要作决策的问题，假如决策者所获得 的信息足以肯定那一个状态即将发生，则该信息就称为(该 状态的)完全信息。 2.完全信息期望值(EVPI)：设某决策问题有n种状态1, 2,n,且各种状态的先验概率(i)已知,又有m种行 动a1,a2,am。设Qij为出现i采取行动aj的收益，a为 使 取得最大时的行动，则称 为完全信息期望值，记为EVPI。,23,3.先验EVPI：在一个决策问题中()是状态集=上 的先验分布。 a是先验期望准则下的最优行动，则在a下 的损失函数L(, a)的先验期望 称为完全信息先 验期望值，记为先验EVPI。 4.两者的关系:,5.例题:对给定的Q或L怎样计算EVPI和先验EVPI？如：,24,二、抽样信息期望值,1.定义：在一个贝叶斯决策问题中, a是先验期望准则下的最优行动， 是后验风险准则下的最优决策函数。则先验EVPI与后验EVPI期望值的差称为抽样信息期望值，记为： 2.计算一个EVSI的基本步骤： 第一步：计算先验EVPI； 第二步：计算的后验分布； 第三步：计算每个行动的后验期望损失 ； 第四步：确定最优决策函数； 第五步：计算后验EVPI； 第六步：计算后验EVPI的期望值； 第七步：计算抽样信息期望值。,25,案例分析,甲厂的某一零件由乙厂生产，每批1000只，其次品率 的概率分布如下表所示： 甲厂在整机装配时，如发现零件是次品，必须更换，每换一 只，乙厂赔偿2.20元的损失费，但也可以在送装前采取全 部检查的办法，使每批零件的次品率降为1%，但乙厂必须 支付每只0.10元的检查费。乙厂面临如下两种选择： a1:一批中一件都不检查 a2:一批中每件都检查 若乙厂厂长想从每批中任取三只零件进行抽查，根据不合格 品个数来决定是采取行动a1还是行动a2 ，并想知道这样能 否带来更大的收益？,26,分析过程,一、计算先验EVPI： 支付函数： 由此的支付矩阵和损失矩阵： 计算每个行动下的先验期望损失： 由此得在先验期望准则下，a1是最优行动， 则：先验EVPI=15.68,27,2.计算的后验分布,3.计算各行动的后验期望损失,28,4.确定最优决策函数：,5.计算后验EVPI：x=0时，后验EVPI=13.0634 x=1时，后验EVPI=22.5636 x=2时，后验EVPI=9.5532 x=3时，后验EVPI=0.4494 6.计算后验EVPI的期望值: 7.计算抽样信息期望值： EVSI=15.68-14.15 思考：该厂长所确定的抽取三件产品检查，是否是最好？,29,第五节 最佳样本量的确定,一、抽样净益 1.抽样成本:抽样费用称为抽样成本,记为 其中Cf是固定成本,Cv是可变成本. 2.抽样净益:从抽样信息期望值中扣除抽样成本所剩下的净收益.记为ENGS,即 二、最佳样本量及其上界 1.最佳样本量:使得抽样净益达到最大的样本量n*称为最佳样本量即 2.上界的确定:,30,三、最佳样本量的求法,31,第六节 二行动线性决策问题的EVPI,一、正态分布下二行动线性决策问题的先验EVPI 二、贝塔分布下二行动线性决策问题的先验EVPI 三、伽玛分布下二行动线性决策问题的先验EVPI,32,案例分析,某厂的产品每100件装成一箱运交顾客.在向顾客交货 前面临如下二中选择:a1:一箱中逐一检查;a2一箱中一件 也不检查.若工厂选择a1,则可保证交货时每件产品都是 合格品,但因每件产品的检查费为0.8元,为此工厂要支付 检查费80元/箱.若工厂选择a2,虽可免去每箱80元的检 查费,但一旦顾客发现不合格品时,不仅要免费更换,而且 每件还要支付12.5元的赔偿费.假设该厂产品的不合格 率没有超过0.12的记录.根据下列不同的情形,作出相 应的最优决策. (1)不作任何抽样,怎样做决策?（解答） (2)每箱中抽取两件进行检查,结果如何?（解答） (3)每箱中抽取三件进行检查,结果又如何? B,33,决策函数,34,各决策函数的后验风险,35,（1）第一步：由支付函数确定损失函数：,36,第二步：计算每一个行动的先验期望损失,B,37,（2）第一步：由支付函数确定损失函数：,38,第二步：计算后验分布：,39,40,第三步：利用后验风险准则做决策 计算每一个决策行动的后验风险,41,B,