资源预览内容
第1页 / 共45页
第2页 / 共45页
第3页 / 共45页
第4页 / 共45页
第5页 / 共45页
第6页 / 共45页
第7页 / 共45页
第8页 / 共45页
第9页 / 共45页
第10页 / 共45页
亲,该文档总共45页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述
主观Bayes方法,陈志华,主要内容,1. 概率论基础 2. 主观Bayes方法的基本理论 3. 主观Bayes方法的基本模型,前言,主观Bayes方法 一种不确定性推理算法 以概率论中的Bayes公式为基础 首先应用于专家系统PROSPECTOR系统,和前述推理方法的区别,不确定性推理 当一个或多个新证据出现时,根据推理规则,计算结论的可信度 推理前不知道结论的概率信息 主观Bayes方法(条件概率) 当一个事件发生后,先验概率如何转变为后验概率 推理前知道结论的先验概率信息 规则的表示不一样,1. 概率论基础,条件概率: 设A,B是两个随机事件, ,则 是在B事件已经发生的条件下, A事件发生的概率。 乘法定理:,全概率公式:设 事件满足: 两两互不相容,即当 时,有 样本空间 则对任何事件B, 有下式成立: 称为全概率公式。,根据全概率公式及乘法定理可以得到Beyes公式:,2. 基本理论,主观Bayes方法的基本思想 由于证据E的出现,使得P (R)变为P(R|E) 主观Bayes方法,就是研究利用证据E,将先验概率P( R)更新为后验概率P(R|E) 先验概率P( R), 即不考虑证据E出现的前提下,结论结论R成立的概,2. 基本理论,一. 知识不确定性的表示(产生式规则) 其中 LS: 充分性量度 LN: 必要性量度 P(R) : R的先验概率,二. 基本算法,证据E有三种情形 1) 肯定存在,即P(E)=1 2) 肯定不存在, P(E)=0 3) 不确定, 0P(E)1 在不同的情形下,后验概率的计算方法不同,1) 证据E肯定存在,假设规则如下: IF E THEN R 根据乘法定理,得到 P(R|E)=P(E|R)P( R)/P(E) (式1) P(R|E)=P(E|R)P(R)/P(E) 两式相除,得到:,定义几率函数: 则 设: 则式1变为,(式3),(式2),2) 证据E肯定不存在,P(E)=0 同样可以推导出 O(R| E)=LN O( R) 其中,(式4),将O(x)重新替换成概率,得到:,(式5),(式6),讨论:O(x)与P(x)的单调性,O(x)与P(x)的单调性相同,即可从数学上推导出:,LS和LN的讨论,LS表示证据E的存在,影响结论R为真的概率:,LN表示证据E的不存在,影响结论R为真的概率: O(R| E)=LN O( R),上述结论也可以直接从公式5,6推导出来 LS1,使得P(R|E)P(R) LS1,使得P(R| E)P(R) LN1, 使得P(R| E)P(R),例子,假设有如下规则: 规则1: IF E1 THEN(10,1) R1(0.03) 规则2: IF E2 THEN (20,1) R2(0.05) 规则3: IF E3 THEN (1,0.002) R3(0.3) 求(1) 当E1,E2,E3都存在时, P(Ri|Ei) (2)当E1,E2,E3都不存在时, P(Ri| Ei),分析:利用公式5,6 答案:,练习,设有如下推理规则: R1: IF E1 THEN (2,0.5)H1 R2: IF E2 THEN (1,0.2)H2 R3: IF E3 THEN (5,0.1)H3 并且已知P(H1)=0.2, P(H2)=0.1, P(H3)=0.4 计算当证据E1,E2,E3存在或不存在时,P(Hi|Ei)或P(Hi|Ei)的值各是多少?(i=1,2,3),3) 证据E不确定,在现实中,证据往往是不确定的,即无法肯定它一定存在或一定不存在 用户提供的原始证据不精确 用户的观察不精确 推理出的中间结论不精确 假设S是对E的观察,则P(E|S)表示在观察S下, E为真的概率, 值在0,1;,此时0P(E|S)1,故计算后验概率P(R|S), 不能使用Bayes公式 可以采用下面的公式修正(杜达公式),(式7),后验概率P(R|S)的计算-1,针对杜达公式,分四种情况讨论 1)E肯定存在,即P(E|S)=1, 且P( E | S)=0,杜达公式简化为: 注意:同时利用了公式5,后验概率P(R|S)的计算-2,2)E肯定不存在,即P(E|S)=0, P( E | S)=1,杜达公式简化为: 注意:同时利用了公式6,后验概率P(R|S)的计算-3,3) P(E|S)= P(E),即E和S无关, 利用全概率公式(公式7),杜达公式可以化为:,后验概率P(R|S)的计算-4,当P(E|S)为其它值(非0,非1,非P(E))时,则需要通过分段线形插值计算:,公式8,后验概率P(R|S)的线性插值图,1,杜达公式的说明,P(E|S) 由用户给定,但是P(E)和P(E|S)很难区分和取值 解决方法: 替代法 对于原始证据,由用户给定可信度 C(E|S),对应P(E|S) C(E|S) 取值从-5到5的整数,-5 -4 -3 -2 -1 0 1 2 3 4 5,P(E|S)=1,P(E|S)=0,此时公式8变换为公式9,公式9,3. 推理模型,一. 组合证据不确定性的计算 组合证据为多个证据的合取时,即E=E1 AND E2 AND En 组合证据为多个证据的析取时,即E=E1 OR E2 OR En,二. 证据不确定性的传递 (1) 对于叶结点证据E的传递 该公式基于R-E-S的推理链,公式9,R,E,S,叶结点不确定性的传递,三. 结论不确定性的合成 n条规则都支持同一结论R, 这些规则的前提条件E1,E2, En 相互独立 每个证据所对应的观察为S1,S2, Sn 先计算O(R|Si),然后再计算所有观察下, R的后验几率计算方法: (公式11),例 题,设有如下规则: 规则1: IF E1 THEN (2,0.001) R 规则2: IF E2 THEN (100,0.001) R 且O(R)=0.1, C(E1|S1)=2, C(E2|S2)=1 试画出推理树,并计算O(R|S1,S2),R,E1,S1,E2,S2,推理树,P(R|S1,S2),O(R|Si),P(R|Si),公式9,解题步骤: (1)先计算P(R|S1), 并计算O(R|S1); 利用公式2,公式5,公式9 (2)两条规则支持同一个结论,计算O(R|S1,S2); 利用公式11,小 结,主观Bayes方法(条件概率) 当一个事件发生后,先验概率如何转变为后验概率 推理前知道结论的先验概率信息 证据不确定时,必须采用杜达等人推导的公式: P(R|S)=P(R|E) P(E|S)+P(R|E) P(E|S) 传递公式: 公式9和公式10,设有如下规则: 规则1: IF E1 THEN (2,0. 1) R 规则: IF E2 THEN (10, 1) R 且P(R)=0.01, C(E1|S1)=2, 试根据主观Bayes方法,计算O(R|S1,S2),练习,练习,设有如下规则: 规则1: IF E1 THEN(2,0.1) R 规则2: IF E2 THEN(100,0.1)R 且已知O(R)=0.1, C(E1|S1)=3, C(E2|S2)= -1,试用主观Bayes方法计算:O(R|S1,S2)=?,演讲完毕,谢谢观看!,
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号