DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring第八章第八章 不确定知识与推理不确定知识与推理q 概述概述q非精确性推理非精确性推理q 不确定性人工智能的数学基础不确定性人工智能的数学基础q 贝叶斯网络贝叶斯网络2DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring8.1 概述概述知识的不确定性知识的不确定性q随机性随机性q模糊性模糊性q自然语言中的不确定性自然语言中的不确定性q常识知识的不确定性常识知识的不确定性q知识的其他不确定性知识的其他不确定性3DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring随机性随机性u 以牛顿理论为代表的确定性科学，创造了给世界以精以牛顿理论为代表的确定性科学，创造了给世界以精确描绘的方法，将整个宇宙看作是钟表式的动力学系确描绘的方法，将整个宇宙看作是钟表式的动力学系统，处于确定、和谐、有序的运动之中。统，处于确定、和谐、有序的运动之中。u客观世界上随机的，映射到人脑的客观世界，即主观客观世界上随机的，映射到人脑的客观世界，即主观世界也应该是随机的。因此，人类在认知过程中表现世界也应该是随机的。因此，人类在认知过程中表现出的智能和知识，不可避免地伴随有随机性。出的智能和知识，不可避免地伴随有随机性。u随机性无处不在，随机性使得世界更为复杂，也更为随机性无处不在，随机性使得世界更为复杂，也更为丰富多彩。丰富多彩。8.1 概述概述4DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring模糊性模糊性u直到直到20世纪，人们才认识到，模糊性并不是坏事。它世纪，人们才认识到，模糊性并不是坏事。它能够用较少的代价，传递足够的信息，并能对复杂事能够用较少的代价，传递足够的信息，并能对复杂事物做出高效率的判断和处理。物做出高效率的判断和处理。u模糊性的客观性模糊性的客观性u哲学家罗素早在哲学家罗素早在1923年一篇题为年一篇题为Vagueness的论文中的论文中明确指出：明确指出：“认为模糊知识必定是靠不住的，这种看认为模糊知识必定是靠不住的，这种看法是大错特错的法是大错特错的”。u随着科学技术的发展，科学家们已经认识到：硬要把随着科学技术的发展，科学家们已经认识到：硬要把模糊事物人为地精确化，不仅会以方法的复杂性为代模糊事物人为地精确化，不仅会以方法的复杂性为代价，而且会降低结果的意义性。价，而且会降低结果的意义性。8.1 概述概述5DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring自然语言中的不确定性自然语言中的不确定性u语言带有不确定性是很自然的，是人类思维的本质特语言带有不确定性是很自然的，是人类思维的本质特征之一。征之一。u计算机自然语言理解、机器翻译等研究，从计算机自然语言理解、机器翻译等研究，从20世纪世纪40年代兴起至今已经有年代兴起至今已经有60多年的历史，多年的历史，u人们寄希望于表示概念的语言值的不确定性研究取得人们寄希望于表示概念的语言值的不确定性研究取得突破突破8.1 概述概述6DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring常识知识的不确定性常识知识的不确定性u在人工智能界，常识知识的表示、处理和验证是非常在人工智能界，常识知识的表示、处理和验证是非常困难的。困难的。u常识知识的相对性常识知识的相对性u目前，人工智能界有这样的共识：有无常识是人和机目前，人工智能界有这样的共识：有无常识是人和机器的根本区别之一。器的根本区别之一。8.1 概述概述7DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring知识的其他不确定性知识的其他不确定性u知识的不完备性知识的不完备性u知识的知识的 不协调性不协调性u知识的非恒常性知识的非恒常性8.1 概述概述8DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring 不确定性知识的表示、处理和模拟，寻找并且形式不确定性知识的表示、处理和模拟，寻找并且形式化地表示不确定性知识中的规律性，让机器模拟人类化地表示不确定性知识中的规律性，让机器模拟人类知识客观世界和人类自身的认知过程，使机器具有不知识客观世界和人类自身的认知过程，使机器具有不确定性智能，成为人工智能学家的重要任务。确定性智能，成为人工智能学家的重要任务。8.1 概述概述9DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring8.2非精确性推理非精确性推理 非精确性推理方法研究产生的原因大致如下：非精确性推理方法研究产生的原因大致如下：很多原因导致同一结果很多原因导致同一结果推理所需的信息不完备推理所需的信息不完备背景知识不足背景知识不足信息描述模糊信息描述模糊信息中含有噪声信息中含有噪声划分是模糊的划分是模糊的推理能力不足推理能力不足解题方案不唯一解题方案不唯一10DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpringuES是通过大量专家知识来取得高水平的问题求解能是通过大量专家知识来取得高水平的问题求解能力。由于专家知识是不确定的，因此力。由于专家知识是不确定的，因此ES要达到高性能要达到高性能,必须解决好不确定性问题。必须解决好不确定性问题。u 传统的概率统计方法受限制传统的概率统计方法受限制 u 放弃传统程序求解的逻辑完备性放弃传统程序求解的逻辑完备性8.2非精确性推理非精确性推理11DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpringuShortliffe等人等人1975年结合年结合MYCIN系统的建立提出了系统的建立提出了确定性理论确定性理论。uDURA等人等人1976在在PROSPECTOR的基础上给出了概的基础上给出了概率法。率法。uDempsterShafter同年提出同年提出证据理论证据理论。uZadeh两年后提出了可能性理论，两年后提出了可能性理论，1983年提出了模糊年提出了模糊逻辑。逻辑。8.2非精确性推理非精确性推理非确定性推理的研究和发展非确定性推理的研究和发展12DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpringqMYCIN系统是第一个采用了不确定推理逻辑的专家系系统是第一个采用了不确定推理逻辑的专家系统，在统，在20世纪世纪70年代非常有名。年代非常有名。q这个系统提出该确定性方法时遵循了下面的原则：这个系统提出该确定性方法时遵循了下面的原则：（1）不采用严格的统计理论。使用的是一种接近统不采用严格的统计理论。使用的是一种接近统计理论的近似方法。计理论的近似方法。（2）用专家的经验估计代替统计数据用专家的经验估计代替统计数据（3）尽量减少需要专家提供的经验数据，尽量使少尽量减少需要专家提供的经验数据，尽量使少量数据包含多种信息。量数据包含多种信息。（4）新方法应适用于证据为增量式地增加的情况。新方法应适用于证据为增量式地增加的情况。（5）专家数据的轻微扰动不影响最终的推理结论。专家数据的轻微扰动不影响最终的推理结论。确定性理论确定性理论13DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpringMYCIN 概述概述 用用户户解释模块解释模块咨询模块咨询模块知识获取模块知识获取模块感染病专家感染病专家与知识工程师与知识工程师知识库知识库动态数据库动态数据库(推理记录推理记录)患者数据库患者数据库(原始数据库原始数据库)MYCIN系统结构图系统结构图14DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpringMYCIN推理策略推理策略采用反向推理和深度优先搜索。采用反向推理和深度优先搜索。诊断治疗过程如下诊断治疗过程如下：(1)确定患者有无细菌性感染。确定患者有无细菌性感染。(2)确定可能引起感染的有机体。确定可能引起感染的有机体。(3)确定对其有抑制作用的药物。确定对其有抑制作用的药物。(4)选择对治疗最合适的药物。选择对治疗最合适的药物。这四个步骤由目标规则这四个步骤由目标规则来执行。来执行。15DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpringMYCIN知识表示知识表示如：如：RULE 037 PREMISE: ($AND (NOTKNOWN CONTXT IDENT) (SAME CONTXT GRAM GRAMNEG) (SAME CONTXT MORPH ROD) (SAME CONTXT AIR AEROBIC)ACTION: (CONCLUDE CONTXT CLASS ENTEROBACTERIACEAE TALLY 0.8) 16DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring可信度是指人们根据以往经验对某个事物或现象为真的程度的一可信度是指人们根据以往经验对某个事物或现象为真的程度的一个判断，或者说是人们对某个事物或现象为真的相信程度。个判断，或者说是人们对某个事物或现象为真的相信程度。可信度的概念可信度的概念可信度具有一定的主观性，较难把握。但对某一特定领域，让可信度具有一定的主观性，较难把握。但对某一特定领域，让该领域专家给出可信度还是可行的。该领域专家给出可信度还是可行的。 17DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring8.3.2CF模型模型表示形式：表示形式：在在C-F模型中，知识是用产生式规则表示的，其一般形式为：模型中，知识是用产生式规则表示的，其一般形式为：IFETHENH(CF(H,E)其中，其中，E是知识的前提条件；是知识的前提条件；H是知识的结论；是知识的结论；CF(H,E)是知识的可信度。是知识的可信度。1. 知识不确定性的表示知识不确定性的表示:例子：例子：IF发烧发烧AND流鼻涕流鼻涕THEN感冒感冒(0.8)说明：当某人确实有说明：当某人确实有“发烧发烧”及及“流鼻涕流鼻涕”症状时，则有症状时，则有80%的把握是患了感冒。的把握是患了感冒。18DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring说明：说明：(1)E可以是单一条件，也可以是复合条件。例如：可以是单一条件，也可以是复合条件。例如：E=(E1ORE2)ANDE3ANDE4(2)H可以是单一结论，也可以是多个结论可以是单一结论，也可以是多个结论(3)CF是知识的静态强度，是知识的静态强度，CF(H,E)的取值为的取值为-1,1，表示当，表示当E为真时，证据对为真时，证据对H的支持程度，其值越大，支持程度越大。的支持程度，其值越大，支持程度越大。(4)CF(H,E)可以理解为规则的可信度可以理解为规则的可信度19DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring可信度的定义可信度的定义在在CF模型中，把模型中，把CF(H,E)定义为定义为CF(H,E)=MB(H,E)-MD(H,E)2.可信度的定义与性质可信度的定义与性质MB:信任增长度，信任增长度，MB(H,E)定义为定义为:MD:不信任增长度，不信任增长度，MB(H,E)定义为定义为:20DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpringMB和和MD的关系的关系:)-=-=-=()|()|()|()()|()(),(00)(1)()|(0),(),(HPEHPHPEHPHPEHPHPEHPHPEHMDHPHPEHPEHMBEHCF若若若q当当MB(H, E)0时时: P(H|E)P(H) E的出现增加了的出现增加了H的概率的概率q当当MD(H, E)0时：时： P(H|E)0时，时，MD(H,E)=0当当MD(H,E)0时，时，MB(H,E)=0n值域值域22DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpringn典型值典型值(1)当当CF(H,E)=1时，有时，有P(H/E)=1，它说明由于，它说明由于E所对应证据的出所对应证据的出现使现使H为真。此时，为真。此时，MB(H,E)=1，MD(H,E)=0。(2)当当CF(H,E)=-1时，有时，有P(H/E)=0，说明由于，说明由于E所对应证据的出所对应证据的出现使现使H为假。此时，为假。此时，MB(H,E)=0，MD(H,E)=1。(3)当当CF(H,E)=0时，有时，有MB(H,E)=0、MD(H,E)=0。前者说明。前者说明E所对应证据的出现不证实所对应证据的出现不证实H；后者说明；后者说明E所对应证据的出现不否所对应证据的出现不否认认H。(4)对对H的信任增长度等于对非的信任增长度等于对非H的不信任增长度的不信任增长度q对对H的信任增长度等于对非的信任增长度等于对非H的不信任增长度的不信任增长度q对对H的可信度与非的可信度与非H的可信度之和等于的可信度之和等于0q可信度不是概率可信度不是概率概率满足：概率满足：P(H)+P(H)=1 和和 0P(H),P(H) 1 但可信度不满但可信度不满足。足。23DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring(5)对同一前提对同一前提E，若支持若干个不同的结论，若支持若干个不同的结论Hi(i=1,2,n)，则：，则：若：专家给出的知识有如下情况若：专家给出的知识有如下情况CF(H1,E)=0.7,CF(H2,E)=0.4非法，应进行调整或规范化非法，应进行调整或规范化24DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring证据（证据（E）不确定性的表示：）不确定性的表示：证据的不确定性也是用可信度来表示的，其取值范围也为证据的不确定性也是用可信度来表示的，其取值范围也为-1,1若若E为初始证据，其值由用户给出。为初始证据，其值由用户给出。若若E为中间结论，其值可通过计算得到。为中间结论，其值可通过计算得到。不确定性的含义：不确定性的含义：对对E，其可信度，其可信度CF(E)的含义如下：的含义如下：CF(E)=1，证据，证据E肯定它为真肯定它为真CF(E)=-1，证据，证据E肯定它为假肯定它为假CF(E)=0，对证据，对证据E一无所知一无所知0CF(E)1，证据，证据E以以CF(E)程度为真程度为真-1CF(E)0，证据，证据E以以CF(E)程度为假程度为假3. 证据不确定性的表示证据不确定性的表示25DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring4.否定证据不确定性的计算否定证据不确定性的计算CF(E)=-CF(E)5.组合证据不确定性的计算组合证据不确定性的计算“合取合取”与与“析取析取”两种基本情况。两种基本情况。26DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring析取析取:当组合证据是多个单一证据的析取时当组合证据是多个单一证据的析取时即即E=E1ORE2OROREn时，若已知时，若已知CF(E1)，CF(E2)，CF(En)，则，则CF(E)=maxCF(E1),CF(E2),CF(En)合取合取:当组合证据是多个单一证据的组合时当组合证据是多个单一证据的组合时即即E=E1ANDE2ANDANDEn时，若已知时，若已知CF(E1)，CF(E2)，CF(En)，则，则CF(E)=minCF(E1),CF(E2),CF(En)27DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpringlCF模模型型中中的的不不确确定定性性推推理理实实际际上上是是从从不不确确定定的的初初始始证证据据出出发发，不不断运用相关的不确性知识，逐步推出断运用相关的不确性知识，逐步推出最终结论和该结论可信度最终结论和该结论可信度的过程。的过程。l每每一一次次运运用用不不确确定定性性知知识识，都都需需要要由由证证据据的的不不确确定定性性和和知知识识的的不不确确定性去计算结论的不确定性。定性去计算结论的不确定性。6. 不确定性推理不确定性推理不确定性的更新公式不确定性的更新公式:CF(H)=CF(H,E)max0,CF(E)若若CF(E)0,称称为事件为事件B出现条件下，事件出现条件下，事件A发生的条件概率发生的条件概率。条件概率及贝叶斯定理条件概率及贝叶斯定理条件概率的意义在于：如果在随机试验中，已经条件概率的意义在于：如果在随机试验中，已经观察到了事件观察到了事件B的发生，那么可以利用事件的发生，那么可以利用事件B发生发生的概率，去认识事件的概率，去认识事件A的不确定的不确定性。42DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpringu贝叶斯定理（贝叶斯定理（Bayes）设事件设事件A1，A2 ，A3 ，An中任意两个事件都中任意两个事件都不相交，则对任何事件不相交，则对任何事件B有下式成立：有下式成立： 该定理就叫该定理就叫Bayes定理，上式称为定理，上式称为Bayes公式。公式。条件概率及贝叶斯定理条件概率及贝叶斯定理43DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring贝叶斯定理贝叶斯定理u设Ai是导致事件是导致事件B发生的所有可能原因，已知他们的概率为发生的所有可能原因，已知他们的概率为P（Ai）,这些概率被称为先验概率这些概率被称为先验概率;u设设Ai在随机试验中不能或者没有被直接观察到，只能观察到与在随机试验中不能或者没有被直接观察到，只能观察到与之联系的之联系的B的发生的发生;u在此条件下，对事件在此条件下，对事件Ai出现的可能性作出判断，即求出关于出现的可能性作出判断，即求出关于B的条件概率的条件概率P（Ai|B），又称为），又称为Ai的后验概率。的后验概率。例如：用例如：用B代表发烧，代表发烧，A代表感冒代表感冒:P（A|B）-P（B|A）贝叶斯公式给出用先验概率贝叶斯公式给出用先验概率P（B|A），求后验概率），求后验概率P（A|B）的方法）的方法44DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring例子：例子：已知：已知：s表示病人脖子强直；表示病人脖子强直； m表示病人患有脑膜炎表示病人患有脑膜炎p（s|m）=0.5; p(m)=1/50000; p(s)=1/20p(m|s)=?p(m|s)=p(s|m)p(m)/p(s)=0.000245DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring8.3.2 粗糙集理论（粗糙集理论（Rough Set）1965年，年，L. A. Zadeh提出提出Fuzzy Sets的概念，试图通的概念，试图通过这一理论解决过这一理论解决G.frege的含糊概念。的含糊概念。FSFS方法：方法：利用隶属函数描述边界上的不确定对象。利用隶属函数描述边界上的不确定对象。19821982年，波兰华沙理工大学年，波兰华沙理工大学 Z.Pawlak教授针对教授针对G.frege的边界线区域思想提出了的边界线区域思想提出了Rough Sets理论理论。RSRS方法：把无法确认的个体都归属于边界区域，把边界方法：把无法确认的个体都归属于边界区域，把边界区域定义为上近似集和下近似集的差集。区域定义为上近似集和下近似集的差集。46DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpringuRough set theory is still another approach to vagueness.u Similarly to fuzzy set theory it is not an alternative to classical set theory but it is embedded in it.u Rough set theory can be viewed as a specific implementation of Freges idea of vagueness, i.e., imprecision in this approach is expressed by a boundary region of a set, and not by a partial membership, like in fuzzy set theory. uRough set concept can be defined by approximations.1982 Z. Pawlak 波兰波兰47DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring1 问题问题医生医生症状头痛？肌肉痛？体温？患病？流感？48DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring很高是否p6高否否p5正常是否p4很高是是p3高是是p2正常是是p1体温肌肉痛头痛患者流感否是是否否是条件属性条件属性决策属性49DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring很高是否p6高否否p5正常是否p4很高是是p3高是是p2正常是是p1体温肌肉痛头痛患者条件属性条件属性是否否是是否流感决策属性信息表信息表50DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring很高是否p6高否否p5正常是否p4很高是是p3高是是p2正常是是p1体温肌肉痛头痛患者流感否是是否否是条件属性条件属性决策属性很高否是p7是51DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring不可分辨关系不可分辨关系uRS理论是基于不可分辨关系的（等价关系）。52DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring1 问题问题医生医生症状头痛？肌肉痛？体温？患病？流感？表达表达条件属性等价类条件属性等价类和和决策属性等价类决策属性等价类的关系（其中存在的关系（其中存在vague）在条件属性下在条件属性下的等价类的等价类在决策属性在决策属性下的等价类下的等价类53DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpringb1=p1,p2,p3b2=p5b3=p4,p6b4=p7X=p1,p4,p5Y=p2,p3,p6,p7条件属性下条件属性下决策属性下决策属性下流感否是是否否是决策属性是54DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpringX=p1,p4,p5上近似上近似 b1Ub2Ub3下近似下近似 b1边界域边界域 b2Ub355DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring56DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring直观理解直观理解:对于上近似集外上近似集外的元素,一定不属于X对于边界域内边界域内的元素,可能属于X,也可能不属于X对于下近似内下近似内的元素,一定属于X57DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpringRough Set 的能力的能力属性约简属性约简 属性的重要度属性的重要度 规则生成规则生成58DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring8.4 贝叶斯网络贝叶斯网络u根据概率理论的法则建立网络模型，对不确定性进行推根据概率理论的法则建立网络模型，对不确定性进行推理。理。u贝叶斯网络是一系列变量的联合概率分布的图形表示。贝叶斯网络是一系列变量的联合概率分布的图形表示。8.4 .1 贝叶斯网络的表示贝叶斯网络的表示59DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring包含两个部分：包含两个部分：贝叶斯网络结构图：有向无环图（贝叶斯网络结构图：有向无环图（DAG），其中图中的），其中图中的每个节点代表相应的变量，节点之间的连接关系代表了贝每个节点代表相应的变量，节点之间的连接关系代表了贝叶斯网络的条件独立语义。叶斯网络的条件独立语义。节点和节点之间的条件概率表（节点和节点之间的条件概率表（CPT）：一系列的概率）：一系列的概率值。值。命题命题S(moker)：吸烟者：吸烟者命题命题C(oalMiner)：煤矿矿井工人：煤矿矿井工人命题命题L(ungCancer)：他患了肺癌：他患了肺癌命题命题E(mphysema)：他患了肺气肿：他患了肺气肿贝叶斯网有时也叫因果网，因为可以将连接结点的弧贝叶斯网有时也叫因果网，因为可以将连接结点的弧认为是表达了直接的因果关系。认为是表达了直接的因果关系。60DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring如果一个贝叶斯网络提供了足够的条件概率值，足以如果一个贝叶斯网络提供了足够的条件概率值，足以计算任何给定的联合概率，我们就称，它是可计算的，计算任何给定的联合概率，我们就称，它是可计算的，即可推理的。即可推理的。贝叶斯网的两个要素：其一为贝叶斯网的结构，也就贝叶斯网的两个要素：其一为贝叶斯网的结构，也就是各节点的继承关系，其二就是条件概率表是各节点的继承关系，其二就是条件概率表CPT。若。若一个贝叶斯网可计算，则这两个条件缺一不可。一个贝叶斯网可计算，则这两个条件缺一不可。贝叶斯网络贝叶斯网络61DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring例：例：给定了他们是否给你打电话的证据，估计有人入室行窃的概率给定了他们是否给你打电话的证据，估计有人入室行窃的概率62DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring7.4.2 贝叶斯网络的语义贝叶斯网络的语义贝叶斯网络能表示任意概率分布的同时，它们为这贝叶斯网络能表示任意概率分布的同时，它们为这些能用简单结构表示的分布提供了可计算优势。些能用简单结构表示的分布提供了可计算优势。假设对于顶点假设对于顶点xi，其双亲节点集为，其双亲节点集为Pai，每个变量，每个变量xi的的条件概率条件概率P(xi|Pai)。则顶点集合则顶点集合X=x1,x2,xn的联的联合概率分布可如下计算：合概率分布可如下计算：63DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring贝叶斯网络的联合概率分布贝叶斯网络的联合概率分布BurglaryBurglaryEarthquakeEarthquakeP(B)0.001JohnCallsJohnCallsAlarmAlarmP(E)0.002MaryCallsMaryCallsB E P(A)t t .95t f .90f t .30f f .001A P(J)t .90f .05A P(M)t .70f .01计算报警器响了，但计算报警器响了，但既没有盗贼闯入，也既没有盗贼闯入，也没有发生地震，同时没有发生地震，同时John和和Mary都给你都给你打电话的概率打电话的概率P(j m a b e)=P(j|a)P(m|a)P(a|b e) P(b)P(e)=0.90*0.70*0.001*0.999*0.998=0.0006264DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring贝叶斯网络的联合概率分布贝叶斯网络的联合概率分布该等式暗示了早先给定的图结构有条件独立语义。该等式暗示了早先给定的图结构有条件独立语义。它说明贝叶斯网络所表示的联合分布作为一些单独它说明贝叶斯网络所表示的联合分布作为一些单独的局部交互作用模型的结果具有因式分解的表示形式。的局部交互作用模型的结果具有因式分解的表示形式。65DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring7.4.3贝叶斯网的推理模式贝叶斯网的推理模式u因果推理（由上向下推理）因果推理（由上向下推理）u诊断推理诊断推理u辩解辩解在确定某个已观察事件在确定某个已观察事件也就是一组证据变量值的也就是一组证据变量值的某个赋值后，任何概率推理系统的基本任务都是要计某个赋值后，任何概率推理系统的基本任务都是要计算一组查询变量的后验概率。算一组查询变量的后验概率。66DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpringu因果推理（由上向下推理）因果推理（由上向下推理）7.4.3贝叶斯网络的推理模式贝叶斯网络的推理模式给定患者是一个吸烟给定患者是一个吸烟者（者（S），计算他患肺），计算他患肺气肿（气肿（E）的概率）的概率P(E|S)。S：推理的证据，：推理的证据，E：询问结点。：询问结点。P(E|S)=P(E,C|S)+P(E,C|S);/全概率公式全概率公式=P(E|C,S)*P(C|S)+P(E|C,S)*P(C|S);/贝叶斯公式贝叶斯公式在图中，在图中，C和和S并没有双亲关系，符合条件独立条件：并没有双亲关系，符合条件独立条件：P(C|S)=P(C),P(C|S)=P(C),由此可得：由此可得：P(E|S)=P(E|S,C)*P(C)+P(E|C,S)*P(C)P(E,C|S)P(E,C,S)/P(S)P(E|C,S)*P(C,S)/P(S)(贝叶斯定理贝叶斯定理)P(E|C,S)*P(C|S)(反向利用贝叶斯定理反向利用贝叶斯定理67DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring因果推理的主要操作：因果推理的主要操作：1）按照给定证据的按照给定证据的V和它的所有双亲的联合概率，重和它的所有双亲的联合概率，重新表达给定证据的询问结点的所求条件概率。新表达给定证据的询问结点的所求条件概率。2）回到以所有双亲为条件的概率，重新表达这个联合回到以所有双亲为条件的概率，重新表达这个联合概率。概率。3）直到所有的概率值可从直到所有的概率值可从CPT表中得到，推理完成。表中得到，推理完成。贝叶斯网络的推理贝叶斯网络的推理68DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpringu诊断推理诊断推理计算计算“不得肺气肿的不是不得肺气肿的不是矿工矿工”的概率的概率P(C|E),即即在贝叶斯网中，从一个子在贝叶斯网中，从一个子结点计算父结点的条件概结点计算父结点的条件概率。也即从结果推测一个率。也即从结果推测一个起因，这类推理叫做诊断起因，这类推理叫做诊断推理。推理。贝叶斯网络的推理贝叶斯网络的推理P(C|E)P(E|C)*P(C)/P(E)，P(E|C)=P(E,S|C)+P(E,S|C)=P(E|S,C)*P(S)+P(E|S,C)*P(S)=(1-0.3)*0.4+(1-0.10)*(1-0.4)=0.82;由此得：由此得：P(C|E)P(E|C)*P(C)/P(E)(贝叶斯公贝叶斯公式式)0.82*(1-0.3)/P(E)0.574/P(E)同样的，同样的，P(C|E)P(E|C)*P(C)/P(E)0.34*0.3/P(E)0.102/P(E)由于全概率公式：由于全概率公式：P(C|E)+P(C|E)1代入可得代入可得P(E)=0.676所以，所以，P(C|E)0.849这种推理方式主要利用这种推理方式主要利用Bayes规则规则转换成因果推理。转换成因果推理。69DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpringu解释推理解释推理贝叶斯网络的推理贝叶斯网络的推理如果我们的证据仅仅是如果我们的证据仅仅是E（不是肺气肿），象上述（不是肺气肿），象上述那样，我们可以计算那样，我们可以计算C(患者不是煤矿工人患者不是煤矿工人)的概率。的概率。但是如果也给定但是如果也给定S（患者不是吸烟者），那么（患者不是吸烟者），那么C也也应该变得不确定。这种情况下，我们说应该变得不确定。这种情况下，我们说S解释了解释了E，使，使C变得不确定。这类推理使用嵌入在一个诊断变得不确定。这类推理使用嵌入在一个诊断推理中的因果推理。推理中的因果推理。70DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring71DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpring关于关于贝叶斯网络贝叶斯网络q是一种已经得到成熟发展的不确定知识表示方法。是一种已经得到成熟发展的不确定知识表示方法。q是一个节点对应于随机变量的有向无环图；每个节点是一个节点对应于随机变量的有向无环图；每个节点在给定父节点下都有一个条件概率分布。在给定父节点下都有一个条件概率分布。q提供了一种表示域中的条件独立关系的简洁方式。提供了一种表示域中的条件独立关系的简洁方式。q可以将贝叶斯网络视为对联合概率分布的表示。可以将贝叶斯网络视为对联合概率分布的表示。q贝叶斯网络的推理意味着给定一个证据集合后，计算贝叶斯网络的推理意味着给定一个证据集合后，计算一个查询变量集合的概率分布。一个查询变量集合的概率分布。72DepartmentofComputerScience&Technology,NanjingUniversityArtificial IntelligenceArtificial IntelligenceSpringBurglaryBurglaryEarthquakeEarthquakeP(B)0.001JohnCallsJohnCallsAlarmAlarmP(E)0.002MaryCallsMaryCallsB E P(A)t t .95t f .90f t .30 f f .001A P(J)t .90f .05A P(M)t .70f .01习题：习题：计算计算John和和Mary都不打电话而且同时发生地震和都不打电话而且同时发生地震和入室盗窃的联合概率入室盗窃的联合概率BurglaryBurglaryEarthquakeEarthquakeP(B)0.001JohnCallsJohnCallsAlarmAlarmP(E)0.002MaryCallsMaryCallsB E P(A)t t .95t f .90f t .30 f f .001A P(J)t .90f .05A P(M)t .70f .01