人工智能人工智能不确定性推理（不确定性推理（不确定性推理（不确定性推理（1 1）不不确确定定性性l不确定环境下的行动l概率公理l使用全概率分布进行推理l独立性l贝叶斯法则及其应用不不确确定定性性（Uncertainty）l定义行动 At = 航班起飞前 t 分钟启程前往机场；l问： At 能不能及时使agent赶上飞机？A180 是一个可靠的行动，如果所选路线上没有交通事故、没有交通管制、汽车没有出故障、没有沙尘暴，等等，等等。(A1440 或许是个一定不会耽误飞机的计划，不过要在机场过夜)l逻辑方法使得Agent在得到最新环境的足够多事实时，使得行动计划得到保证。l但是，没有任何agent能够获得最新其环境的全部事实。FOL与与不不确确定定性性lFOL能够处理不确定性吗？l医学专家系统：p Symptom(p,Toothache) Disease(p,Cavity) ?引起牙痛的原因：牙洞？ 穷举牙洞与牙痛有必然联系吗？l失败的原因：懒惰(laziness): failure to enumerate exceptions, qualifications, etc.无知(ignorance): lack of relevant facts, initial conditions, etc.不不确确定定环环境境下下的的决决策策l基本思想：精确度和有效性的折中l理性决策的含义既依赖于各种目标的相对重要性，也依赖于这些目标将被实现的可能性（程度）。l假设A180理性决策，这意味着在给定所处的环境信息下，它是所有可执行的规划中智能体的性能度量期望达到最大的那个。l性能度量：及时赶上飞机、等待时间不长，不不确确定定环环境境下下的的决决策策l例如：给出行动及其成功的概率如下:l P(A25 gets me there on time | ) = 0.04 P(A90 gets me there on time | ) = 0.70 P(A120 gets me there on time | ) = 0.95 P(A1440 gets me there on time | ) = 0.9999 l该选哪一个行动?例如，取决于成功的几率以及等待时间的折中。必须考虑效用理论（Utility theory）决策论概率论效用论Decision theory = probability theory + utility theory不不确确定定性性l不确定环境下的行动l概率公理l使用全概率分布进行推理l独立性l贝叶斯法则及其应用概概率率理理论论（ Probability theory ）lAgent的知识提供的最多是最新语句的信度（degree of belief）。l概率论可以处理我们的惰性和无知。l概率是宇宙的真实方面：它是物体的行为表现为特定方式的倾向，而不仅仅是对观察者信心的描述。l概率与证据：在评估语句的概率时，必须指出有关证据。Agent获得新的信息后，其概率评估应该更新。先验概率、后验概率先先验验概概率率l与命题a相关的无条件概率，在没有任何其它信息存在的情况下，最新命题的信度，记为：P（a）。l例如，用P（weather）表示天气的概率：P（weather sunny）0.7P（weather rain）0.2P（weather cloudy）0.08P（weather snow）0.02l先验概率分布：P（weather ）l联合概率分布，全联合概率分布l概率密度函数后后验验（条条件件）概概率率l得到与命题a相关的变量的证据，先验概率失效，需要以后验概率替代，记为：P（a|b）l例如：P（cavity | toothache）0.7l乘法规则：P（a b） P（b | a） P（a）l9、 人的价值，在招收诱惑的一瞬间被决定。2024/9/25 2024/9/25 Wednesday, September 25, 2024l10、低头要有勇气，抬头要有低气。2024/9/25 2024/9/25 2024/9/25 9/25/2024 12:21:48 PMl11、人总是珍惜为得到。2024/9/25 2024/9/25 2024/9/25 Sep-24 25-Sep-24l12、人乱于心，不宽余请。2024/9/25 2024/9/25 2024/9/25 Wednesday, September 25, 2024l13、生气是拿别人做错的事来惩罚自己。2024/9/25 2024/9/25 2024/9/25 2024/9/25 9/25/2024l14、抱最大的希望，作最大的努力。25 九月 20242024/9/25 2024/9/25 2024/9/25l15、一个人炫耀什么，说明他内心缺少什么。九月 242024/9/25 2024/9/25 2024/9/25 9/25/2024l16、业余生活要有意义，不要越轨。2024/9/25 2024/9/25 25 September 2024l17、一个人即使已登上顶峰，也仍要自强不息。2024/9/25 2024/9/25 2024/9/25 2024/9/25概概率率公公理理（Axioms of probability）l对任意命题 A, B:0 P(A) 1P(true) = 1 ， P(false) = 0P(A B) = P(A) + P(B) - P(A B)Kolmogorov公理l9、 人的价值，在招收诱惑的一瞬间被决定。2024/9/25 2024/9/25 Wednesday, September 25, 2024l10、低头要有勇气，抬头要有低气。2024/9/25 2024/9/25 2024/9/25 9/25/2024 12:21:48 PMl11、人总是珍惜为得到。2024/9/25 2024/9/25 2024/9/25 Sep-24 25-Sep-24l12、人乱于心，不宽余请。2024/9/25 2024/9/25 2024/9/25 Wednesday, September 25, 2024l13、生气是拿别人做错的事来惩罚自己。2024/9/25 2024/9/25 2024/9/25 2024/9/25 9/25/2024l14、抱最大的希望，作最大的努力。25 九月 20242024/9/25 2024/9/25 2024/9/25l15、一个人炫耀什么，说明他内心缺少什么。九月 242024/9/25 2024/9/25 2024/9/25 9/25/2024l16、业余生活要有意义，不要越轨。2024/9/25 2024/9/25 25 September 2024l17、一个人即使已登上顶峰，也仍要自强不息。2024/9/25 2024/9/25 2024/9/25 2024/9/25不不确确定定性性l不确定环境下的行动l概率公理l使用全概率分布进行推理l独立性l贝叶斯法则及其应用联联合合概概率率分分布布l联合概率分布（joint probability distribution）:表中catch是指由于牙医的钢探针不洁而导致的牙龈感染l对任何命题 , 其概率是所有原子证据事件概率的和： lP() = : P()联联合合概概率率分分布布（枚枚举举）lStart with the joint probability distribution:lFor any proposition , sum the atomic events where it is true: P() = : P()lP(toothache) = 0.108 + 0.012 + 0.016 + 0.064 = 0.2lStart with the joint probability distribution,lCan also compute conditional probabilities: P(cavity | toothache) = P(cavity toothache)P(toothache)= 0.016+0.064 0.108 + 0.012 + 0.016 + 0.064= 0.4联合概率分布（枚举）联合概率分布（枚举）归归一一化化（Normalization）l(Denominator)-1 normalization constant lP(Cavity | toothache) = P(Cavity,toothache) = P(Cavity,toothache,catch) + P(Cavity,toothache, catch)= + = = lGeneral idea: compute distribution on query variable by fixing evidence variables and summing over hidden variables.不不确确定定性性l不确定环境下的行动l概率公理l使用全概率分布进行推理l独立性l贝叶斯法则及其应用独独立立性性（Independence）lA 与 B 独立，当且仅当P(A|B) = P(A) or P(B|A) = P(B) or P(A, B) = P(A) P(B)例如：例如：P(Toothache, Catch, Cavity, Weather)= P(Toothache, Catch, Cavity) P(Weather)l32 entries reduced to 12 (weather has 4 possible values); for n independent biased coins, O(2n) O(n)l绝对独立很好但很少见，例如牙科中可能涉及几百相互关联的变量，这时候如何处理？条条件件独独立立（Conditional independence）l已知有一个牙洞，钻具感染与牙疼的概率相互独立：l钻具感染与牙痛在给定牙洞的情况下是条件独立的lconditionally independent P(Toothache, Catch | Cavity) = P(Toothache | Cavity) P(Catch | Cavity)条条件件独独立立l推导联合分布，将全联合分布分解成很多更小的分布: P(Toothache, Catch, Cavity) = P(Toothache, Catch | Cavity) P(Cavity) 乘法法则= P(Toothache | Cavity) P(Catch | Cavity) P(Cavity) 条件独立I.e., 2 + 2 + 1 = 5 independent numbersl条件分布将联合分布的表示空间由指数级降到线性。l条件概率是处理不确定信息的基础和最鲁棒的形式。不不确确定定性性l不确定环境下的行动l概率公理l使用全概率分布进行推理l独立性l贝叶斯法则及其应用贝贝叶叶斯斯法法则则（Bayes Rule）l由乘法法则 P(ab) = P(a | b) P(b) = P(b | a) P(a) Bayes rule: P(a | b) = P(b | a) P(a) / P(b)l一般形式： P(Y|X) = P(X|Y) P(Y) / P(X) = P(X|Y) P(Y)l例子：用于从病因（causal）中找到诊断（diagnostic）结论 :P(Cause|Effect) = P(Effect|Cause) P(Cause) / P(Effect)E.g., let M be meningitis, S be stiff neck:P(m|s) = P(s|m) P(m) / P(s) = 0.8 0.0001 / 0.1 = 0.0008贝贝叶叶斯斯法法则则与与条条件件独独立立P(Cavity | toothache catch) = P(toothache catch | Cavity) P(Cavity) = P(toothache | Cavity) P(catch | Cavity) P(Cavity) lThis is an example of a nave Bayes （朴素贝叶斯）model:P(Cause,Effect1, ,Effectn) = P(Cause) iP(Effecti|Cause)lTotal number of parameters is linear in n贝叶斯网络贝叶斯网络 1 贝叶斯网络概述2 贝叶斯网络的语义3 贝叶斯网络中的精确推理4 贝叶斯网络的近似推理概率公式概率公式条件概率公式乘法公式全概率公式边缘化与条件化边缘化与条件化l联合概率分布l边缘化（求和消元）lP(toothache) = 0.108 + 0.012 + 0.016 + 0.064 = 0.2l条件化：贝叶斯法则贝叶斯法则l由乘法法则 P(ab) = P(a | b) P(b) = P(b | a) P(a) Bayes rule: P(a | b) = P(b | a) P(a) / P(b)l一般形式： l更通用版本（条件化）：贝叶斯网络的由来l随机方法？每个状态值取决于前面有限个状态 ，如Markov链。l在现实生活中，很多事物相互的关系并不能用一条链来串起来；它们之间的关系可能是交叉的、错综复杂的。如疾病的起因，故障的原因等。贝叶斯网络的由来l全联合概率计算复杂性十分巨大；l变量之间的独立性和条件独立性能大大减少为了定义全联合概率分布所需的概率数目。l需要一种自然、有效的方式来根据不确定性知识推理贝叶斯网络；贝叶斯网络的定义l贝叶斯网络(Bayesian network)是一个有向图，其中每个节点都标注了定量概率信息：n 一个随机变量集合组成网络节点，变量可以是离散的或者连续的；n 一个连接节点对的有向边或者箭头的集合，如果存在从节点X指向节点Y的有向边，则称X是Y的一个父节点；n 每个节点都存在一个条件概率分布P(Xi|Parent(Xi)，量化父节点对该节点的影响；n 图中不存在有向环(是有向无环图DAG)。 简简单单例例子子l表示前例中条件独立的拓扑网络:lWeather is independent of the other variableslToothache and Catch are conditionally independent given Cavity贝叶斯网络的表示贝叶斯网络的表示贝叶斯网络的表示贝叶斯网络的表示 防盗网BurglaryEarthquakeMaryCallsJohnCallsAlarm0.950.940.290.001 t t t f f t f fP(A) B E0.900.05 t fP(J) A0.700.01 t fP(M) A0.001P(B) 0.002P(E) 条件概率表l每个节点旁的条件概率表(简称CPTCPT)中的值对应一个条件事件的概率如P(A)=0.94=P(A|BurglaryEarthquake)；条件事件是父节点取值的一个可能组合；每行的概率之和应为1(表中只给出了为真的情况，为假的概率应为1-p)；一个具有k个布尔父节点的布尔变量的条件概率表中有2k个独立的可指定的概率(注意概率值是独立的)；没有父节点的节点的概率只有1行，为先验概率。 0.700.01 t fP(M) A贝贝叶叶斯斯网网络络的的概概率率解解释释l任何完整的概率模型必须具有表示（直接或间接）该领域变量联合分布的能力，完全的枚举需要指数级的规模（相对于领域变量个数）；l贝叶斯网络提供了这种联合概率分布的紧凑表示：分解联合分布为几个局部分布的乘积：贝贝叶叶斯斯网网络络的的概概率率解解释释l从公式可以看出，需要的参数个数随网络中节点个数呈线性增长，而联合分布的计算呈指数增长。l网络中变量间独立性的指定是实现紧凑表示的关键。l独立性在通过人类专家构造贝叶斯网中特别有效。贝叶斯网络贝叶斯网络 1 贝叶斯网络概述2 贝叶斯网络的语义3 贝叶斯网络中的精确推理4 贝叶斯网络的近似推理贝叶斯网络的语义l贝叶斯网络给出了最新相关事件的完整描述，通过计算全联合概率分布求取联合分布中的某项是对每个变量赋予一个特定值情况下的合取概率就是条件概率表中适当元素的乘积例子 P(jmabe)=P(j|a)P(m|a)P(a|be)P(b)P(e)=0.90*0.70*0.001*0.999*0.998=0.00062 一种贝叶斯网络构建方法一种贝叶斯网络构建方法l乘法规则：P(x1,x2, xn)=P(xn|xn-1 ,x1,) P(xn-1 ,x1 ,) l链式法则(chain rule)：P(Xi|Xi-1,X1)=P(Xi|Parent(Xi)Parent(Xi) Xi-1,X1l初始的合取概率化为更小的条件概率和更小的合取式 l这些条件概率的合取式实际上就是父节点到子节点的概率乘积。l父子节点的关系使得贝叶斯网络具有局部结构化的特性，即每个节点只和数量有限的其它部分产生直接的相互作用贝叶斯网络的构造贝叶斯网络的构造贝叶斯网络的构造贝叶斯网络的构造 防盗网BurglaryEarthquakeMaryCallsJohnCallsAlarmP(m | j, a, b, e) =P(m | a)紧致性与节点顺序l贝叶斯网络的局部结构化（locally structed）每个随机变量可以至多受到k个其它随机变量的影响(k=常数)；设网络中有n个节点(随机变量)，指定每个条件概率表所需信息量至多为2k个数据，则整个网络可以用n2k个数据完全描述/而全联合概率分布需要2n个数据.比较：n=30, k=5.l构造贝叶斯网络的次序：添加节点首先从“根本原因”开始，然后加入受其直接影响的变量，直到叶节点(不影响任何其它节点)。 lSuppose we choose the ordering M, J, A, B, EP(J | M) = P(J)?ExamplelSuppose we choose the ordering M, J, A, B, EP(J | M) = P(J)?NoP(A | J, M) = P(A | J)? P(A | J, M) = P(A)?ExamplelSuppose we choose the ordering M, J, A, B, EP(J | M) = P(J)?NoP(A | J, M) = P(A | J)? P(A | J, M) = P(A)? NoP(B | A, J, M) = P(B | A)? P(B | A, J, M) = P(B)?ExamplelSuppose we choose the ordering M, J, A, B, EP(B | A, J, M) = P(B | A)? Yes (JohnCalls and MaryCalls increase the chance of alarm.)P(B | A, J, M) = P(B)? NoP(E | B, A ,J, M) = P(E | B)?P(E | B, A, J, M) = P(E | A, B)?ExamplelSuppose we choose the ordering M, J, A, B, EP(J | M) = P(J)?No P(A | J, M) = P(A | J)? P(A | J, M) = P(A)? NoP(B | A, J, M) = P(B | A)? YesP(B | A, J, M) = P(B)? NoP(E | B, A, J, M) = P(E | B)? NoP(E | B, A, J, M) = P(E | B, A)? Yes (P(E | B, A) P(E | A)P(E | B, A ,J, M) = P(E | A)? NoExampleExample contd.lNetwork is less compact: 1 + 2 + 4 + 2 + 4 = 13 numbers neededlDeciding conditional independence is hard in noncausal directionsl(Causal models and conditional independence seem hardwired for humans!)条件独立关系l贝叶斯网络中节点相互独立(下面两个定义等价)：(1)给定父节点，一个节点与它的非后代节点是条件独立的 ；(2)给定一个节点的父节点、子节点以及子节点的父节点(Markov blanket)，这个节点对于其它节点都是条件独立的。图示，例子 条件独立关系图示条件独立关系图示 U1UmXZ1jZnjY1YnU1UmXZ1jZnjY1Yn给定父节点，一个节点与它的非后代节点是条件独立的JohnCall给定一个节点的父节点、子节点以及子节点的父节点，这个节点对于其它节点都是条件独立的。Burglary条件分布的有效表达：noisy-ORl贝叶斯网络中尽管父节点个数k很小，但是要完成条件概率表仍需要O(2k)数据；l如果找到了变量依赖的某种关系，则可以用O(k)个参数完成条件概率表噪声或(noisy-OR)关系用于刻画不确定关系(逻辑或的推广)；l噪声或关系考虑到每个父节点引起子节点为真的能力的不确定性: 父节点条件为真但子节点的结果未必为真。 噪声或关系（1）l例子：发烧(fever)为真，当且仅当以下三者之一为真：感冒(cold)/流感(flu)/疟疾(malaria)但是可能病人得了以上疾病却没有发烧症状这就是父节点为真其子节点未必真的不确定性即父子关系被抑制此时可以认为：fever为假当且仅当所有为真的父节点被抑制，其概率为每个父节点被抑制的概率的乘积l两条假设所有原因已经列出每个父节点的抑制独立于其他父节点的抑制 噪声或关系（2）l假设每个单独抑制的概率如下 P(fever|cold,flu,malaria)=0.6P(fever|cold,flu,malaria)=0.2P(fever|cold,flu,malaria)=0.1l目的：为建立一个完整的条件概率表，大大减少所需参数，如：P(fever|cold,flu,malaria)=0.2*0.1=0.02 P(fever|cold,flu,malaria)=0.6*0.2*0.1=0.012 P(fever|cold,flu,malaria)=1-0.012=0.988噪声或关系（3）Cold Flu MalariaP(Fever)P(Fever) F F F0.01.0 F F T0.91-0.9=0.1 F T F0.81-0.8=0.2 T F F0.41-0.4=0.6 F T T1-0.02=0.980.1*0.2=0.02 T F T1-0.06=0.940.1*0.6=0.06 T T F1-0.12=0.880.2*0.6=0.12 T T T1-0.012=0.9880.1*0.2*0.6=0.012448节点，906边8254个数据，而不是133,931,430贝叶斯网络贝叶斯网络 1 贝叶斯概率基础2 贝叶斯网络的表示3 贝叶斯网络中的精确推理4 贝叶斯网络的近似推理贝叶斯网络中的精确推理l基本任务是计算被查询变量的后验概率：设X为待查询变量，e为观察到的证据，E=E1Em证据变量集合，Y=Y1Yn非证据变量集合(也称隐变量)全部变量集合=XEY推理的任务是：求后验概率P(X|e)实际上，根据边缘化规则可得 P(X|e)=P(X,e)=yP(X,e,y) 查询实例（1）l回答查询：在贝叶斯网络中计算条件概率的乘积并求和。l以防盗警报为例，求P(B|J=T,M=F)证据JohnCalls=True/MaryCalls=False查询变量Burglary=True隐含变量Earthquake/Alarml用首字母简化式有：P(b|j,m)=P(b,j,m) =EAP(b,E,A,j,m) 查询实例（2）l进一步代入条件概率：P(b|j,m)=EAP(b)P(E)P(A|b,e)P(j|A)P(m|A)l上式最坏复杂度O(n2n) ，将相对常数移到求和符号以外：P(b|j,m)=P(b)EP(E)AP(A|b,E)P(j|A)P(m|A)l计算过程(遍历A=a/a和E=e/e)P(j|a)=0.90P(m|a)=0.30P(j|a)=0.05P(m|a)=0.99P(a|b,e)=0.95P(a|b,e)=0.05P(a|b,e)=0.94 P(a|b,e)=0.06 查询实例（3）l乘积求和过程：EP(E)AP(A|b,E)P(j|A)P(m|A) q=P(e)*AP(A|b,e)P(j|A)P(m|A)+P(e)*AP(A|b,e)P(j|A)P(m|A)q=P(e)*P(a|b,e)*P(j|a)*P(m|a)+P(a|b,e)* P(j|a)*P(m|a)+P(e)*P(a|b,e)*P(j|a)* P(m|a)+P(a|b,e)* P(j|a)*P(m|a)q=0.002*0.95*0.90*0.30+0.05*0.05*0.99+0.998*0.94*0.90*0.30+0.06*0.05*0.99q=0.002*0.2565+0.0025+0.998*0.2538+0.0030 q=0.002*0.2590+0.998*0.2568=0.2568查询实例（4）l相应地有：P(b|j,m)=P(b)*0.2568=0.001*0.2568=*0.0002568l类似地有：P(b|j,m)=*P(b)EP(E)AP(A|b,E)P(j|A)P(m|A)=*P(b)*0.002*(0.0783+0.0351) +0.998*(0.0003+0.0495)=*0.999*0.0499 =*0.0499l归一化以后有：P(B|j,m)=只有John打电话而出现盗贼的概率小于1/100 计算P(B |j,m)的的枚枚举举树树变量消元法（1）l在计算中我们发现P(j|a)*P(m|a)和P(j|a)*P(m|a)重复计算了两次，如何消除重复？只要保留一次计算结果既可。按照从右到左的次序计算。例子： 例子：对M和J，用二元向量表示保存每个给定的a下的概率：A的因子P( a | B, e)是一个 2 x 2 x 2 的矩阵f A (A, B, E).首先对A求和消去，得到一个只有B和E的2 x 2 的矩阵：A上加一横表示已经通过求和消去。使用乘法的过程称为点积(pointwise product)例子：对E求和消去：最后，可以简单的将B的因子与上述累积矩阵相乘来计算答案：点点积积（pointwise product）变量消元法（2）l在这样的计算中只要做：计算两个因子的点积在因子乘积中对一个变量求和消元l在计算中，消除以下无关节点：删除不是查询变量也非证据变量的叶节点删除所有不是查询变量，祖先也不是证据变量的节点P(JohnCalls l Burglary = true).精确推理的复杂度l单连通结构贝叶斯网络中任何两个节点都至多只有一条无向路径相连；l此时，单连通上的精确推理的时间和空间复杂度都和网络规模呈线性关系；l而对于多连通结构(见下图)，最坏情况下变量消元法可能具有指数级的时空复杂度此时贝叶斯网络的推理是一个NP问题；l所以要寻找多连通网络中的近似算法。 多连通网络 S R P(W)T T .99T F .90F T .90F F .00C P(R)T .80F .20sprinklerRainWet grassC P(S)T .10F .50P(C)=.5cloudy贝叶斯网络贝叶斯网络 1 贝叶斯概率基础2 贝叶斯网络的表示3 贝叶斯网络中的精确推理4 贝叶斯网络的近似推理贝叶斯网络的近似推理l大规模多连通网络的精确推理是不可操作的，所以要考虑近似的推理方法.l采用随机采样方法，也称蒙特卡罗算法(Monte Carlo algorithm)：给出近似解答，近似的精度依赖于所生成采样点的多少。例如：求积分。l此处近似的含义：不是通过计算求出网络中某个点的条件概率(因为复杂度高)，而是对该事件进行采样而获得概率 后验概率计算的采样方法l有两类采样方法直接采样方法：计算样本的频率马尔科夫链采样方法：根据马尔科夫覆盖中的变量当前值来采样直接采样方法l依据已知概率来生成样本l拒绝采样算法 / 似然加权算法马尔科夫链采样方法l证据变量概率固定条件下随机生成样本 采样方法的要素l任何采样算法中最基本的要素是根据已知概率分布生成样本。l例如：一个无偏差的硬币是一个随机变量Coin，其可能取值为.先验概率是P(Coin)=.直接采样方法l直接采样方法是按照拓扑结构次序依次对每个变量进行采样，被采样变量值的概率分布依赖于父节点已取得的赋值。l具体实现： 采样样本与概率分布l样本的向量表示cloudy, sprinkler, rain, wetGrass F/T或者0/1表示为假或为真 / 如T, F, T, Tl采样按照已知概率分布进行，但不是等于这个概率分布值，而是说分布与之相符cloudy=0.5,0.5 / 第1次采样49/51，第2次采样52/48如此等等l每次采样应该在一定的条件下(这就是条件概率)进行，不满足条件的样本不再考虑 采样过程举例（1）l通过例子说明采样过程 / 算法均省略(1)因为P(cloudy)=, 故cloudy的采样样本T/F各占50%，假设(不妨)返回T(2)P(sprinkler|cloudy=T)=，故sprinkler的采样样本T/F各占10%和90%，应该返回F（注意：此时采样样本均为形式，其中占10%，占90%）(3)P(rain|cloudy=T)=，故rain的采样样本T/F各占80%和20%, 应该返回T / 样本形式类似于(2) 采样过程举例（2）(4)P(wetGrass|sprinkler=F, rain=T)=，则返回T / 采样样本形式占90%，占10%l实际上如此生成的样本完全符合先验概率，即l对于上例，cloudy sprinkler rain wetGrass =T F T T=0.5*0.9*0.8*0.9=0.324 拒绝采样方法l从已知分布的采样出发(其计算如上)，通过去掉不满足证据条件的样本来计算(估计)那些未知分布的事件的概率例子：P(Rain|Sprinkler=T)未知其概率 采样100个样本：l其中73个为，不满足前提条件l余下的27个中8个为rain=T / 19个为rain=FlP(Rain|Sprinkler=T)=l拒绝采样方法的最大问题就是效率比较低(相当一部分样本被拒绝了) 一致的估计l拒绝采样方法能产生真实概率的一致估计l估计的概率在无限多(大量样本的极限)条件下成为精确值，这样的估计称为一致的(consistent)，即 似然加权方法（1）l只生成与证据e一致的事件，避免拒绝采样的低效率。对证据节点的概率进行似然加权，即按照先验概率的乘积进行计算 / 对非证据节点进行采样，采样样本服从先验概率分布例子：求P(rain| sprinkler=T, wetGrass=T)的概率采样过程如下：(1)权值w=1.0(2)P(cloudy)=，据此采样，返回T(3)Sprinkler是证据变量，取值T，则ww*P(sprinkler=T|cloudy=T)=1.0*0.1=0.1 似然加权方法（2）(4)P(rain|cloudy=T)=，据此进行采样，假设=T(5)wetGrass是证据变量，取值T，则有ww*P(wetGrass=T|sprinkler=T,rain=T)=0.1*0.99=0.099此即cloudy sprinkler rain wetGrass=T T T T =0.099 .解释：sprinkler=T & wetGrass=T条件下rain=T的概率很低l似然加权方法也得到对于真实概率的一致估计l从采样与加权的乘积去理解联合分布概率的计算，依然是全部条件概率的乘积. 小权值的样本占到大多数马尔科夫链采样（1）l直接采样法按照先验概率去采样l马尔科夫链采样对证据变量以外的变量每次随机地采样举例：考虑求P(rain | sprinkler=T,wetGrass=T)证据变量固定：sprinkler=T/wetGrass=T隐变量cloudy/rain则随机采样：初始值不妨假设cloudy=T/rain=F初始状态= 证据变量固定下，状态空间内的随机走动马尔科夫链采样（2）然后反复按照以下2个步骤采样(1)当前条件下对cloudy随机采样，结果=(2)当前条件下对rain随机采样，结果=最后得到若干样本，例如rain=T=20 / rain=F=60，则P(rain|sprinkler=T,wetGrass=T)= = 马尔科夫链采样的合理性（1）l马尔科夫链采样过程最终会进入“动态平衡”状态被采样变量服从马尔科夫覆盖下的条件概率分布，且“稳态分布”=真实后验概率P(x|e)l我们所需要求解的正是给定证据变量e下某个变量的概率值P(x|e)l证明过程：转移概率状态x到状态x q(xx)时刻t处于状态x的概率t(x) 马尔科夫链采样的合理性（2）下一时刻处于状态x的概率 t+1(x)=xt(x)q(xx)稳态分布(stationary distribution)：当t+1(x)=t(x)时，马尔科夫链达到稳态分布，即(省略t) (x)=x(x)q(xx)对于所有x细致平衡任意两个状态间沿两个方向转换概率相等 (x)q(xx)=(x)q(xx)对于所有x, x简单公式推导(求和)可证明细致平衡中蕴含着稳态分布 几几点点总总结结l贝叶斯网络的特点：双向推理能力（预测和诊断）快速的调试和重构能力具有较强的概率统计基础用于人工智能和专家系统的不确定推理（优于早期的基于规则的模式）。l这种网络支持任何变量子集相对于另一子集的条件概率计算。l贝叶斯网络是域中变量关系的直接表示，而不是推理过程。网络中的方向表示变量间真正的因果关系而不是推理过程的信息流向。 因此在贝叶斯推理过程中，推理过程可以沿任何方向进行（预测、诊断、解释）。BN定定性性描描述述l贝叶斯网络中每个圆圈表示一个状态。状态之间的连线表示它们的因果关系。l和马尔可夫链类似，贝叶斯网络中的每个状态值取决于前面有限个状态。不同的是，贝叶斯网络比马尔可夫链灵活，它不受马尔可夫链的链状结构的约束，因此可以更准确地描述事件之间的相关性。l可以讲，马尔可夫链是贝叶斯网络的特例，而贝叶斯网络是马尔可夫链的推广。 发发展展历历史史（1）l贝叶斯（Reverend Thomas Bayes 1702-1761）学派奠基性的工作是贝叶斯的论文“最新几率性问题求解的评论”。l著名的数学家拉普拉斯（Laplace P. S. 1749-1827）用贝叶斯的方法导出了重要的“相继律”，贝叶斯的方法和理论逐渐被人理解和重视起来。l但由于当时贝叶斯方法在理论和实际应用中还存在很多不完善的地方，因而在十九世纪并未被普遍接受。发发展展历历史史（2）l二十世纪初，意大利的菲纳特（B. de Finetti）以及英国的杰弗莱（Jeffreys H.）都对贝叶斯学派的理论作出重要的贡献。l第二次世界大战后，瓦尔德（Wald A.）提出了统计的决策理论，在这一理论中，贝叶斯解占有重要的地位；信息论的发展也对贝叶斯学派做出了新的贡献。l1958年英国最悠久的统计杂志Biometrika全文重新刊登了贝叶斯的论文，20世纪50年代，以罗宾斯（Robbins H.）为代表，提出了经验贝叶斯方法和经典方法相结合，引起统计界的广泛注意，这一方法很快就显示出它的优点，成为很活跃的一个方向。发发展展历历史史（3）l1986 Pearl 将贝叶斯网络引入了专家系统将贝叶斯网络引入了专家系统 (were revived and reintroduced to expert systems).l1988 Lauritzen & Spiegelhalter 提出了贝叶斯高效提出了贝叶斯高效算法算法( tractable calculations ).l1995In Windows95 for printer-trouble shooting and Office assistance (“the paper clip”).l1999BN is getting more and more used. Ex. Gene expression analysis, Business strategy etc.l2022Widely used - a BN tool will be shipped with every Windows Commercial Server.贝叶斯网络的别名贝叶斯网络的别名 n信念网(Belief Network)n概率网络(Probability Network)n因果网络(Causal Network)n知识图(Knowledge Map)n图模型(Graphical Model)或概率图模型(PGM)n决策网络(Decision Network)n影响图(Influence Diagram)Bayes 网网络络应应用用举举例例l贝叶斯理论是处理不确定性信息的重要工具。作为一种基于概率的不确定性推理方法，贝叶斯网络在处理不确定信息的智能化系统中已得到了重要的应用，已成功地用于医疗诊断、统计决策、专家系统等领域。医疗诊断文本理解数据挖掘智能决策数据融合模式识别例子：汽车故障诊断n某发动机在使用过程中出现冷车起动不能着火的故障(环境温度为 2025)，而且是批量性的。经过多名训练有素及富有维修经验的老师傅进行现场维修，更换了大量的有关部件和零件，多日没有找到问题的根源。利用故障诊断仪进行静态和动态检测，检测数据显示一切正常，没有发现故障的根源。n对此类问题，尝试运用贝叶斯诊断方法解决。n假设发动机在2025温度下冷车起动困难为父节点，其关联子节点分别为燃油质量、火花塞、水温传感器、燃油压力调节器、燃油泵电路、油管、气缸压缩压力、开关状态信号电路、点火信号电路、进气温度传感器电路、点火线圈、喷油器和发动机ECU等。n在贝叶斯图的基础上也可以这样理解：诊断对象是发动机在2025温度下冷车起动困难；其故障由燃油质量差、供油系压力不够、气缸压缩不良、开关状态信号电路短路或断路所组成；其故障表现为燃油质量、火花塞、水温传感器、燃油压力调节器、燃油泵电路、油管、气缸压缩压力、开关状态信号电路、点火信号电路、进气温度传感器电路、点火线圈、喷油器和发动机ECU等工况不良。n在建立贝叶斯诊断图的基础上通常可按以下步骤进行故障排除：n 排除燃油品质对发动机起动的影响； 用气缸压力表检测气缸工作压力； 用故障诊断仪检测开关状态信号、水温传感器、进气温度传感器； 用压力表检测燃油管路的油压，排除燃油管路的可能性； 运用对比法更换及检查火花塞、控制线束、点火线圈，排除点火系统对起动的影响； 如果可以排除以上故障，则对喷油器进行检测，这样就可以认定故障原因是冷车起动时喷油控制时间有问题。n9、 人的价值，在招收诱惑的一瞬间被决定。2024/9/25 2024/9/25 Wednesday, September 25, 2024n10、低头要有勇气，抬头要有低气。2024/9/25 2024/9/25 2024/9/25 9/25/2024 12:21:52 PMn11、人总是珍惜为得到。2024/9/25 2024/9/25 2024/9/25 Sep-24 25-Sep-24n12、人乱于心，不宽余请。2024/9/25 2024/9/25 2024/9/25 Wednesday, September 25, 2024n13、生气是拿别人做错的事来惩罚自己。2024/9/25 2024/9/25 2024/9/25 2024/9/25 9/25/2024n14、抱最大的希望，作最大的努力。25 九月 20242024/9/25 2024/9/25 2024/9/25n15、一个人炫耀什么，说明他内心缺少什么。九月 242024/9/25 2024/9/25 2024/9/25 9/25/2024n16、业余生活要有意义，不要越轨。2024/9/25 2024/9/25 25 September 2024n17、一个人即使已登上顶峰，也仍要自强不息。2024/9/25 2024/9/25 2024/9/25 2024/9/25谢谢大家谢谢大家