资源预览内容
第1页 / 共79页
第2页 / 共79页
第3页 / 共79页
第4页 / 共79页
第5页 / 共79页
第6页 / 共79页
第7页 / 共79页
第8页 / 共79页
第9页 / 共79页
第10页 / 共79页
亲,该文档总共79页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述
课前思考,机器自动识别分类,能不能避免错分类 ? 怎样才能减少错误? 不同错误造成的损失一样吗? 先验概率,后验概率,概率密度函数? 什么是贝叶斯公式? 正态分布?期望值、方差? 正态分布为什么是最重要的分布之一?,学习指南,本章要说明分类识别中为什么会有错分类,在何种情况下会出现错分类?错分类的可能性会有多大?怎样才能使错分类最少? 不同的错分类造成的危害是不同的,有的错分类种类造成的危害更大,因此控制这种错分类则是更重要的。为此引入了一种“风险”与“损失”概念,希望做到使风险最小。要着重理解“风险”与“损失”的概念,以及在引入“风险”概念后的处理方法。,学习指南,理解本章的关键 要正确理解先验概率,类概率密度函数,后验概率这三种概率 对这三种概率的定义,相互关系要搞得清清楚楚 Bayes公式正是体现这三者关系的式子,要透彻掌握。,2.1引言,统计决策理论 是模式分类问题的基本理论之一 贝叶斯决策理论 是统计决策理论中的一个基本方法,物理对象的描述,在特征空间中讨论分类问题 假设一个待识别的物理对象用其d个属性观察值描述,称之为d个特征,记为x = x1, x2, , xdT 这组成一个d维的特征向量,而这d维待征所有可能的取值范围则组成了一个d维的特征空间。,贝叶斯决策理论方法讨论的问题,讨论的问题 总共有c类物体 已知各类在这d维特征空间的统计分布, 各类别i=1,2,c的先验概率P(i) 类条件概率密度函数p(x|i) 问题: 如何对某一样本按其特征向量分类,已知d维特征空间的统计分布,如何对某一样本分类最合理,基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误率为最小的两类别决策 最小最大决策 序贯分类方法,2.2 几种常用的决策规则,2.2.1基于最小错误率的贝叶斯决策,分类识别中为什么会有错分类? 当某一特征向量值X只为某一类物体所特有,即 对其作出决策是容易的,也不会出什么差错 问题在于出现模棱两可的情况 任何决策都存在判错的可能性。,基于最小错误率的贝叶斯决策,基本思想 使错误率为最小的分类规则 称之为基于最小错误率的贝叶斯决策,条件概率,P(*|#)是条件概率的通用符号 即在某条件#下出现某个事件*的概率 P(K|X):X出现条件下,样本为K类的概率 P(*|#)与P(*)不同 例:*表示中国人,#表示在中国大陆的人 则P(*|#)与P(*)不同含义不同,几个重要概念,先验概率 P(1)及P(2) 概率密度函数 P(x|i) 后验概率 P(i|X),贝叶斯决策理论,先验概率,后验概率,概率密度函数 假设总共有c类物体,用i (i=1,2,c)标记每个类别,x = x1, x2, , xdT,是d维特征空间上的某一点,则 P(i )是先验概率 p(x| i )是i类发生时的条件概率密度函数 P(i|x)表示后验概率,基于最小错误率的贝叶斯决策,例:癌细胞的识别 假设每个要识别的细胞已作过预处理,并抽取出了d个特征描述量,用一个d维的特征向量X表示, 识别的目的是要依据该X向量将细胞划分为正常细胞或者异常细胞。 这里我们用表示是正常细胞,而则属于异常细胞。,基于最小错误率的贝叶斯决策,先验概率 P(1)和P(2) 含义: 每种细胞占全部细胞的比例 P(1)+P(2)=1 一般情况下正常细胞占比例大,即P(1)P(2),基于最小错误率的贝叶斯决策,salmon” or “sea bass”判别中的先验概率 P(salmon) P(sea bass),基于最小错误率的贝叶斯决策,先验概率 根据先验概率决定 这种分类决策没有意义 表明由先验概率所提供的信息太少,基于最小错误率的贝叶斯决策,概率密度函数 利用对细胞作病理分析所观测到的信息,也就是所抽取到的d维观测向量。 为简单起见,我们假定只用其一个特征进行分类,即d=1 得到两类的类条件概率密度函数分布 P(x|1)是正常细胞的属性分布 P(x|2)是异常细胞的属性分布,基于最小错误率的贝叶斯决策,类条件概率密度函数,概率密度函数性质,基于最小错误率的贝叶斯决策,salmon” or “sea bass”判别中的类条件概率密度函数,基于最小错误率的贝叶斯决策,类条件概率密度函数直接用来分类是否合理?,具有一定的合理性,不满足最小错误率要求,没有考虑先验概率,基于最小错误率的贝叶斯决策,后验概率含义 P (1 |X ) 当观测向量为X值时, 该细胞属于正常细胞的概率。 P (2 |X ) 当观测向量为X值时, 该细胞属于异常细胞的概率。,基于最小错误率的贝叶斯决策,后验概率,基于最小错误率的贝叶斯决策,salmon” or “sea bass”判别中的后验概率,基于最小错误率的贝叶斯决策,类条件概率和后验概率区别 后验概率: P(1|x)和P(|x) 同一条件x下,比较1与2出现的概率 两类1和2,则有P(1|x)+P(2|x)=1 如P(1|x) P(2|x)则可以下结论,在x条件下,事件1出现的可能性大 类条件概率: P(x|1)和P(x|2) 是在不同条件下讨论的问题 即使只有两类1与2,P(x|1)+P(x|1)1 P(x|1)与P(x|2)两者没有联系,基于最小错误率的贝叶斯决策,贝叶斯公式 先验概率,后验概率,概率密度函数之间关系 根据先验概率和概率密度函数可以计算出后验概率,基于最小错误率的贝叶斯决策,问题 为什么先验概率和类条件概率密度函数可以作为已知? 而后验概率需要通过计算获得?,基于最小错误率的贝叶斯决策,为什么后验概率要利用Bayes公式从先验概率和类条件概率密度函数计算获得 ? 计算概率都要拥有大量数据 估计先验概率与类条件概率密度函数时都可搜集到大量样本 对某一特定事件(如x)要搜集大量样本是不太容易 只能借助Bayes公式来计算得到,基于最小错误率的贝叶斯决策,问题 根据最小错误率,如何利用先验概率、类条件概率密度函数和后验概率进行分类?,基于最小错误率的贝叶斯决策,贝叶斯决策理论前提 各类别总体的概率分布是已知的; 要决策分类的概率分布是已知的。 贝叶斯决策理论方法所讨论的问题是: 已知:总共有c类物体,以及先验概率P(i)及类条件概率密度函数p(x|i) 问题: 如何对某一样本按其特征向量分类的问题。,基于最小错误率的贝叶斯决策,基于最小错误率的贝叶斯决策规则: 如果P(1|X)P(2|X),则X归为1类别 如果P(1|X)P(2|X),则X归为2类别,基于最小错误率的贝叶斯决策,几种等价形式: 后验概率形式: 如果 则 x归为i 先验概率及类条件概率密度函数表示: 如果 则 x归为i,基于最小错误率的贝叶斯决策,几种等价形式: 比值的方式表示, 如果 则x归为1 , 否则x归为2,基于最小错误率的贝叶斯决策,几种等价形式: 对数形式 若 则x归为1 , 否则x归为2,基于最小错误率的贝叶斯决策,例2.1 假设在某地区切片细胞中正常(1)和异常()两类的先验概率分别为P(1)=0.9,P(2)=0.1。 现有一待识别细胞呈现出状态x,由其类条件概率密度分布曲线查得p(x|1)=0.2,p(x|)=0.4, 试对细胞x进行分类。,基于最小错误率的贝叶斯决策,例2.1 解:利用贝叶斯公式,分别计算出状态为x时1与的后验概率,基于最小错误率的贝叶斯决策,例2.1 根据贝叶斯决策有 P(1|x)0.818P(|x)0.182 分析:错误概率是多少? 判断为正常细胞,错误率为0.182 判断为异常细胞,错误率为0.818 因此判定该细胞为正常细胞比较合理。,最小错误率的证明,最小错误率贝叶斯准则使得错误率最小证明: 从平均的意义上的错误率 在连续条件下,平均错误率,以P(e)表示,应有 :,最小错误率的证明,最小错误率贝叶斯准则使得错误率最小证明: 分析两类别问题 按贝叶斯决策规则,当P(w2|x)p(w1|x)时决策为w2。 显然这个决策意味着,对观测值x有P(w1|x)概率的错误率。 上例中所作的w1决策,实际上包含有P(w2|x)=0.182的错误概率,最小错误率的证明,最小错误率贝叶斯准则使得错误率最小证明: 在两类别的情况下,可以将p(e|x)表示成当,基于最小错误率的贝叶斯决策,最小错误率贝叶斯准则使得错误率最小证明: 如果我们把作出w1决策的所有观测值区域称为R1,则在R1区内的每个x值,条件错误概率为p(w2|x)。 另一个区R2中的x,条件错误概率为p(w1|x)。,基于最小错误率的贝叶斯决策,最小错误率贝叶斯准则使得错误率最小证明: 因此平均错误率P(e)可表示成,基于最小错误率的贝叶斯决策,最小错误率贝叶斯准则使得错误率最小证明: 由于在R1区内任一个x值都有P(w2|x)P(w1|x), 同样在R2区内任一个x值都有P(w1|x)P(w2|x)错误率在每个x值处都取小者, 因而平均错误率P(e)也必然达到最小 这就证明了平均错误率为最小,基于最小错误率的贝叶斯决策,C类别情况下最小错误率 贝叶斯决策,在C类别情况下最小错误率贝叶斯决策规则的后验概率形式: 先验概率与类条件概率密度相联系的形式,C类别情况下最小错误率 贝叶斯决策,多类别决策过程中的错误率 把特征空间分割成R1,R2,Rc个区域 统计将所有其它类错误划为该区域对应的i类的概率 计算是很繁琐 计算平均正确分类概率P(c)即,2.2.2基于最小风险的贝叶斯决策,基本思想 使错误率最小并不一定是一个普遍适用的最佳选择。 癌细胞分类 两种错误: 癌细胞正常细胞 正常细胞癌细胞 两种错误的代价(损失)不同,基于最小风险的贝叶斯决策,基本思想 宁可扩大一些总的错误率,但也要使总的损失减少。 引进一个与损失有关联的,更为广泛的概念风险。 在作出决策时,要考虑所承担的风险。 基于最小风险的贝叶斯决策规则正是为了体现这一点而产生的。,基于最小风险的贝叶斯决策,最小错误率贝叶斯决策规则: 最小错误率目标函数: P (j|X) 为了考虑不同决策的不同损失,构造如下目标函数,(i)j:表示样本X实际属于j类,被判为状态i所造成的损失,Rj(X):表示把样本X判为状态i所造成的整体损失,基于最小风险的贝叶斯决策,两类情况:有没有癌细胞 1表示正常,2表示异常 P(1|X)与P(2|X)分别表示了两种可能性的大小 X是癌细胞(2),但被判作正常(1),则会有损失,这种损失表示为:2 (1) X确实是正常(1),却被判定为异常(2),则损失表示成: 1 (2),基于最小风险的贝叶斯决策,两类情况:有没有癌细胞 另外为了使式子写的更方便,我们也可以定义1 (1)和2 (2) 是指正确判断也可有损失,基于最小风险的贝叶斯决策,两类情况:有没有癌细胞 X判作1引进的损失应该为 将X判为2的风险就成为 作出哪一种决策就要看是R1(X)小还是R2(X)小,这就是基于最小风险的贝叶斯决策的基本出发点,基于最小风险的贝叶斯决策,(1)自然状态与状态空间 自然状态: 识别对象的类别 状态空间: 所有自然状态所组成的空间=1,2,c (2)决策与决策空间 决策: 对分类问题所作的判决 决策空间: 由所有决策组成的空间称为 决策空间内决策总数a可以不等于类别数c A=1, 2, ,n,基于最小风险的贝叶斯决策,(3)损失函数(i|j)(或(i,j) 这就是前面我们引用过的j (i) 表示对自然状态j ,作出决策j时所造成的损失 (4)观测值X条件下的期望损失R(i|X) 这就是前面引用的符号Ri,也称为条件风险。,基于最小风险的贝叶斯决策,最小风险贝叶斯决策规则可写成: 引入一个期望风险R,
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号