模式识别 贝叶斯分类器第二章第二章 贝叶斯决策实际贝叶斯决策实际模式识别 贝叶斯分类器2.1 最小错误率准那么最小错误率准那么模式识别 贝叶斯分类器各种概率及其关系各种概率及其关系先验概率：先验概率：后验概率：后验概率：类条件概率：类条件概率：贝叶斯公式：贝叶斯公式：模式识别 贝叶斯分类器两个类别，一维特征两个类别，一维特征模式识别 贝叶斯分类器两类问题的错误率两类问题的错误率察看到特征察看到特征x时作出判别的错误率：时作出判别的错误率：两类问题最小错误率判别准那么：两类问题最小错误率判别准那么：模式识别 贝叶斯分类器多类问题最小错误率多类问题最小错误率判判别x属于属于i的的错误率：率：判别准那么为：判别准那么为：那么：那么：模式识别 贝叶斯分类器贝叶斯最小错误率准那么贝叶斯最小错误率准那么Bayes判别准那么：判别准那么：，那么模式识别 贝叶斯分类器贝叶斯分类器的错误率估计贝叶斯分类器的错误率估计模式识别 贝叶斯分类器例例2.1 对一大批人一大批人进展癌症普展癌症普查，设1类代表患癌症，代表患癌症，2类代表正常人。知先代表正常人。知先验概率：概率：以一个化验结果作为特征以一个化验结果作为特征x: 阳性，阴性阳性，阴性，患，患癌症的人和正常人化验结果为阳性的概率分别癌症的人和正常人化验结果为阳性的概率分别为：为：现有一人化验结果为阳性，问此人能否患癌症？现有一人化验结果为阳性，问此人能否患癌症？模式识别 贝叶斯分类器2.2 最小平均风险准那么贝叶斯分 类器问题的提出的提出 有有c个个类别1, 2 ,. , c, 将将i类的的样本判本判别为j类的代价的代价为ij。将未知方式将未知方式x判判别为j类的平均的平均风险为：模式识别 贝叶斯分类器最小平均风险判别准那么最小平均风险判别准那么利用利用Bayes公式，构造判别函数：公式，构造判别函数：模式识别 贝叶斯分类器贝叶斯分类器贝叶斯分类器模式识别 贝叶斯分类器例例2.2 对一大批人一大批人进展癌症普展癌症普查，设1类代表患癌症，代表患癌症，2类代表正常人。代表正常人。知先知先验概率：概率：以一个化验结果作为特征以一个化验结果作为特征x: 阳性，阴性阳性，阴性，患癌，患癌症的人和正常人化验结果为阳性的概率分别为：症的人和正常人化验结果为阳性的概率分别为：判判别代价：代价： 11 = 0, 22 = 0, 12 = 100, 21 = 25现有一人化有一人化验结果果为阳性，阳性，问此人能否患癌症？此人能否患癌症？模式识别 贝叶斯分类器2.3 贝叶斯分类器的其它版本贝叶斯分类器的其它版本先先验概率概率P(i)未知：极小化极大准那么；未知：极小化极大准那么；约束一定束一定错误率率风险：Neyman-Pearson准那么；准那么；某些特征缺失的决策：某些特征缺失的决策：延延续出出现的方式之的方式之间统计相关的决策：相关的决策：模式识别 贝叶斯分类器2.4 正态分布的贝叶斯分类器正态分布的贝叶斯分类器单变量正态分布密度函数高斯分布：单变量正态分布密度函数高斯分布： 模式识别 贝叶斯分类器多元正态分布函数多元正态分布函数模式识别 贝叶斯分类器正态分布的判别函数正态分布的判别函数贝叶斯判别函数可以写成对数方式：贝叶斯判别函数可以写成对数方式： 类条件概率密度函数为正态分布时：类条件概率密度函数为正态分布时： 模式识别 贝叶斯分类器情况一：情况一：判别函数可以写成：判别函数可以写成： 此分此分类器称器称为间隔分隔分类器，判器，判别函数可以用函数可以用待待识方式方式x与与类别均均值i之之间的的间隔表示：隔表示：模式识别 贝叶斯分类器情况二：情况二：判别函数可以写成：判别函数可以写成：可以简化为：可以简化为：称为线性分类器称为线性分类器模式识别 贝叶斯分类器线性分类器线性分类器两类问题，两类问题，1维特征，先验概率一样时：维特征，先验概率一样时：模式识别 贝叶斯分类器线性分类器线性分类器两类问题，高维特征，先验概率一样时：两类问题，高维特征，先验概率一样时：模式识别 贝叶斯分类器线性分类器线性分类器两类问题，两类问题，1维特征，先验概率不同时：维特征，先验概率不同时：模式识别 贝叶斯分类器线性分类器线性分类器两类问题，高维特征，先验概率不同时：两类问题，高维特征，先验概率不同时：模式识别 贝叶斯分类器情况三：情况三： 恣意恣意判别函数可以写成：判别函数可以写成：分类界面为分类界面为2次曲线面次曲线面模式识别 贝叶斯分类器二次分类曲线二次分类曲线模式识别 贝叶斯分类器二次分类曲面二次分类曲面