模式识别（Pattern Recognition）信息与通信工程学院 信息工程技术研究所 陈涛 E-mail:chentaohrbeu.edu.cn Tel:18204604801 办公地点:21号楼207房间课程性质n任意选修课n授课对象：电子信息,通信工程,信息对抗, 微电子n学时：32（其中8学时实验）n考查方式：闭卷或开卷考试教材及参考文献n 教材边肇祺，张学工. 模式识别（第二版）.清华大学出版社， 2000.1n 参考文献1 R.Duda,P.Hart,D.Stork,Pattern Classification, second edition,2000(有中译本)2 蔡云龙,模式识别,西北电讯工程学院出版社,1986.3 李宏东，姚天翔译，Richard O. Duda著. 模式分类（ 第二版）. 机械工业出版社，2003.9教材及参考文献n 参考文献4李晶皎译，Sergios Theodoridis（希腊）著. 模 式识别（第三版）.电子工业出版社，2006.125黄凤岗，宋克欧. 模式识别. 哈尔滨工程大学出版社，1997 6杨淑莹. 图像模式识别-VC+技术实现. 清华大学 出版社，2005.77杨淑莹. 模式识别与智能计算-MATLAB技术实现. 电子工业出版社，2008.1机构、会议、刊物1973年,IEEE发起了第一次关于模式识别的国际会议“ICPR” ( 此后两年一次) ，成立了国际模式识别协会-IAPR”1977年IEEE成立PAMI委员会，创立IEEE Trans. On PAMI，并 支持ICCV，CVPR两个会议-Pattern Recognition(PR)-Pattern Recognition Letters(PRL)-Pattern Analysis and Application (PAA)-International Joural of Pattern Recognition and Artificial Intelligence(IJPRAI)先修课程n概率论本课程研究的主要内容：统计P. R.n线性代数利用特征向量表示模式矩阵计算n图像处理、语音信号处理、人工智能、计 算机视觉 教学目标掌握模式识别的基本概念和基本方法有效运用所学的知识和方法解决实际问题为研究新的模式识别理论和方法打下基础教学方法着重讲述模式识别的基本概念,基本方法和算法原理注重理论与实践紧密结合实例教学:通过实例讲述如何将所学的知识运用到实际应用中避免引用过多的、繁琐的数学推导第1章 绪论n1.1 P. R. 基本概念n1.2 P. R. 发展简史n1.3 P. R. 应用n1.4 P. R. 分类n1.5 P. R. 系统1.1 P. R. 基本概念n什么是模式？什么是模式？n什么是模式？模式类？模式识别？广义定义:存在于时间和空间中可观察的物体 ，如果我们可以区别它们是否相同或是否相似 ，都可以称之为模式。模式所指的不是事物本身,而是从事物获得 的信息,因此模式往往表现为具有时间和空间 的分布信息 什么是模式？本课研究内容用计算机模拟人的识别能力，提出识别具体客体的基 本理论与实用技术。根据这一研究内容，可作狭义定义。狭义定义:对感兴趣的客体的定量的或结构的描述。模式：语音、图像、信号模式的直观特性可观察性可区分性相似性什么是模式？模式类？具有某些共同特性的模式的集合。 模式识别？利用计算机自动地（或者人进行少量干涉）把待 识模式分到各自的模式类中去的技术。模式识别研究的目的n利用计算机对物理对象进行分类,在错误概率最小的条件下, 使识别的结果尽量与客观物体相符合Y=F(X)X定义域取自特征集Y值域为类别的标号集F是模式识别的判别方法1.2 P. R. 简史n20世纪20年代出现，60年代发展为学科n1929年G.Tauschek发明阅读机,能够阅读0-9的数字.n30年代Fisher提出统计分类理论,奠定了统计模式识别 的基础.n50年代Noam Chemsky提出形式语言理论,傅京荪提出了 句法模式识别1.2 P. R.简史n60年代L.A.Zadeh提出了模糊集理论，模糊模式识别方 法得以发展和应用n80年代以Hopfield网、BP网为代表的神经网络模型导 致人工神经元网络复活,并在模式识别得到较广泛的应 用。n90年代小样本理论，支持向量机也受到了很大的重视 。1.2 P. R.简史21世纪以来，模式识别研究呈现一些新的特点 （1）贝叶斯学习理论越来越多的用来解决模式识别和模 型选择问题，产生了良好的分类性能。 （2）传统的问题，如概率密度估计、特征选择、聚类等 方法不断受到新的关注。新的方法或改进混合的方法不断提出 （3）模式识别和机器学习相互渗透、特征提取和选择、 分类、聚类、半监督学习的问题日益成为二者共同关 注的热点。 （4）模式识别系统开始越来越多地用于现实生活，如车 牌识别、手写字符识别、生物特征识别。1.3 P. R.应用n生物学自动细胞学、染色体特性研究、遗传研究。n 天文学天文望远镜图像分析、自动光谱学n经济学股票交易预测、企业行为分析n医学心电图分析、脑电图分析、医学图像分析、癌细胞分类 、X光片分析、CT片分析P. R.应用n工程产品缺陷检测、特征识别、语音识别、自动导航系统 、污染分析n 军事航空摄像分析、雷达和声纳信号检测和分类、自动目标 识别n安全人脸、掌纹、虹膜、手形、语音、签字、监视和报警系 统P. R.的应用领域一、文字识别 始于1929年，较早OCR（Optical Character Recognition）字符识别之牌照识别字符识别之牌照识别1.5 P. R.的应用领域二、条码识别P. R.的应用领域三、语音识别语义识别孤立词识别（较为成熟）、连续语音识别身份识别话者识别语音识别应用之自动广告监播P. R.的应用领域四、遥感图像地物分类原始影像 神经网络分类结果P. R.的应用领域五、身份识别之人脸识别在不同环境条件 下，人脸肤色分 布始终近似服从 高斯分布P. R.的应用领域五、身份识别之指纹识别P. R.的应用领域六、公共安全应用检测流动高热人群P. R.的应用领域七、军事应用图像制导国产空地电视制导导引头前苏联Kh-59M空地导弹导引头图像制导AGM-130美国AGM-130空对地导弹AGM-130空地导弹AGM-130是美国1984年研制的空对地导 弹，是GBU-15光电制导炸弹的装有动力装置 的变型,具有远距离投放能力和强杀伤力。 弹径460毫米(A),520毫米(B);弹重1323千克 (A),1316千克(B),采用电视或红外成像+双 数据传输装置制导方式。可装备F-111、F-4 、F-15、F-16和F-10等飞机。在美英对伊拉 克的空袭中,美国空军第一次在实战中使用 AGM-130导弹。AGM-130可由空勤人员保持其飞向目标 的航向,也可利用电视或红外导引头自动导 航。AGM-130同高速反辐射导弹(HARM)一样, 也可用来摧毁雷达,使导弹发射器“致盲“,但 是HARM的弹头很小,不能保证摧毁发射器,而 AGM-130的弹头要大得多,重约900公斤。它 能完全一举摧毁防空雷达和导弹发射架。图像制导AGM-130AGM-130炸大桥AGM-130机载发射P. R.的应用领域铁路油罐车罐口视觉定位系统1.5 P. R.的应用领域铁路油罐车罐口视觉定位系统P. R.的应用领域机器人拆垛系统1.4 P.R.分类要在特征空间和解释空间找到一种映射关 系，这种映射称之为假说特征空间-从模式得到的对分类有用的度 量、属性或基元构成的空间.解释空间-将 个类别表示为:其中 为所属类别的集合，称为解释空间。1.4 P.R.分类假说的两种获得方法：（1）监督学习（2）非监督学习P.R.分类监督学习、概念驱动或归纳假说：在特征空间 中找到一个与解释空间的结构相对应的假说。在给 定模式下假定一个解决方案，任何在训练集中接近 目标的假说，也都必须在“未知”的样本上得到近似的 结果。（1）依靠已知所属类别的训练样本集，按他们的特征向 量分布来确定假说（通常为一判别函数），在判别函数确定 之后能用他对未知的模式进行分类；（2）对分类的模式要有足够的先验知识，通常需要采集 足够数量的具有典型性的样本进行训练。1.4 P.R.分类非监督学习、数据驱动或演绎假说：在解释空 间中找到一个与特征空间的结构相对应的假说。这 种方法试图找到一种只以特征空间中的相似关系为 基础的假说。（1）在没有先验知识的前提下，通常采用聚类分析方法 ，基于“物以类聚”的观点，用数学方法分析各特征向量之间 距离及分散情况。（2）如果特征向量聚集若干个群，可按群间距离远近把 他们划分成类。（3）这种按各类之间亲疏程度的划分，若事先能知道应 划分几类，则可获得更好的分类效果。P.R.分类的主要方法（1）数据聚类。（2）统计分类。（3）结构模式识别。（4）神经网络。P.R.分类的主要方法（1）数据聚类。目标：用某种相似性度量的方法将原始数据组织成有意义 的和有用的各种数据集。是一种非监督学习方法，解决的方案是数据驱动。P.R.分类的主要方法（2）统计分类。又称为决策理论识别方法。 基于概率统计模型得到各类别的特征向量的分布，以取得分类的方法。 特征向量分布的获得是基于一个类别已知的训练样本集。是一种监督分类方法，分类器是概念驱动的。P.R.分类的主要方法（3）结构模式识别。通过考虑识别对象各部分之间的联系来达到识别分 类的目的。识别采用结构匹配的方式，通过计算一个匹配程度 值（matching score）来评估一个未知的对象或未知的对 象的某些部分与某种典型形式的关系如何。当成功地制定出了一组可以描述对象部分之间关系的 规则后，可以应用一种特殊的结构模式识别方法句法模 式识别，来检查一个模式基元的序列是否遵守某种规则 ，即句法规则或语法。创始人：傅京孙，1930-1985，美籍华人，傅京孙奖符号串（树）：abcbP.R.分类的主要方法（4）神经网络神经网络是受人脑组织的生理学启发而创立的。是由一系列互相联系的、相同的单元(神经元)组成，相互 间的联系可以在不同神经元之间传递增强或抑制信号。增强或抑制是通过调整神经元相互间联系的权重系数 (weight)实现.神经网络可以实现监督和非监督学习条件下的分类。模式的特征向量表示样本：模式识别中，被观测的每个对象称为样本。如 手写字符识别中的每个手写字符。 特征：对于一个样本，每一个与识别有关的因素称为 一个特征。模式是样本所具有的特征描述。 特征向量：模式的特征集由处于同一个特征空间中的 特征向量表示，特征向量的每一个元素为一个 特征。模式的特征向量表示选择2个特征选择3个特征模式识别研究的问题即是在特征空间中如何将样本点分类训练样本监督模式识别非监督模式识别客体1.5 模式识别系统信息获取预处理特征提取和选择分类器设计分类决策待识样本通过各种传感器训练过程1、信息获取为使计算机能够对客体进行分类识别，必须使用计算 机能够接受的方式来表示客体。（1）二维图像，如文字、指纹、照片等CCD (Charge Coupled Device)、CMOS徕卡M8M8的柯达1030万像素CCDCMOS图像传感器1、信息获取（2）一维波形：语音、机械振动波、心电图等语音信号利用MSP430设计的12位心电放大器采集的心电图（3）物理参量和逻辑值体温、化验数据、各种实验数据、参量正常与否等。通过测量、采样和量化，可以用矩阵表示2D图像，用向 量表示1D波形，这就是信息的获取过程。物理量 电信号，模拟信号 数字信号1、信息获取2、预处理预处理的目的是去除噪声，加强有用 的信息并对种种因素造成的退化现象进行 复原。图像预处理：直方图修正、平滑滤波、边 缘检测、图像复原（已知退化模型）3、特征提取