模式识别,模式识别Pattern Recognition 学分：2总学时：32 一、先修课程 高等数学、线性系统理论、统计数学、控制论和信息论 二、课程教学目的 通过本课程的学习使学生了解模式识别的基本概念和模式识别学科的基本应用。掌握模式识别学科的基本理论与方法。 三、课程教学基本要求 1掌握统计模式识别的决策理论及大型算法。 2掌握句法结构模式识别的基本理论及大型算法。 3了解模式识别的基本概念与基本应用。,第一章 序论,模式识别是人工智能的一个重要方面，是图象处理技术、语音及文字的识别技术的理论基础，在现代自动控制技术和发展友善的人机界面方面也占有极重要的地位。本课程的目的是介绍模式识别的基本概念、基本理论、基本方法及技术。通过本课程的学习应该使学生掌握模式识别的一些基本理论知识，比较深入地了解模式识别的基本概念及其应用概况。 通过本课程的学习，应该对于模式识别研究的对象、方法和基本工具有清晰的了解。应该掌握模式识别的统计方法，重点是贝叶斯分类方法；掌握线性分类器设计；了解非线性分类器的基本内容；熟悉句法结构识别法的基本内容；熟悉图象的分割技术和图象的分析技术。本课程应该为一步深入研究模式识别理论的新发展，和把模式识别的理论应用于计算机程序设计，打好扎实的基础。,1 .1 模式识别的概念1 模式识别的发展过程,1929年 G. Tauschek发明阅读机 ，能够阅读0-9的数字。 30年代 Fisher提出统计分类理论,奠定了统计模式识别的基础。因此，在6070年代，统计模式识别发展很快，但由于被识别的模式愈来愈复杂，特征也愈多，就出现“维数灾难”。但由于计算机运算速度的迅猛发展，这个问题得到一定克服。统计模式识别仍是模式识别的主要理论。 50年代 Noam Chemsky 提出形式语言理论 美籍华人付京荪 提出句法结构模式识别。 60年代 L.A.Zadeh提出了模糊集理论，模糊模式识别理论得到了较广泛的应用。 80年代 Hopfield提出神经元网络模型理论。近些年人工神经元网络在模式识别和人工智能上得到较广泛的应用。 90年代 小样本学习理论，支持向量机也受到了很大的重视,2 模式识别和模式的概念,一.模式识别的基本定义 模式(pattern) - 存在于时间，空间中可观察 的事物，具有时间或空间分布的信息。 模式识别(Pattern Recognition) - 用计算机实 现人对各种事物或现象的分析,描述,判断,识别。 模式识别与图象识别，图象处理的关系 模式识别是模拟人的某些功能 模拟人的视觉: 计算机+光学系统 模拟人的听觉: 计算机+声音传感器 模拟人的嗅觉和触觉: 计算机+传感器,2.2 狭义定义 1）模式：对某些感兴趣的客体的定量的或结构的描述。模式类是具有某些共同特性的模式的集合。 2）模式识别：研究一种自动技术，依靠这种技术，计算机将自动地（或人尽量少地干涉）把待别识模式分配到各自的模式类中去。,2.1. 广义定义 1）模式(pattern)： 一个客观事物的描述，一个可用来仿效的完善的例子。 2）模式识别(pattern recognition) ： 按哲学的定义是一个“外部信息到达感觉器官，并被转换成有 意义的感觉经验”的过程。,例：识别热水、字迹等。,注意： 狭义的“模式”概念是对客体的描述，不论是待识别客体，还是已知的客体。 广义的“模式”概念是指“用于效仿的完善例子”,1）目前的计算机建立在诺依曼体系基础之上。 1946年：美籍匈牙利数学家冯诺依曼提出了关于计算机组成和工作方式的基本设想：数字计算机的数制采用二进制；计算机按照程序顺序执行，即“程序存储”的概念。 1949年：研制出第一台冯诺依曼式计算机 。 1956年：第一次人工智能(artificial intelligence)研讨会在美国召开。,2.3 相关的计算机技术,2）第五代人工智能型计算机 本质区别：主要功能将从信息处理上升为知识处理（学习、联想、推理、解释问题），使计算机具有人类的某些智能。研制工作从80年代开始，目前尚未形成一致结论 。,几种可能的发展方向： 神经网络计算机模拟人的大脑思维。 生物计算机运用生物工程技术、蛋白分子作芯片。 光计算机用光作为信息载体，通过对光的处理来完成 对信息的处理。,2.4 研究和发展模式识别的目的 提高计算机的感知能力，从而大大开拓计算机的应用。,3 模式识别的过程,信息的获取：是通过传感器，将光或声音等信息转化为电信息。信息可以是二维的图象如文字，图象等；可以是一维的波形如声波，心电图，脑电图；也可以是物理量与逻辑值。 预处理：包括AD,二值化，图象的平滑，变换，增强，恢复，滤波等, 主要指图象处理,特征抽取和选择：在模式识别中，需要进行特征的抽取和选择，例如，一幅64x64的图象可以得到4096个数据，这种在测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征。这就是特征提取和选择的过程。 分类器设计：分类器设计的主要功能是通过训练确定判决规则，使按此类判决规则分类时，错误率最低。把这些判决规则建成标准库。 分类决策：在特征空间中对被识别对象进行分类。,4 模式识别方法分类 （1）统计模式识别 采用概率和统计的方法将物体赋予模式类的一种模式识别 （2）结构模式识别（句法模式识别） 为描述和分类物体，将物体表示为基元及其相互关系的一种模式方法。 句法模式识别 采用自然或人工预言模式定义基元及相互关系的一种结构模式识别方法,（b）,（c）,5 涉及的相关理论问题 （1）人工神经网络 （2）模糊模式识别 （3）模式识别与智能信息处理 该方向致力于模式识别的基础理论及其在图象视频信号处理中的应用研究，运用数学和信息科学的理论与方法，从信息处理的角度，研究模式信息处理的机理、计算理论和算法，使计算机实现类似于人的视觉能力。研究数字图象和视频信息的检测、分析、传输、存储、压缩、重建等关键技术，在提出创新理论与算法的基础上，设计、研制和开发实用的高性能模式识别、图象视频处理以及医学图象处理的计算机应用系统。（文字识别） (4) 智能信息与控制 控制论是“研究信息与控制一般规律的科学”，“信息与控制”是控制论的核心。在控制论思想中，“信息与控制”是生物系统和人工系统共有的特性，模拟生物智能，是控制论的基本思想。“信息”、“控制”、“智能”、“生命”四个基本的概念，构成了控制论科学的全部基础。“智能信息与控制”是研究自然生命与人工系统中信息与控制一般规律的科学。将这些规律、原理和方法应用于复杂系统的建模、仿真与控制。,（5）智能控制理论、方法及其应用 该方向致力于具有多种复杂性和多级或分散信息结构的大规模控制系统研究。运用人工智能、计算智能（包括模糊逻辑、神经网络和进化计算）等理论与方法，结合现代控制理论（如鲁棒控制、自适应控制、变结构控制等），研究智能递阶、分散控制或优化调度系统。主要包括：基于模式分类、计算智能和知识工程方法的大规模复杂系统的综合集成建模；基于计算机视觉的生产过程质量监测与优化控制；基于知识和模拟进化方法的多分辨率建模及模型的聚合/解聚和平滑一致性转换技术；智能控制系统的结构性质（如稳定性、能控（能观）性、自主性等）的研究；智能系统的整体优化方法及自组织保优机制的研究；基于Agent技术的开放复杂巨系统的智能优化控制与决策；网络环境下的智能自动化理论与技术；基于现场总线技术的计算机控制与管理；离散事件和混杂系统的优化控制方法；在多种复杂性（如不确定性、非线性、参数时变、时滞等）融合条件下的非良定对象的知识基模型集成与智能优化控制策略和实现方法。,（6）语音信号处理及应用 语音信号处理是当今信息科学研究领域中的一个重要分支，它是将数字信号处理与语音学相结合，解决现代通信领域中人与人之间、人与机器之间的信息交换问题。目前，语音信号处理学科在世界范围内取得了飞速发展，无论是在基础研究领域还是在各个特定的应用领域都出现了许多新算法和高性能的系统，取得了大量突破性的进展。在硬件方面，随着计算机技术及DSP芯片的迅速更新换代，为各种日益复杂的语音处理算法的实时实现提供了可能性。在21世纪，这个研究领域的发展速度将更快，它与高速信息处理、传输和交换诸方面的关系将更加密切。本方向主要研究语音信号数字处理的新理论、新方法及其应用，如语音编码，语音识别，语音合成，语音增强和语音编码等，满足通信与信息技术应用领域对语音处理技术的需求。,6 应用 1) .字符识别：包括印刷体字符的识别；手写体字符的识别（脱机），各种OCR设备例如信函分拣、文件处理、卡片输入、支票查对、自动排板、期刊阅读、稿件输入；在线手写字符的识别（联机），各种书写输入板。 2). 医疗诊断：心电图，脑电图，染色体，癌细胞识别，疾病诊断，例如关幼波肝炎专家系统。 3). 遥感：资源卫星照片，气象卫星照片处理，数字化地球，图象分辨率可以达到1米。 4). 指纹识别 脸形识别 5). 检测污染分析，大气，水源，环境监测。 6). 自动检测：产品质量自动检测 7). 语声识别，机器翻译，电话号码自动查询，侦听，机器故障判断。 8). 军事应用,例 生物识别技术。 根据每个人独有的可以采样和测量的生物学特征（生理特征）和行为学特征进行身份识别的技术。,1）指纹识别：最早、最成熟的识别技术。 2）掌纹识别：研究纹线上某几个点的幅值（灰度值）、线长 与线所对应的角之比等特征。 3）人脸识别： 4）虹膜识别： 5 ）签名识别 6）击键分析,1.2 模式识别系统,1.2.1 简例：建立感性认识 以癌细胞识别为例，了解机器识别的全过程。,1. 信息输入与数据获取,将显微细胞图像转换成数字化细胞图像，是计算机分析的原始数据基础。,灰度数字图像的像素值反映光密度的大小。,2. 数字化细胞图像的预处理与区域划分 预处理的目的： （1）去除在数据获取时引入的噪声与干扰。 （2）去除所有夹杂在背景上的次要图像，突出主要的待识别 的细胞图像。 例：平滑、图像增强等数字图像处理技术。 区域划分的目的： 找出边界，划分出三个区域，为特征抽取做准备。,设灰度阈值为Tc和Tn，图像中某像素的灰度值为Ti，则： Ti Tn的点属于胞核区； Ti Tc的点属于背景区； TcTi Tn的点属于胞浆区；,例：对一个细胞抽取33个特征 ，建立一个33维的空间X，每个细胞可通过一个33维随机向量表示，记为：,即把一个物理实体“细胞”变成了一个数学模型“33维随机 向量”，也即33维空间中的一点。,3. 细胞特征的抽取、选择和提取 目的：为了建立各种特征的数学模型，以用于分类。, 抽取特征 ：原始采集数据，第一手资料，特征数据量大。是特征选择和提取的依据。, 特征选择：在原始特征基础上选择一些主要特征作为判别用的特征。 特征提取：采用某种变换技术，得出数目上比原来少的综合特征作为分类用，称为特征维数压缩，习惯上亦称特征提取。,例：有五个特征 ，以及变换f()、g() ,则可有：,结果： X 空间中的向量 变成 Y 空间的向量,即：特征向量由5维降为2维。,4. 判别分类,（1）气管细胞97个，识别错误率为7.2% 。 （2）肺细胞166个，识别错误率为18% 。,判别的好坏通过错误率给出，不同错误的代价和风险不同。,细胞图像的 计算机分类系统框图,模式识别一般步骤：,1.2.2 模式识别系统组成,学习过程,判决过程,分类规则训练,分类决策,数据获取,预处理,特征选择 或提取,注意：“处理”与“识别”两个概念的区别,处理：输入与输出是同样的对象，性质不变。 识别：输入的是事物，输出的是对它的分类、理解和描述。,模式识别系统框图,1.3 模式识别的基本问题,一.模式(样本)表示方法 向量表示 : 假设一个样本有n个变量(特征) = (X1,