1,模式识别与智能系统概论,李振华 副教授 Email: zhenhua.lisdu.edu.cn 手机：18660166181,山东大学 控制科学与工程学院,2,课程简介,模式识别是研究用计算机自动识别事物的一门科学，其目的是用机器完成类似于人类只能通过视觉、听觉等感官去识别外界环境所进行的工作，它包括语音识别、图像识别等典型应用。人工智能是研究怎样使计算机模拟人脑所从事的推理、学习、思考、规划等思维活动，来解决需专家才能处理的复杂问题，如医疗诊断、气象预报、管理决策等。从实用观点来看，人工智能是一门知识工程学：以知识为对象，研究知识的获取、知识的表示方法和知识的使用。,3,教材与教学参考书,模式识别的理论与方法，舒宁，马洪超等，武汉大学出版社，2004 模式识别的原理与应用，李弼程，劭美珍等，西安电子科技大学出版社，2008 模式识别(第二版)，边肇祺，张学工等，清华大学出版社， 2000 人工智能技术与方法，夏定纯，徐涛，华中科技大学出版社，2004 人工智能方法与应用，尹朝庆，华中科技大学出版社，2007 图书馆、超星数字图书馆、网络资源等,4,课程教学：讲一些模式识别和人工智能的基本理论，以及一些前沿性的知识介绍。考试成绩：考察成绩和平时成绩相结合。以考察成绩为主。,5,第一章 引论,1.1 概述 1.2 特征矢量和特征空间 1.3 随机矢量的描述 1.4 正态分布,概念,模式识别(Pattern Recognition)：确定一个样本的类别属性（模式类）的过程，即把某一样本归属于多个类型中的某个类型。,样本（Sample)：一个具体的研究（客观）对象。如患者，某人写的一个汉字，一幅图片等。,模式(Pattern)：对客体（研究对象）特征的描述（定量的或结构的描述），是取自客观世界的某一样本的测量值的集合（或综合）。,9,各类空间（Space)的概念,模式采集：从客观世界（对象空间）到模式空间的过程称为模式采集。,特征提取和特征选择：由模式空间到特征空间的变换和选择。,类型判别：特征空间到类型空间所作的操作。,模 式 识 别 三大 任务,10,1.1 概述模式识别系统,通常在采集信息过程中，还要去除所获取信息中的噪声，增强有用的信息等工作。这种使信息纯化的处理过程叫做信息的预处理。,分类识别是根据事先确定的分类规则对前面选取的特征进行分类（即识别）。,通常能描述对象的元素很多，为节约资源和提高处理速度，有时更为了可行性，在满足分类识别正确率要求的条件下，按某种准则尽量选用对正确分类识别作用较大的特征。使得用较少的特征就能完成分类识别任务。,预处理这个环节的内容很广泛，与要解决的具体问题有关，例如，从图象中将汽车车牌的号码识别出来，就需要先将车牌从图像中找出来，再对车牌进行划分，将每个数字分别划分开。做到这一步以后，才能对每个数字进行识别。以上工作都应该在预处理阶段完成。,数字化比特流,11,1.1 概述模式识别系统,12,1.1 概述模式识别系统,模式识别系统的主要环节： 特征提取： 符号表示，如长度、波形、。 特征选择： 选择有代表性的特征，能够正确分类 学习和训练：利用已知样本建立分类和识别规则 分类识别： 对所获得样本按建立的分类规则进行分类识别,13,纸币识别器对纸币按面额进行分类面额,1.1 概述系统实例,5元 10元 20元 50元 100元,14,1.1 概述系统实例,长度(mm) 宽度(mm)5元 136 6310元 141 7020元 146 7050元 151 70100元 156 77,15,1.1 概述系统实例,磁性 金属条位置(大约)5元 有 54/8210元 有 54/8720元 有 57/8950元 有 60/91100元 有 63/93,5元 10元 20元 50元 100元,1 2 3 4 5 6 7 8,反射光波形,17,1.1 概述系统实例,数据采集、特征提取：长度、宽度、磁性、磁性的位置，光反射亮度、光透射亮度等等,特征选择：长度、磁性及位置、反射亮度,分类识别：确定纸币的面额及真伪,18,1.1 概述系统实例,训练集：是一个已知样本集，在监督学习方法中，用它来开发出模式分类器。测试集：在设计识别和分类系统时没有用过的独立样本集。系统评价原则：为了更好地对模式识别系统性能进行评价，必须使用一组独立于训练集的测试集对系统进行测试。,19,例:汽车车牌识别,从摄像头获取包含车牌的彩色图象 车牌定位和获取 字符分割和识别,20,21,22,1.1 概述模式识别的基本方法,一、统计模式识别 二、句法模式识别 三、模糊模式识别 四、人工神经网络法 五、人工智能方法,23,1.1 概述模式识别的基本方法,一、统计模式识别,模式描述方法：特征向量 模式判定：模式类用条件概率分布P(X/i)表示,m类就有m个分布，然后判定未知模式属于哪一个分布。,24,1.1 概述模式识别的基本方法,一、统计模式识别,理论基础：概率论，数理统计 主要方法：线性、非线性分类、Bayes决策、聚类分析 主要优点： 1）比较成熟 2）能考虑干扰噪声等影响 3）识别模式基元能力强 主要缺点： 1）对结构复杂的模式抽取特征困难 2）不能反映模式的结构特征，难以描述模式的性质 3）难以从整体角度考虑识别问题,25,1.1 概述模式识别的基本方法,二、句法模式识别,模式描述方法：符号串，树，图 模式判定：是一种语言，用一个文法表示一个类，m类就有m个文法，然后判定未知模式遵循哪一个文法。,26,例2：如下图中一幅图形，要识别图中的物体，选用句法模式识别方法.,1.1 概述模式识别的基本方法,27,解：图形结构复杂，首先应分解为简单的子图（背景、物体）。 构成一个多级树结构：,1.1 概述模式识别的基本方法,28,在学习过程中，确定基元与基元之间的关系，推断出生成景物的方法。 判决过程中，首先提取基元，识别基元之间的连接关系，使用推断的文法规则做句法分析。若分析成立，则判断输入的景物属于相应的类型。,1.1 概述模式识别的基本方法,29,理论基础：形式语言，自动机技术 主要方法：自动机技术、CYK剖析算法、Early算法、转移图法 主要优点： 1）识别方便，可以从简单的基元开始，由简至繁。 2）能反映模式的结构特征，能描述模式的性质。 3）对图象畸变的抗干扰能力较强。 主要缺点： 当存在干扰及噪声时，抽取特征基元困难，且易失误。,1.1 概述模式识别的基本方法,30,1.1 概述模式识别的基本方法,三、模糊模式识别,模式描述方法：模糊集合 A=(a,a), (b,b),. (n,n) 模式判定：是一种集合运算。用隶属度将模糊集合划分为若干子集， m类就有m个子集，然后根据择近原则分类。,31,理论基础：模糊数学 主要方法：模糊统计法、二元对比排序法、推理法、模糊集运算规则、模糊矩阵 主要优点： 由于隶属度函数作为样本与模板间相似程度的度量，故往往能反映整体的与主体的特征，从而允许样本有相当程度的干扰与畸变。 主要缺点： 准确合理的隶属度函数往往难以建立，故限制了它的应用。,1.1 概述模式识别的基本方法,32,1.1 概述模式识别的基本方法,四、人工神经网络法,模式描述方法：以不同活跃度表示的输入节点集（神经元） 模式判定：是一个非线性动态系统。通过对样本的学习建立起记忆，然后将未知模式判决为其最接近的记忆。,33,理论基础：神经生理学，心理学 主要方法：BP模型、HOP模型、高阶网 主要优点： 可处理一些环境信息十分复杂，背景知识不清楚，推理规则不明确的问题。允许样本有较大的缺损、畸变。 主要缺点： 模型在不断丰富与完善中，目前能识别的模式类还不够多。,1.1 概述模式识别的基本方法,34,1.1 概述模式识别的基本方法,五、逻辑推理法（人工智能法）,模式描述方法：字符串表示的事实 模式判定：是一种布尔运算。从事实出发运用一系列规则，推理得到不同结果，m个类就有m个结果。,35,理论基础：演绎逻辑，布尔代数 主要方法：产生式推理、语义网推理、框架推理 主要优点： 已建立了关于知识表示及组织，目标搜索及匹配的完整体系。对需要众多规则的推理达到识别目标确认的问题，有很好的效果。 主要缺点： 当样本有缺损，背景不清晰，规则不明确甚至有歧义时，效果不好。,1.1 概述模式识别的基本方法,36,1.1 概述模式识别的发展简史,1929年 G. Tauschek发明阅读机 ，能够阅读0-9的数字。 30年代 Fisher提出统计分类理论，奠定了统计模式识别的基础。 50年代 Noam Chemsky 提出形式语言理论傅京荪提出句法/结构模式识别。 60年代 L.A.Zadeh提出了模糊集理论，模糊模式识别方法得以发展和应用。,37,1.1 概述模式识别的发展简史,80年代 以Hopfield网、BP网为代表的神经网络模型导致人工神经元网络复活，并在模式识别得到较广泛的应用。 90年代 小样本学习理论，支持向量机也受到了很大的重视。,38,1.1 概述模式识别的应用(举例),生物学 自动细胞学、染色体特性研究、遗传研究 天文学 天文望远镜图像分析、自动光谱学 经济学 股票交易预测、企业行为分析 医学 心电图分析、脑电图分析、医学图像分析,39,1.1 概述主要实用系统举例,文字识别（Character Recognition） OCR（Optical Character Recognition） 智能交通（Intelligent Traffic） 车牌、车型。 语音识别（Speech recognition） 翻译机，身份识别等 目标识别 ATR（Automaic Target Recognition）,40,41,1.2 特征矢量和特征空间,42,1.3 随机矢量的描述,随机矢量：在模式识别过程中，要对许多具体对象进行测量，以获得许多次观测值。每次观测值不一定相同，所以对许多对象而言，各个特征分量都是随机变量，即许多对象的特征向量在n维空间中呈随机性分布，称为随机矢量。,43,1.3 随机矢量的描述,(一)随机矢量的分布函数：,设 为随机矢量，,为确定性矢量。,随机矢量的联合概率分布函数定义为：,式中 表示括号中事件同时发生的概率。,44,1.3 随机矢量的描述,(一)随机矢量的分布函数：,随机矢量 的联合概率密度函数定义为：,45,1.3 随机矢量的描述,46,1.3 随机矢量的描述,x,p(x),47,1.3 随机矢量的描述,48,1.3 随机矢量的描述,(二)随机矢量的数字特征： 其中， 的分量：,式中， 是 的第 个分量的边缘密度。随机矢量 的均值矢量 的各分量是相应的各随机分量的均值。,49,1.3 随机矢量的描述,(二)随机矢量的数字特征： 条件期望 在模式识别中，经常以类别 作为条件，在这种情况下随机矢量 的条件期望矢量定义为,50,1.3 随机矢量的描述,随机矢量 的自协方差矩阵表征各分量围绕其均值的散布情况及各分量间的相关关系，其定义为：,(二)随机矢量的数字特征： 协方差矩阵,51,1.3 随机矢量的描述,52,1.3 随机矢量的描述,53,1.3 随机矢量的描述,(二)随机矢量的数字特征： 相关系数,由布尼亚科夫斯基不等式知:,相关系数矩阵定义为 :,54,1.3 随机矢量的描述,55,1.3 随机矢量的描述,56,1.3 随机矢量的描述,57,1.3 随机矢量的描述,58,1.4 正态分布,59,1.4 正态分布,（1）一维随机变量的正态分布,