哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩主讲人：胡正平主讲人：胡正平现代模式识别思想现代模式识别思想-学科专题讲座学科专题讲座模式识别原理与思想（模式识别原理与思想（Pattern recognition PR）哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩1. 1. 模式识别讨论主题（模式识别讨论主题（PRPR研究什么？研究什么？）模式识别研究主要在两方面模式识别研究主要在两方面: :1 1 研究生物体（包括人）是如何感知对象的，研究生物体（包括人）是如何感知对象的，属于认知科学的范畴属于认知科学的范畴; ;是生理学家、心理学家、生是生理学家、心理学家、生物学家和神经生理学家的研究内容。物学家和神经生理学家的研究内容。22在给定的任务下，如何用计算机实现模式识别在给定的任务下，如何用计算机实现模式识别的理论和方法。是数学家、信息学专家和计算机的理论和方法。是数学家、信息学专家和计算机科学工作者最为关注的内容。科学工作者最为关注的内容。哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩定定 义义 (Definition ) 借助计算机，就人类对外部世界某一特定环境借助计算机，就人类对外部世界某一特定环境中的客体、过程和现象的识别功能中的客体、过程和现象的识别功能(包括视觉、听包括视觉、听觉、触觉、判断等觉、触觉、判断等)进行自动模拟的科学技术。进行自动模拟的科学技术。 对语音波形、地震波、心电图、脑电图、图片、对语音波形、地震波、心电图、脑电图、图片、照片、文字、符号、生物传感器等对象的具体模式照片、文字、符号、生物传感器等对象的具体模式进行辨识和分类。进行辨识和分类。 哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩北京大学信息中心（北京大学信息中心（视觉听觉信息处理国家重点视觉听觉信息处理国家重点实验室实验室） 哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩手手掌掌静静脉脉哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩手手掌掌掌掌纹纹哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩SensorsFeaturesGenerationFeaturesSelectionSystemEvaluationClassifierDesignPatternsInputFig.1.1 分类系统设计的基本步骤分类系统设计的基本步骤2 模式识别怎么构成？模式识别怎么构成？ 由信息传递的双向性可以理解，由信息传递的双向性可以理解，其中的每一环节都不是孤立的和其中的每一环节都不是孤立的和单方向的，它们之间相互关联和单方向的，它们之间相互关联和依赖，在必要的时候需要循环、依赖，在必要的时候需要循环、反馈与迭代。反馈与迭代。 现代模式识别特别注重其关联性。现代模式识别特别注重其关联性。哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩基于语音：基于语音： 重点人物通信监控语音识别系统重点人物通信监控语音识别系统/ /规模音频资料检索规模音频资料检索基于图像：基于图像： 车牌识别车牌识别(Vehicle License Plate Recognition VLPR)(Vehicle License Plate Recognition VLPR) 行人检测行人检测 人脸识别人脸识别/ /指纹识别指纹识别/ /签名认证签名认证/ /支票认证支票认证/ /表情和手势识别表情和手势识别/ /农作物农作物分类与害虫识别分类与害虫识别/ /生物信息学：生物信息学：DNADNA识别识别/ /航空与卫星遥测遥感数据航空与卫星遥测遥感数据资源调查资源调查/ /军用目标的图像识别军用目标的图像识别基于视频：基于视频：人体行为检测，步态识别，场景分类人体行为检测，步态识别，场景分类基于工程数据：基于工程数据： 振动模式分析与故障诊断振动模式分析与故障诊断/ /数据挖掘与知识发现数据挖掘与知识发现/ /基因分类基因分类/ /等等 3 模式识别做什么模式识别做什么(应用领域应用领域)？哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩(1)统计模式识别统计模式识别(statistic pattern recognition) 统计模式识别统计模式识别(statistic pattern recognition)的基本原理是：有相似性的样本在模式空间中的基本原理是：有相似性的样本在模式空间中互相接近，并形成互相接近，并形成“集团集团”，即，即“物以类聚物以类聚”。 统计模式识别的主要方法有：判别函数法，近统计模式识别的主要方法有：判别函数法，近邻分类法，非线性映射法，特征分析法，主因邻分类法，非线性映射法，特征分析法，主因子分析法等。子分析法等。(2) 决策理论方法决策理论方法 通过分析具体识别对象决定选取何种特征通过分析具体识别对象决定选取何种特征,特征特征抽取后可进行分类，即从特征空间再映射到决抽取后可进行分类，即从特征空间再映射到决策空间。策空间。 4 模式识别方法分类模式识别方法分类哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩(3) 句法方法句法方法 又称结构方法或语言学方法。其基本思想是把一又称结构方法或语言学方法。其基本思想是把一个模式描述为较简单的子模式的组合，子模式又个模式描述为较简单的子模式的组合，子模式又可描述为更简单的子模式的组合，最终得到一个可描述为更简单的子模式的组合，最终得到一个树形的结构描述，在底层的最简单的子模式称为树形的结构描述，在底层的最简单的子模式称为模式基元。模式基元。 哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩My doctor problem!哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩良性钙化点良性钙化点良性钙化点良性钙化点 恶性钙化点恶性钙化点恶性钙化点恶性钙化点 哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩研究目标研究目标1如何利用计算机实现区分钙化点还是非钙如何利用计算机实现区分钙化点还是非钙化点判决？化点判决？2如何利用计算机实现良性钙化区域还是恶如何利用计算机实现良性钙化区域还是恶性钙化区域的判决？性钙化区域的判决？ 这就是典型的图象处理这就是典型的图象处理+模式识别问题！模式识别问题！哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩肿瘤目标分割（肿瘤目标分割（如何将学习问题引入半交互图象分割问题中？如何将学习问题引入半交互图象分割问题中？）哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩3 模式识别怎么做模式识别怎么做？Fig.1.3 非线性分类B. 非线性分类Fig.1.2 线性分类线性与非线性分类线性与非线性分类 A. 线性分类线性分类例如：基于划分的分类原理例如：基于划分的分类原理哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩SVDDSVDDSVDDSVDD原理原理原理原理覆盖模式识别覆盖模式识别哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩二二 现代模式识别技术（经典与现代）现代模式识别技术（经典与现代）经典发展经典发展 现代现代现代：新问题现代：新问题 - 新理论与新理论与新技术新技术科学的本质就是继承和发展！科学的本质就是继承和发展！哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩1 1 基于基于BayesBayes决策理论决策理论贝叶斯贝叶斯(Bayes)分类器分类器 (Bayes公式)Fig. 1.4 Bayes分类分类哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩2 感知器算法感知器算法(The Perceptron Algorithm)决决策策函函数数哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩Fig.1.5 SVM分类分类a) 快速求出基于边界的最优分类快速求出基于边界的最优分类b) 在凸集上求出最临近边界点在凸集上求出最临近边界点3 Support Vector Machines-SVM(支持向量机支持向量机)哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩决决策策函函数数哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩Non-Separable classes(线性不可分类线性不可分类)哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩在在XOR问题中，由问题中，由RBF推广线性分类器形成的决策线推广线性分类器形成的决策线a) 初始空间；初始空间；b)转换空间转换空间哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩4 Nearest neighbor (近邻分类近邻分类)哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩修剪的近邻分类器修剪的近邻分类器哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩5 线性鉴别分析线性鉴别分析哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩白话：结构风险既要考虑模型的复杂度又要考虑训练白话：结构风险既要考虑模型的复杂度又要考虑训练误差。误差。哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩（a a）感知器感知器感知器感知器 (b) SVM(b) SVMSVMSVM与感知器分类区别与感知器分类区别与感知器分类区别与感知器分类区别哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩简简单单比比复复杂杂好好哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩 统计模式识别的主要方法统计模式识别的主要方法: Bayes 决策决策 概率密度估计（参数方法和非参数方法）概率密度估计（参数方法和非参数方法） 特征提取（变换）和选择特征提取（变换）和选择 聚类分析聚类分析 在在 20 世纪世纪 60 年代以前就已经成型。年代以前就已经成型。 由于统计方法不能表示和分析模式的结构，由于统计方法不能表示和分析模式的结构，70年代以后结年代以后结构和句法模式识别方法受到重视。但是，句法模式识别中构和句法模式识别方法受到重视。但是，句法模式识别中的基元提取和文法推断（学习）问题直到现在还没有很好的基元提取和文法推断（学习）问题直到现在还没有很好地解决，因而没有太多的实际应用。地解决，因而没有太多的实际应用。 目前模式识别发展基本总结目前模式识别发展基本总结哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩1 20 世纪世纪 80 年代年代 Back-propagation (BP) 算法的重新算法的重新发现和成功应用推动了人工神经网络研究和应用的热发现和成功应用推动了人工神经网络研究和应用的热潮。神经网络方法与统计方法相比具有不依赖概率模潮。神经网络方法与统计方法相比具有不依赖概率模型、参数自学习、泛化性能良好等优点，至今仍在模型、参数自学习、泛化性能良好等优点，至今仍在模式识别中广泛应用。式识别中广泛应用。然而，神经网络的设计和实现依然而，神经网络的设计和实现依赖于经验，泛化性能不能确保最优。赖于经验，泛化性能不能确保最优。290 年代支持向量机年代支持向量机(SVM)的提出吸引了模式识别界的提出吸引了模式识别界对对统计学习理论和核方法统计学习理论和核方法(Kernel methods)的极大兴趣。的极大兴趣。与神经网络相比，支持向量机的优点是通过优化一个与神经网络相比，支持向量机的优点是通过优化一个泛化误差界限自动确定一个最优的分类器结构，从而泛化误差界限自动确定一个最优的分类器结构，从而具有更好的泛化性能。而核函数的引入使很多传统的具有更好的泛化性能。而核函数的引入使很多传统的统计方法从线性空间推广到高维非线性空间，提高了统计方法从线性空间推广到高维非线性空间，提高了表示和判别能力。表示和判别能力。哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩3 结合多个分类器的方法从结合多个分类器的方法从 90 年代前期开始在模年代前期开始在模式识别界盛行，后来受到模式识别界和机器学习界式识别界盛行，后来受到模式识别界和机器学习界的共同重视。多分类器结合可以克服单个分类器的的共同重视。多分类器结合可以克服单个分类器的性能不足，有效提高分类的泛化性能。这个方向的性能不足，有效提高分类的泛化性能。这个方向的主要研究问题有两个：给定一组分类器的最佳融合主要研究问题有两个：给定一组分类器的最佳融合和具有互补性的分类器组的设计。其中一种方法，和具有互补性的分类器组的设计。其中一种方法，Boosting，现已得到广泛应用，被认为是性能最好的，现已得到广泛应用，被认为是性能最好的分类方法。分类方法。 （一个不行多个如何呢？三个臭皮匠顶一个不行多个如何呢？三个臭皮匠顶个诸葛亮个诸葛亮）哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩进入进入 21 世纪，模式识别研究的特点世纪，模式识别研究的特点1 Bayes 学习理论学习理论 新发展新发展 -基于图表示的基于图表示的Bayes分类分类,模型参数同时调整模型参数同时调整。2传统的问题新解传统的问题新解，如概率密度估计、特征选择、聚，如概率密度估计、特征选择、聚类等不断受到新的关注，新的方法或改进类等不断受到新的关注，新的方法或改进/混合的方法混合的方法不断提出。不断提出。3模式识别领域和机器学习领域的相互渗透模式识别领域和机器学习领域的相互渗透越来越明越来越明显，如特征提取和选择、分类、聚类、半监督显，如特征提取和选择、分类、聚类、半监督学习等问题成为二者共同关注的热点。学习等问题成为二者共同关注的热点。4 稀疏表示分模式识别。稀疏表示分模式识别。5 多观测样本分类问题。多观测样本分类问题。哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩6 模式识别领域的前沿研究方向还有：模式识别领域的前沿研究方向还有：Bayes 学习、半监学习、半监督学习、弱监督学习、主动学习、在线学习等。督学习、弱监督学习、主动学习、在线学习等。 研究计算机模式识别的目的是让机器具备人的感知和认知研究计算机模式识别的目的是让机器具备人的感知和认知能力，代替人完成繁重的信息处理工作。当我们把计算机能力，代替人完成繁重的信息处理工作。当我们把计算机的模式识别能力与人的模式识别（视觉、听觉感知）能力的模式识别能力与人的模式识别（视觉、听觉感知）能力相比，就会发现现有的模式识别方法与人的感知过程有很相比，就会发现现有的模式识别方法与人的感知过程有很大区别，在性能上也相差很远，很多对人来说是轻而易举大区别，在性能上也相差很远，很多对人来说是轻而易举的事情对计算机来说却很难做到。这是由于目前对人的感的事情对计算机来说却很难做到。这是由于目前对人的感知过程的机理和大脑结构还不是很了解，即使已经了解的知过程的机理和大脑结构还不是很了解，即使已经了解的部分也不容易在计算上或硬件上模拟。进一步研究人的感部分也不容易在计算上或硬件上模拟。进一步研究人的感知机理并借鉴该机理设计新的模式识别计算模型和方法是知机理并借鉴该机理设计新的模式识别计算模型和方法是将来的一个重要方向。将来的一个重要方向。 哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩可拒识分类器示意图可拒识分类器示意图可拒识分类器示意图可拒识分类器示意图哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩SVDDSVDDSVDDSVDD原理原理原理原理哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩仿生神经网络仿生神经网络仿生神经网络仿生神经网络折线：折线：BP圆：圆：RBF 椭圆：拓扑椭圆：拓扑神经网络神经网络哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩稀疏识别模型稀疏识别模型哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩稀疏识别模型稀疏识别模型哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩相关国内研究机构以及人员相关国内研究机构以及人员哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩哈尔滨工业大学哈尔滨工业大学HIT博士学位论文答辩博士学位论文答辩 感谢同学们，多提宝贵意见