.,1,模式识别基本词汇,.,2,基本词汇,样本：对任一个具体的事物，在这门课中都称为一个样本，它是一类事物的一个具体体现，它与模式这个概念联用，则模式表示一类事物的统称，而样本则是该类事物的一个具体体现。 模式：英语是pattern，表示一类事物，广义地说，模式是一些供模仿用的、完美无缺的标本。本课程把所见到的具体事物称为模式。,.,3,基本词汇,模式类：这个词与模式联合使用，此时模式表示具体的事物，而模式类则是对这一类事物的概念性描述。将模式归属的类别称为模式类。 模式识别：是研究用计算机来实现人类模式识别能力的一门学科。是让计算机实现事物的分类。,.,4,基本词汇,分类器：用来识别具体事物的类别的系统称为分类器。 模式识别系统：用来实现对所见事物（样本）确定其类别的系统，也称为分类器,.,5,基本词汇,特征：一个事件（样本）有若干属性称为特征，对属性要进行度量，一般有两种方法，一种是定量的，一种是定性表示。在本门课中一般偏重定量的表示。 特征向量：对一个具体事物（样本）往往可用其多个属性来描述，将这些特征有序地排列起来，就成为一个向量。这种向量就称为特征向量。每个属性称为它的一个分量，或一个元素。,.,6,基本词汇,维数：一个向量具有的分量数目。 列向量：将一个向量的分量排列成一列表示。 行向量：将一个向量的分量排列成一行表示。,.,7,基本词汇,转置：将一个列向量写成行向量的形式的方法就是转置。如定义X为列向量，则XT就是该向量的行向量表示。转置的概念与矩阵中转置的概念一样。 特征空间：一种事物的每个属性值都是在一定范围内变化，所讨论问题的特征向量可能取值范围的全体就是特征空间。,.,8,基本词汇,分类决策：根据一个事物（样本）的属性确定其类别，称为分类决策。 分类决策方法：对一事物进行分类决策所用的具体方法。,.,9,基本词汇,学习：让一个机器有分类决策能力，就需要找到具体的分类决策方法，确定分类决策方法的过程统称为学习，就像人认识事物的本领的获取与提高都是通过学习得到的。在本门课中将学习分成有监督学习与无监督学习两种不同的方法。,.,10,基本词汇,训练：一般将有监督学习的学习方法称之为训练。 训练（样本）集：在训练过程中使用的样本集，该样本集中的每个样本的类别已知。,.,11,基本词汇,有监督学习方法：从不同类的训练集数据中体现出的规律性进行分析，从而确定分类决策方法，这种学习方法是在训练集指导下进行的，就像有教师来指导学习一样，称为有监督学习方法。与之相对的是无监督学习方法。,.,12,基本词汇,无监督学习方法：在一组数据集中寻找其规律性的过程称为无监督学习方法。例如分析数据集中的自然划分（聚类）；分析数据集体现的规律性，并用某种数学形式表示（数据似合）；分析数据集中各种分量（描述量，特征）之间的相关性（数据挖掘，知识获取）等，这种学习没有训练样本集作指导，这是与有监督学习方法的不同点。,.,13,基本词汇,先验概率：预先已知的或者可以估计的模式识别系统位于某种类型的概率。 类条件概率密度函数：系统位于某种类型条件下模式样本X出现的概率密度分布函数。 后验概率：系统在某个具体的模式样本X条件下位于某种类型的概率。 贝叶斯公式：两个事物X与w联合出现的概率称为联合概率。利用该公式可以计算后验概率。,.,14,基本词汇,贝叶斯决策理论：根据先验概率、类概率分布密度函数以及后验概率这些量来实现分类决策的方法，称为贝叶斯决策理论。由于这些量之间符合贝叶斯公式，因此称为贝叶斯决策理论。 基于最小错误率的贝叶斯决策：根据一个事物后验概率最大作为分类依据的决策，称为基于最小错误率的贝叶斯决策。从统计上讲，即从平均错误率角度看，分类错误率为最小，因此称为基于最小错误率的贝叶斯决策。,.,15,基本词汇,风险决策：对事物进行分类或做某种决策,都有可能产生错误，不同性质的错误就会带来各种不同程度的损失，因而作决策是有风险的。考虑到决策后果(风险)的决策是风险决策。 基于最小风险的贝叶斯决策：如果样本X的实际类别为1，而作决策为2 ，则可以定义此时作2决策的风险为(2 | 1)，由此可以确定对样本X做2决策的期望损失，比较做不同决策的期望损失，选择期望损失最小的决策后最终决策。就是基于最小风险的贝叶斯决策。,.,16,基本词汇,判别函数：是一组与各类别有关的函数，对每一个样本可以计算出这组函数的所有函数值，然后依据这些函数值的极值(最大或最小)做分类决策。 决策域与决策面：根据判别函数组中哪一个判别函数值为极值为准则可将特征空间划分成不同的区域，称为决策域，相邻决策域的边界是决策分界面或称决策面。,.,17,基本词汇,参数估计：使用贝叶斯决策要知道先验概率，类分布密度函数等统计参数，为此，要从训练样本集中估计出这些统计参数，这就是参数估计。 非参数估计：在分布密度函数形式也不确定条件下，估计统计参数，称为非参数估计。 非参数分类器：不以统计参数为分类决策依据的分类决策方法称为非参数分类器, 线性分类器、非线性分类器以及近邻分类器都属于这种分类器，它们不需要统计参数。,.,18,基本词汇,线性分类器：判别函数为线性函数的分类器是线性分类器，此时决策分界面的方程是线性方程。 非线性分类器：是非参数分类器的一种，其中判别函数或决策面方程是某种特定的非线性函数，如二次函数，多项式函数等。 分段线性分类器：相邻决策域的界面用分段线性函数表示的分类器。,.,19,基本词汇,感知准则函数：是线性分类器的另一种著名设计方法。该种方法通过迭代优化确定最佳分界面。其特点是利用错分类信息对当前的分界面进行修正。 感知器：使用感知准则函数设计的分类器称为感知器，它是人工神经网络中最简单的一种，是人工神经网络前期研究的成果。,.,20,基本词汇,Fisher准则判别函数：线性分类器中的一种分类决策面设计方法，是由Fisher提出而得名，一般用于两类别分类器中。该种设计方法要找到分界面的最佳法线, 使两类别训练样本到该法线向量的投影体现“类间尽可能分离，类内尽可能密集”的最佳准则。,