特征选择和提取 特征选择和提取特征选择和提取是模式识别中的一个关键问题前面讨论分类器设计的时候，一直假定已给出了特征向量维数确定的样本集，其中各样本的每一维都是该样本的一个特征；这些特征的选择是很重要的，它强烈地影响到分类器的设计及其性能；假若对不同的类别，这些特征的差别很大，则比较容易设计出具有较好性能的分类器。 特征选择和提取特征选择和提取是构造模式识别系统时的一个重要课题在很多实际问题中，往往不容易找到那些最重要的特征，或受客观条件的限制，不能对它们进行有效的测量；因此在测量时，由于人们心理上的作用，只要条件许可总希望把特征取得多一些；另外，由于客观上的需要，为了突出某些有用信息，抑制无用信息，有意加上一些比值、指数或对数等组合计算特征；如果将数目很多的测量值不做分析，全部直接用作分类特征，不但耗时，而且会影响到分类的效果，产生“特征维数灾难”问题。 特征选择和提取为了设计出效果好的分类器，通常需要对原始的测量值集合进行分析，经过选择或变换处理，组成有效的识别特征；在保证一定分类精度的前提下，减少特征维数，即进行“降维”处理，使分类器实现快速、准确和高效的分类。为达到上述目的，关键是所提供的识别特征应具有很好的可分性，使分类器容易判别。为此，需对特征进行选择。应去掉模棱两可、不易判别的特征；所提供的特征不要重复，即去掉那些相关性强且没有增加更多分类信息的特征。 特征选择和提取说明实际上，特征选择和提取这一任务应在设计分类器之前进行；从通常的模式识别教学经验看，在讨论分类器设计之后讲述特征选择和提取，更有利于加深对该问题的理解。 特征选择和提取所谓特征选择，就是从n个度量值集合x1, x2, xn中，按某一准则选取出供分类用的子集，作为降维（m维，mn）的分类特征；所谓特征提取，就是使(x1, x2, xn)通过某种变换，产生m个特征(y1, y2, ym) (m2，故最优2x1特征提取器此时的K-L变换式为：特征提取7.3 离散K-L变换5.3.1 离散的有限K-L展开展开式的形式如果对c种模式类别ii=1,c做离散正交展开，则对每一模式可分别写成：xi= ai，其中矩阵 取决于所选用的正交函数。对各个模式类别，正交函数都是相同的，但其展开系数向量ai则因类别的不同模式分布而异。K-L展开式的性质K-L展开式的根本性质是将随机向量x展开为另一组正交向量j的线性和，且其展开式系数aj（即系数向量a的各个分量）具有不同的性质。在此条件下，正交向量集j的确定K-L展开式系数的计算步骤7.3 离散K-L变换5.3.2 按K-L展开式选择特征K-L展开式用于特征选择相当于一种线性变换。若从K个特征向量中取出m个组成变换矩阵，即 = (1 2 m)，mK此时，是一个n*m维矩阵，x是n维向量，经过Tx变换，即得到降维为m的新向量。选取变换矩阵，使得降维后的新向量在最小均方差条件下接近原来的向量x7.3 离散K-L变换5.3.2 按K-L展开式选择特征结论从K-L展开式的性质和按最小均方差的准则来选择特征，应使Eaj=0。由于Ea=ETx= TEx，故应使Ex=0。基于这一条件，在将整体模式进行K-L变换之前，应先将其均值作为新坐标轴的原点，采用协方差矩阵C或自相关矩阵R来计算特征值。如果Ex0，则只能得到“次最佳”的结果。7.3 离散K-L变换5.3.2 按K-L展开式选择特征结论将K-L展开式系数aj（亦即变换后的特征）用yj表示，写成向量形式：y= Tx。此时变换矩阵用m个特征向量组成。为使误差最小，不采用的特征向量，其对应的特征值应尽可能小。因此，将特征值按大小次序标号，即1 2 m n=0若首先采用前面的m个特征向量，便可使变换误差最小。此时的变换矩阵为7.3 离散K-L变换5.3.2 按K-L展开式选择特征结论K-L变换是在均方误差最小的意义下获得数据压缩的最佳变换，且不受模式分布的限制。对于一种类别的模式特征提取，它不存在特征分类问题，只是实现用低维的m个特征来表示原来高维的n个特征，使其误差最小，亦即使其整个模式分布结构尽可能保持不变。7.3 离散K-L变换5.3.2 按K-L展开式选择特征结论通过K-L变换能获得互不相关的新特征。若采用较大特征值对应的特征向量组成变换矩阵，则能对应地保留原模式中方差最大的特征成分，所以K-L变换起到了减小相关性、突出差异性的效果。在此情况下， K-L变换也称为主成分变换。7.3 离散K-L变换5.3.2 按K-L展开式选择特征K-L变换实例原始模式分布特征提取作业设有如下两类样本集，其出现的概率相等：1：(0 0 0)T, (1 0 0) T, (1 0 1) T , (1 1 0) T2：(0 0 1)T, (0 1 0) T, (0 1 1) T , (1 1 1) T用K-L变换，分别把特征空间维数降到二维和一维，并画出样本在该空间中的位置。