模式识别论文报告稀疏核的主成分分析,1,模式识别论文报告- 稀疏核主成分分析,李武璐（1001110012） 吕唐杰（1101110035）,模式识别论文报告稀疏核的主成分分析,2,目录： （1）内容简介 （2）主成分分析回顾 （3）稀疏核方法及应用 （4）错误率分析,模式识别论文报告稀疏核的主成分分析,3,（1）内容简介,本文研究了如何从一组特征中生成一组新的特征的方法，是主成分分析方法的推广，利用稀疏核，使得计算中可以大量减少新的特征数量，可以减少后期的计算量和复杂度。 本文的方法在简化问题的同时保证了良好的计算效果，错误率和原方法类似。,模式识别论文报告稀疏核的主成分分析,4,（2）主成分分析方法回顾,主成分分析（PCA）： 利用一组原有的特征，计算出一组按照重要性从大到小排列的新特征。 设 为原有的n个特征，新特征 是原始特征的线性组合 使得 之间不 相关。,模式识别论文报告稀疏核的主成分分析,5,事实上，设 为x的协方差矩阵，则 为第i个特征值对应的特征向量。 核函数主成分分析（Kernel PCA） 设有映射 ，定义核函数k: 可以得到核函数矩阵 具体是 我们可以在不知道 的具体表达式 的前提下，通过k得到需要的结论。,模式识别论文报告稀疏核的主成分分析,6,对90个样本点使用核函数方法，得到不同特 征值对应的特征向量在特征空间上的投影,模式识别论文报告稀疏核的主成分分析,7,（3）稀疏核方法及应用,从核函数PCA出发，令 ，其中C定义为： 作为每个分量上的噪音出现，并且为固定常数。 当考虑 时，根据 6,可知在极大似然估计下，取 极值时 ，其中 为 的 特征值和特征向量。并且 时， ； 时， =0。,模式识别论文报告稀疏核的主成分分析,8,根据C的表达式建立对数极大似然函数： 进一步求得似然函数的具体表达式，其中， 接下来进行求解，通过求导，可得： ，另外根据5, 也可令：,模式识别论文报告稀疏核的主成分分析,9,经过循环计算，可以得到 的收敛值，以及 ，下面要计算特征主轴。 令 ，我们需要计算 的特征值和特征向量。 可以得到 通过公式 可以计算指定轴向量到特征空间 的投影，不用事先知道 。 最后可以计算重构误差：,模式识别论文报告稀疏核的主成分分析,10,取 ，使用GAUSS核函数，有下面例子：,模式识别论文报告稀疏核的主成分分析,11,（4）错误率分析,上面例子中实际上只有用到了10%的点就确定了要求的 ，下图为这些点以及重构错误。,模式识别论文报告稀疏核的主成分分析,12,另外，利用1中的7维例子，可以得到相应的重构错误率和实验错误率，发现原方法和新方法相差无几。,模式识别论文报告稀疏核的主成分分析,13,谢谢,