多支持向量机融合算法研究摘要统计学习理论系统地研究了小样本情况下的机器学习问题。2 0 世纪9 0 年代，在这一理论基础下提出的支持向量机( S u p p o r t V e c t o r M a c h i n e ，S V M ) 较好解决了小样本、过学习、“维数灾”、局部极小等问题，具有很强的泛化能力。多分类器融合作为信息融合、模式识别、机器学习等领域交叉形成的一个分支，近年来成为一个新的研究热点。对于多个两分类S V M 分类器融合方法及应用方面的研究还不完善，而对于多个多分类支持向量机( M u l t i c l a s sS V M ，M S 、徂订) 分类器融合的研究更是刚刚起步。本文对多个S V M 分类器融合和集成方法及应用进行了系统深入的研究。主要工作包括以下几个方面：介绍了机器学习、统计学习的理论基础，在此基础上详细介绍了S V M 方法的概念和特点，全面系统地阐述了S V M 、信息融合、多分类器融合的研究进展和现状，分析了S V M 分类器融合方法的研究发展趋势和存在的不足。针对如何通过分类器融合提高决策分类性能，同时保持低的计算复杂性和占用较少存储资源的问题，提出了一种基于粗集理论构造S V M 集成分类器的新方法。首先利用基于粗集理论的属性约简算法删除冗余和次要属性，得到最优特征子集，并根据最优特征子集来构建相应的输入子空间。然后对于每个输入子空间，训练相应的S V M 子分类器。具有较高分类性能的S V M 子分类器被挑选出来用于建立S V M 集成分类器。最后通过医疗诊断数据集进行了仿真验证，并与其他分类器集成方法进行了比较分析。试验结果验证了所提方法的有效性。针对多信息源、多分类问题，提出了几种基于M S V M 的集中式和分布式融合策略和方法，并对现有方法的不足提出了改进的辅助决策函数。分别采用一对一( o n e a g a i n s t o n e ) ，一对多( o n e - a g a i n s t - a 1 1 ) 和有向无环图( D i r e c t e dA c y c l i cG r a p h ，D A G ) 方法合并多个两分类S V M 分类器来构造M S V M 。所提的融合策略充分利用了M S V M 的特性：一是通过构造并合并几个两分类S V M 子分类器建立M S V M ；二是通过寻找具有最大间隔的最优分类耀平面来训练两分类S V M 子分类嚣。裁矮多豪柴淫辍靛故障诊鼗数据集对嚣挺方法遴孬了验强，撵翅分辑晓鞍了器静聚食方法的傀缺点、适用范围以及三种M S V M 分类器的性能差异。提出了多分类概率嶷持向量机( M u l t i - c l a s s P r o b a b i l i t yS V M ，M P S V M ) 方法，并给出了多个M P S V M 分类器熬委时j 爹 _ 熬台募法。蒺予o n e - a g a i n s t - a l l 茨咯努释多分类惩嚣，调练多令嚣分类S V M 结合挤压函数产擞具有后验概率输出的支持向量机( P r o b a b i l 耐S V M ，P S V M ) 并进行组合，构造出M P S V M ，分别采用均值和中德贝叶斯方法来融合多个M P S V M 分类器。仿舆实验说明了该冀洼静蠢效蛙。提出了M P S V M 在证据理论搬架下的基本概率分配函数，证据理论支待向量机( D e m p s t e r - S h a f e r t h e o r y b a s e d M s V M , D S M S V M ) 构造算法，多个D S M S V M 融合算法。通过设诗羹本襁率分配匪数，测矮涯据舍莠溉剿合莠M P S V M 提供懿证据，芽仅对单元素集瘦角最太嫠任准则，建立了D S M S V M 。这种类型的学习机器能够提供更多的用于后续处理的信息。在此基础上用多个D S M S V M 分类器融合来解决分布式的多债息漾、多分类问题。针对每个源建立相应弱D S M S V M 分类器，然岳翻瘸谨援理论台著燕英鼙邂孪亍努类器证据融台，最终决镱遥过最大信任决策凇则给出。将所撮方法应用于紫油机的分布式故障诊断，获得了比传统方法熙好的性能，提高了诊断的准确率和蛰棒性。撬瘵了基予模翻苏分豹M P S V M 融合算法。弱辩考虑了每个M P S V M 提供匏谨据帮它在藏合过程中的经验重要度，缭出了两种根攒识别率来计算M P S V M 分类器在融合过程中霞要度的方法：一种是利用每个M P S V M 的整体识别率；另一种是利用每个M P S V M 对于每一类的识别率。酝提算法豹有效瞧在繁潍瓿的努商式鼓障诊断中遗行了仿真验证。针对非线性系统的辨识与控制问磁，提出了基于S V M 的逆学习方法。充分利用了S V M 的小样本绒计学习、泛化& 力强的特点，采用S V M 回归 鞋好地逼近来知强非线性对象，对于受噪声污染煞数据具毒趣好瓣适应麓力，势在仿真中餐戴了有效验证。狂关键诵：税器学习，统诗学习理论，支持商量枫，狺息融合，分类器融合，多类分类本文的研究获得国家“9 7 3 ”计划项目( 编号：2 0 0 2 e b 3 1 2 2 0 0 ) 资助，以及国家“8 6 3 ”计划项目( 编号：2 0 0 2 A A 4 1 2 0 1 0 ) 和国家自然科学基金项目( 编号：6 0 1 7 4 0 3 8 ) 的部分资助。I I Il 曦S E A R C 珏o NT 珏EF U S l O NA L G O R r I H Mo FM U If T l P L ES U P P o R 罩V E C T o RM A C H ”幔SA B S T R A C TT h es t a t i s t i c a ll e a r n i n gt h e o r ys y s t e m i c a l l yr e s e a r c h e st h em a c h i n el e a r n i n gp r o b l e mw i t hs m a l ln u m b e ro fs a m p l e s 。I n1 9 9 0 s ，S u p p o r tV e c t o rM a c h i n e ( S V M ) a san o v e lp o w e r f u ll e a r n i n gm a c h i n ew i t hs o u n dg e n e r a l i z a t i o ni sd e v e l o p e db a s e do nt h es m t i s f i c a ll e a r n i n gt h e o r y I tc a no v e r c o m et h ep r o b l e m ss u c ha ss m a l ls a m p l e s ，O V C Tl e a r a i n g , c n r s eo f d i m e n s i o n a l i t y , a n dl o c a lm i n i m a A saC R O S Sb r a n c ho fp a t t e mr e c o g n i t i o n ，i n f o r m a t i o nf u s i o n ，m a c h i n el e a r n i n g , e t c ，f u s i o no fm u l t i p l ec l a s s i f i e r si sd e v e l o p i n gr a p i d l ya n db e c o m i n gan e wa c t i v er e s e a r c ha r e a T h er e s e a r c ho nf u s i o no fm u l t i p l eb i n a r y c l a s sS V M si sb e c o m i n gp o p u l a ri nr e c e n ty e a r s ，a n dt h es t u d yo ff u s i o no fm u l t i p l em u l t i - c l a s sS V M s ( M S V M s ) i sa l s ou n d e r w a y I nt h i sd i s s e r t a t i o n ，t h er e s e a r c hf o c u s e so nt h ea l g o r i t h ma n da p p l i c a t i o no ff u s i o no fm u l t i p l eS V Mc l a s s i f i e r s T h em a i nw o r ki sc o n c i s e l yd e s c f b e da sb e l o w ：T h eb a s i ct h e o r yo fm a c h i n el e a r n i n ga n ds t a t i s t i c a ll e a r n i n gi si n 廿o d u c e d ；S V Ma n di t sd e v e l o p m e n ta r ed e s c r i b e d ；t h ea d v a n c e so fi n f o r m a t i o nf u s i o na n dm u l t i p l ec l a s s i f i e rf u s i o na s n n l m a r i z e d T h em e t h o do fc o n s t r u c f i n gS V Me n s e m b l ec l a s s i f i e rm m gr o u g hs e t si sp r o p o s e df o ri m p r o v i n gt h ec l a s s i f i c a t i o np e r f o r m a n c ew i t hl o wc o m p u t a t i o n a lc o m p l e x i t ya n dm e m o r yo c c u p a t i o n T h eo p t i m a lf e a t u r es u b s e t so b t a i n e db ya p p l y i n ga t t r i b u t er e d u c t i o nb a s e do nr o u g hs e tt h e o r ya r eu s e dt 。c r e a t em e。o r r e s p o n d i n gf e a t u r es u b s p a e e s S V Ms u b - c l a s s i f i e ri st r a i n e di ne v e r ys u b s p a e o T h eS V Mc l a s s i f i e r s“地b e 惭p 确r m 觚c ea r es e l e c t e dt oc o n s t r u c taS V Me n s e m b l ec l a s s i f i e r T h e s ei n p u ts u b s p a c e sa r ed i f f e m n ta n dc a no f f e rc o m p l e m e n t a r yi n f o r m a t i o n ，w h i c hi sh e l p f u lf o ri m p r o v