资源预览内容
第1页 / 共51页
第2页 / 共51页
第3页 / 共51页
第4页 / 共51页
第5页 / 共51页
第6页 / 共51页
第7页 / 共51页
第8页 / 共51页
第9页 / 共51页
第10页 / 共51页
亲,该文档总共51页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述
支持向量机 Support Vector Machines内容提要n统计学习方法概述n统计学习问题n学习过程的泛化能力n支持向量机nSVM寻优算法n应用支持向量机nSVM是一种基于统计学习理论的机器 学习方法,它是由Boser,Guyon, Vapnik在COLT-92上首次提出,从此 迅速发展起来nVapnik V N. 1995. The Nature of Statistical Learning Theory. Springer- Verlag, New York nVapnik V N. 1998. Statistical Learning Theory. Wiley-Interscience Publication, John Wiley yi+1,-1nHyperplane: wx+b=0nThis is fully determined by (w,b)w1x+b1=0w2x+b2=0w3x+b3=0*11最大间隔一个超平面,如果它能将 训练样本没有错误地分开 ,并且两类训练样本中离 超平面最近的样本与超平 面之间的距离是最大的, 则把这个超平面称作最优 分类超平面(optimal separating hyperplane), 两类样本中离分类面最近 的样本到分类面的距离称 为分类间隔,最优超平面 也可以称作最大间隔超平 面。*12最大间隔原则Note1: decision functions (w,b) and (cw, cb) are the same Note2: but margins as measured by the outputs of the function xwx+b are not the same if we take (cw, cb). Definition: geometric margingeometric margin: the margin given by the canonical decision canonical decision functionfunction, which is when c=1/|w| Strategy: 1) we need to maximise the geometric margin! (cf result from learning theory) 2) subject to the constraint that training examples are classified correctly wwx+b=0wx+b0 wx+b非线性分划 代价:2维空间内积6维空间内积非线性分类*35为此,引进函数有比较(2)和(3),可以发现这是一个重要的等式,提示6维空间中的内积可以通过计算 中2维空间中的内积 得到。非线性分类*36实现非线性分类的思想给定训练集后,决策函数仅依赖于而不需要再考虑非线性变换如果想用其它的非线性分划办法,则可以考虑选择其它形式的函数 ,一旦选定了函数,就可以求解最优化问题得 ,而决策函数*37决策函数其中实现非线性分类的思想*38n多项式内核n径向基函数内核RBFnSigmoind内核目前研究最多的核函数主要有三类:得到q 阶多项式分类器每个基函数中心对应一个支持向量,它们及输出权值由算法自动确定包含一个隐层的多层感知器,隐层节点数是由算法自动确定核函数的选择SVM算法实现软件nLIBSVM:台湾大学林智仁教授等开发,有 各种版本,应用很广泛nLS-SVMLAB:Matlab界面,分类、回归都 可nOSU_SVM:用于分类,可以实现多分类nSVM toolbox: Matlab界面,代码简单,适合 初学者了解原理,但算法效率较低39有关SVM的网站nwww.kernel-machines.org nwww.support-vector.net nwww.csie.ntu.edu.tw/cjlin/libsvm nwww.esat.kuleuven.ac.be/sista/lssvmlabnwww.google.com/Top/Computers/Artificial _Intelligence/Support_Vector_Machines40SVM预测模型的建立核函数的选择在实验中选取RBF函数作为核函数的首选,原因:n1.RBF函数可以将样本非线性地规划到更高维的空间中 ,从而实现非线形影射。Sigmoid核函数取某些特定参 数时性能和RBF相同。 n2.RBF函数的参数只有一个。相比之下多项式核函数参 数比RBF核函数多,因此其模型选择更为复杂。 n3.RBF函数的数值限制条件少。RBF函数使数值被限制 在0和1之间,而多项式核函数的值可能会趋于不定值 或零值 且幂值更高;Sigmoid核函数在取某些参数值时 则可能无效。41SVM预测模型的建立(续)nC和r和选取(以分类为例)选定一组C,r的范围 和 ,然 后将它们的准确率用等高线连接起来绘出类似下图 。42用SVM实现煤炭需求量的预测n任务:用1980-2002年的我国煤炭需求量来预测2003-2006 年的煤炭需求量n将历年的煤炭消费量X(t)看作时间序列,则其预测模型可 以描述为其中为非线形函数,p为嵌入维数, 根据上式,可以得到输 入样本和输出样本,这里用1999-2002年的数据作为检验样 本, 分别用SVM和神经网络预测,结果为:性能比较SVMRBF神经网络 预测最大误差2.992%3.259%平均相对误差1.872%1.976%43用SVM实现煤炭需求量的预测用训练好的SVM模型来预测将来2003-2006年的煤炭需 求量,其需求趋势如下图:2003-2006年的预测值44有待解决的问题n1.如何合选择SVM的参数:怎样合理选择支持向 量的核参数,目前尚无定论。格子搜索法比较常 见,有的 学者已提出用遗传算法、粒子群算法等 优化参数n2.如何实现时间序列的动态预测:动态预测要求 SVM的参数能适应序列的动态变化,即建立基于 SVM自适应预测控制系统45*46SVM applicationsnPattern recognitionoFeatures: words countsnDNA array expression data analysisoFeatures: expr. levels in diff. conditionsnProtein classificationoFeatures: AA composition*47Handwritten Digits Recognition*48Applying SVMs to Face DetectionnThe SVM face-detection system1. Rescale the input image several times2. Cut 19x19 window patterns out of the scaled image3. Preprocess the window using masking, light correction and histogram equalization4. Classify the pattern using the SVM5. If the class corresponds to a face, draw a rectangle around the face in the output image.*49Applying SVMs to Face DetectionnExperimental results on static imagesnSet A: 313 high-quality, same number of facesnSet B: 23 mixed quality, total of 155 faces*50Applying SVMs to Face DetectionnExtension to a real-time system An example of the skin detection module implemente d using SVMsFace Detection on the PC- based Color Real Time System*51ReferencesnVladimir Vapnik. The Nature of Statistical Learning Theory, Springer, 1995 nAndrew W. Moore. cmsc726: SVMs. http:/www.cs.cmu.edu/awm/tutorialsnC. Burges. A tutorial on support vector machines for pattern recognition. Data Mining and Knowledge Discovery, 2(2):955-974, 1998. http:/citeseer.nj.nec.com/burges98tutorial.html nVladimir Vapnik. Statistical Learning Theory. Wiley-Interscience; 1998nThorsten Joachims (joachims_01a): A Statistical Learning Model of Text Classification for Support Vector MachinesnBen Rubinstein. Statistical Learning Theory. Dept. Computer Science and Division of Genetics & Bioinformatics, Walter & Eliza Hall Institute
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号