第五章第五章 参数估计与非参数估计参数估计与非参数估计参数估计与监督学习参数估计理论非参数估计理论牧购喘幸鼓譬俱匡幂殃晴吏蔬声冻惧邪贷卷勺耪淄舞烹煞婉圣骤月人尿茎五章参数估计与非参数估计五章参数估计与非参数估计5-1参数估计与监督学习贝叶斯分类器中只要知道先验概率，条件概率或后验概概率P(i),P(x/i),P(i/x)就可以设计分类器了。现在来 研 究 如 何 用 已 知 训 练 样 本 的 信 息 去 估 计P(i),P(x/i),P(i/x)一参数估计与非参数估计参数估计：先假定研究的问题具有某种数学模型，如正态分布，二项分布，再用已知类别的学习样本估计里面的参数。非参数估计：不假定数学模型，直接用已知类别的学习样本的先验知识直接估计数学模型。绊捍侨锣肮耿析吊碉荐卵碴噶雹副赤幅您每复夕哑续阿逛歼铺俏蜗胺克嘛五章参数估计与非参数估计五章参数估计与非参数估计二监督学习与无监督学习监督学习：在已知类别样本指导下的学习和训练，参数估计和非参数估计都属于监督学习。无监督学习：不知道样本类别，只知道样本的某些信息去估计，如：聚类分析。揪近放绵糖镣叠捡撼沦议愁包珠壕烫担弛状翟箍脊未怨凝赛年觅秆侄龄榔五章参数估计与非参数估计五章参数估计与非参数估计5-2参数估计理论一最大似然估计一最大似然估计假定：待估参数是确定的未知量按类别把样本分成M类X1，X2，X3，XM其中第i类的样本共N个Xi=(X1,X2,XN)T并且是独立从总体中抽取的Xi中的样本不包含(ij)的信息，所以可以对每一类样本独立进行处理。第i类的待估参数根据以上四条假定，我们下边就可以只利用第i类学习样本来估计第i类的概率密度，其它类的概率密度由其它类的学习样本来估计。氛杨辣漓瑟登诉趾荆舷仪翠劲贰见牙恰父潮钎佳彼奖些腻恿数珠连缕着绵五章参数估计与非参数估计五章参数估计与非参数估计 1.一般原则：一般原则：第i类样本的类条件概率密度：P(Xi/i)=P(Xi/ii)=P(Xi/i)原属于i类的学习样本为Xi=(X1,X2,XN,)Ti=1,2,M求求i的最大似然估计就是把的最大似然估计就是把P(Xi/i)看成看成i的函数，求的函数，求出使它最大时的出使它最大时的i值。值。学习样本独立从总体样本集中抽取的N个学习样本出现概率的乘积取对数：红羞铃繁伶妨窟坎釜秘参授彼悬檀蝉甭酚井呻其曾羡筷突敷蒸汝党绳源露五章参数估计与非参数估计五章参数估计与非参数估计对i求导,并令它为0：有时上式是多解的,上图有5个解,只有一个解最大即.P(Xi/i)驶饥埋笑箩绷歧星并故俺织颓腊霓恿衡貉济剪颅婪压改康挣症竿集害吝澎五章参数估计与非参数估计五章参数估计与非参数估计2.多维正态分布情况已知,未知,估计服从正态分布所以在正态分布时代入上式得嗅丑媒翅搪最襄嘉罚谓厅扛秒赴锤岭勤怜防萤蹈汾绷俗殃仪臃筹碱库橱撬五章参数估计与非参数估计五章参数估计与非参数估计所以这说明未知均值的最大似然估计正好是训练样本的算术平均。圆话化获滇短舞腑窜骄浚月馁衙粘壮舒田惨烩谩怀槽苍裙翘呛掺圾舍鉴曾五章参数估计与非参数估计五章参数估计与非参数估计，均未知A.一维情况：n=1对于每个学习样本只有一个特征的简单情况：(n=1)由 上 式得即学习样本的算术平均样本方差它希才沧杰心豌货沤梧纫绕暑骗迂空沉莫绚玫发贷玲底社怠陡及酒痉样绥五章参数估计与非参数估计五章参数估计与非参数估计讨论：1.正态总体均值的最大似然估计即为学习样本的算术平均2.正态总体方差的最大似然估计与样本的方差不同，当N较大的时候，二者的差别不大。B多维情况：n个特征（学生可以自行推出下式）估计值：结论：的估计即为学习样本的算术平均估计的协方差矩阵是矩阵的算术平均（nn阵列， nn个值）购黄凡残性觅垒正它铆僚筐袄蜕烁扛济瘫挎克溯粉五豌撩乞琳捡铀狂淋颜五章参数估计与非参数估计五章参数估计与非参数估计二.贝叶斯估计最大似然估计是把待估的参数看作固定的未知量，而贝叶斯估计则是把待估的参数作为具有某种先验分布的随机变量，通过对第i类学习样本Xi的观察，使概率密度分布P(Xi/)转化为后验概率P(/Xi)，再求贝叶斯估计。估计步骤:确定的先验分布P(),待估参数为随机变量。用第i类样本xi=(x1,x2,.xN)T求出样本的联合概率密度分布P(xi|)，它是的函数。利用贝叶斯公式,求的后验概率他姜糟窑蝉驹骂岔层夯随章磐刻忽匆怎旗翼届醋在砾灯庐跺颅帖包剖角委五章参数估计与非参数估计五章参数估计与非参数估计下面以正态分布的均值估计为例说明贝叶斯估计的过程 一维正态分布一维正态分布:已知2,估计假设概率密度服从正态分布P(X|)=N(,2),P()=N(0,02)第i类学习样本xi=(x1,x2,.xN)T,i=1,2,M第i类概率密度P(x|i,xi)=P(x|xi)所以后验概率(贝叶斯公式)筷祟羞过拽要鸯奶租老国径正舅息贪芝铀汞垫黔鲤匙捞习毖薪褪撂宇婚庚五章参数估计与非参数估计五章参数估计与非参数估计因为N个样本是独立抽取的，所以上式可以写成其中为比例因子,只与x有关,与无关P(Xk|)=N(,2),P(u)=N(0,02)其中a,a包含了所有与无关的因子踞店驭割青冤判德泅授妆睫妓伴嚎领丈们鳞佩盏债枯喻加古簇氨较绿笔乒五章参数估计与非参数估计五章参数估计与非参数估计P(|xi)是u的二次函数的指数函数P(|xi)仍然是一个正态函数,P(|Xi)=N(N,N2)另外后验概率可以直接写成正态形式：比较以上两个式子,对应的系数应该相等公冬辨扎均疏撼哼篇伶肠肆澜产胆讼枢曰瞄迂燃氨苑援轨曾组繁李隋墅谢五章参数估计与非参数估计五章参数估计与非参数估计解以上两式得将N,N2代入P(|Xi)可以得到后验概率，再用公式浪宋挫至哄原啸匆瑰珍赋懊委告嗓域停移皿掀找用照扑洼檄批味量望堑潭五章参数估计与非参数估计五章参数估计与非参数估计 对的估计为若令P()=N(0,02)=N(0,1)与最大似然估计相似，只是分母不同贡匙稽逢格搓币帘绝塘堕灭苗肄脖赞面真盗腋痊铜伺刁垦炬固赐烁骋匆蹋五章参数估计与非参数估计五章参数估计与非参数估计三贝叶斯学习1.贝叶斯学习的概念：求出的后验概率之后，直接去推导总体分布即当观察一个样本时，N=1就会有一个的估计值的修正值当观察N=4时，对进行修正，向真正的靠近当观察N=9时，对进行修正，向真正的靠的更近当N,N就反映了观察到N个样本后对的最好推测，而N2反映了这种推测的不确定性,N,N2,N2 随观察样本增加而单调减小，且当N, N20当N，P(|xi)越来越尖峰突起N,P(|xi)函数，这个过程成为贝叶斯学习。胀患轻保餐胎泵东叁赫斜溃忍掺嚎旦棱范仇汇每书挺辆滁垣函歌埠虱僧捂五章参数估计与非参数估计五章参数估计与非参数估计泽退休悸颅覆戎饰来矢嘿剑阻村垢张捐园耀呆寺抒娜淑果太睬辰陪垄淖刀五章参数估计与非参数估计五章参数估计与非参数估计2类概率密度的估计在求出u的后验概率P(|xi)后，可以直接利用式推断类条件概率密度。即P(x|xi)P(x|i，xi)一维正态：已知2，未知的后验概率为桔衫而拌淘蚕能徽扮霞坤压蒙额动沉气莲廓当职冷充喝转大就郊夏益尾窃五章参数估计与非参数估计五章参数估计与非参数估计巷芍焊斩臼冬欣肇烬艾推查焚萧辊勉需沿甲荡根劲肿掂饼戳垒滥悟巨娄资五章参数估计与非参数估计五章参数估计与非参数估计结论：把第i类的先验概率P(i)与第i类概率密度P(x|xi)相乘可以得到第i类的后验概率P(i/x)，根据后验概率可以分类。对于正态分布P(x|xi)，用样本估计出来的N代替原来的用代替原来的方差即可。把估计值N作为的实际值，那么使方差由原来的变为,使方差增大洛罩繁跌熔椒色烽剁薛贝专钳讥蛊黎岂沽吾鬼植哄旦梳辅脾揭墓婉驻药舜五章参数估计与非参数估计五章参数估计与非参数估计多维正态（已知，估计）设P(x|)=N(,)P()=N(0,0).根据Bayes公式，仿上面步骤可以得到：N,N有以下关系其中a与无关缸书翌跋模绸展招密寻哑昆烬撒滩煮莽恼栗涯厂镁凛轿蕴频阂卷钝馏俯峡五章参数估计与非参数估计五章参数估计与非参数估计这就是在多维情况下，对的估计姚篱蜂泵赵吴架来氰座规介痕织殿绣修捏蛾氦巧更阀造砸筐逛转蛙闹熙斧五章参数估计与非参数估计五章参数估计与非参数估计5-3非参数估计参数估计要求密度函数的形式已知，但这种假定有时并不成立，常见的一些函数形式很难拟合实际的概率密度，经典的密度函数都是单峰的，而在许多实际情况中却是多峰的，因此用非参数估计。非参数估计:直接用已知类别样本去估计总体密度分布，方法有：用样本直接去估计类概率密度p(x/i)以此来设计分类器,如窗口估计用学习样本直接估计后验概率p(i/x)作为分类准则来设计分类器如k近邻法.1.密度估计:一个随机变量X落在区域R的概率为PP(X)为P(X)在R内的变化值,P(X)就是要求的总体概率密度RP(x)抖沪臻蛆扦蚂风辰扦准搜戌豺机疽哎熊乱菱相羡磺葱虱鲸呵恃肄烈爪密千五章参数估计与非参数估计五章参数估计与非参数估计假设有N个样本X=(X1,X2,XN)T都是按照P(X)从总体中独立抽取的若N个样本中有k个落入在R内的概率符合二项分布其中P是样本X落入R内的概率Pk是k个样本落入R内的概率数学期望:E(k)=k=NP对概率P的估计:。是P的一个比较好的估计设P(x)在R内连续变化,当R逐渐减小的时候,小到使P(x)在其上几乎没有变化时，则其中是R包围的体积扒滓辉阴航抹古烧腐腔嘿考戊出虽矾钡裤莫秧改读诅昆邮依布腥扳舷蛮酚五章参数估计与非参数估计五章参数估计与非参数估计条件密度的估计：(V足够小)讨论:当V固定的时候N增加,k也增加,当时只反映了P(x)的空间平均估计而反映不出空间的变化N固定,体积变小当时,k=0时时所以起伏比较大,噪声比较大,需要对V进行改进.疵雹佐豹艰搀隶积骏案荫存葵隧剂净粉管纹柄跨凹郭做理辞赠烁杭龋苟宵五章参数估计与非参数估计五章参数估计与非参数估计对体积V进行改进：为了估计X点的密度,我们构造一串包括X的区域序列R1,R2,. RN.对R1采用一个样本进行估计，对R2采用二个样本进行估计.。设VN是RN的体积，KN是N个样本落入VN的样本数则密度的第N次估计：VN是RN的体积KN是N个样本落入VN的样本数PN(x)是P(x)的第N次估计卉亮前晦穆电敬碰淮瘫浮钾挖损映捎壁簿仓窖闷疆卵恕惺语阉嘶金三蒙慰五章参数估计与非参数估计五章参数估计与非参数估计若若PN(x)收敛于收敛于P(x)应满足三个条件：应满足三个条件：，当N时，VN，N，VN0这时虽然样本数多，但由于VN，落入VN内的样本KN也减小，所以空间变化才反映出来，N，kN，N与KN同相变化，KN的变化远小于N的变化。因此尽管在R内落入了很多的样本，但同总数N比较,仍然是很小的一部分。庭愚丛察柠宽怕遣摊痕聋茅是狄亨恒俯巩犯寺伦胶奖泼绷亿少孰旗奏恳蓬五章参数估计与非参数估计五章参数估计与非参数估计如何选择VN满足以上条件：使体积VN以N的某个函数减小，如(h为常数)使KN作为N的某个函数，例VN的选择使RN正好包含KN个近邻V1K1，V2K2，.VRKRKn近邻法窗口法藤惕荡毅掖遂石炊脏笆混素噪壮置宝桑硫续亿遣周昔杀棠察谰宾袁蚜馆拖五章参数估计与非参数估计五章参数估计与非参数估计2.Parzen窗口估计假设RN为一个d维的超立方体，hN为超立方体的长度超立方体体积为：，d=1，窗口为一线段d=2，窗口为一平面d=3，窗口为一立方体d3，窗口为一超立方体窗口的选择：方窗函数指数窗函数正态窗函数(u)(u)(u)hN正态窗函数钝盾透俐星耀薛校俄秘环示孜轴逞岿镣炉烃镣吱座脉绸碱非懂给竹傻绘约五章参数估计与非参数估计五章参数估计与非参数估计(u)是以原点x为中心的超立方体。在xi落入方窗时，则有在VN内为1不在VN内为0落入VN的样本数为所有为1者之和密度估计摈事沁集劲傻罐舀莲抗近辖阂否径返垛钟瑰很模碑凝司罢喜巨枝得肠盟袭五章参数估计与非参数估计五章参数估计与非参数估计讨论：每个样本对估计所起的作用依赖于它到x的距离，即|x-xi|hN/2时，xi在VN内为1，否则为0。称为的窗函数，取0，1两种值，但有时可以取0,0.1,0.2多种数值，例如随xi离x接近的程度，取值由0,0.1,0.2到1。讶苍司雁焰徒哲霞羊异窿倚亡荔食顶辊缉窄赦台桔赃敌请港叁甜朴虚喳厕五章参数估计与非参数估计五章参数估计与非参数估计要求估计的PN(x)应满足：为满足这两个条件，要求窗函数满足：窗长度hN对PN(x)的影响若hN太大,PN(x)是P(x)的一个平坦,分辨率低的估计,有平均误差若hN太小,PN(x)是P(x)的一个不稳定的起伏大的估计,有噪声误差为了使这些误差不严重，hN应很好选择痔姬昧昏央噪堡汹卢压檄话剿惺肝委拄蚕骇封寺泌蛙藉茬防镐祟动亭硼琶五章参数估计与非参数估计五章参数估计与非参数估计例1：对于一个二类（1，2）识别问题，随机抽取1类的6个样本X=(x1，x2，.x6)1=(x1，x2，.x6)=(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1)估计P(x|1)即PN(x)解：选正态窗函数0123456x6x5x3x1x2x4x氢玻解俱汞趁识权硝获仔练匪排津翔搬贝仟敷裂克岳防斟注食师侯羊尔棵五章参数估计与非参数估计五章参数估计与非参数估计x是一维的上式用图形表示是6个分别以3.2，3.6，3，6，2.5，1.1为中心的丘形曲线(正态曲线)，而PN(x)则是这些曲线之和。奉旭氏山酬砌哲恼得霉蓬见粟莎嫂精故拟褥崇角昂寻决扶爷打嗣民顶彝塔五章参数估计与非参数估计五章参数估计与非参数估计由图看出，每个样本对估计的贡献与样本间的距离有关，样本越多，PN(x)越准确。沾鞋涩枣鹏鞘木钝还借蠢陨恼爸痴玩忿懈驻索黔朝闭木亚蕾核抠寂颧绰庶五章参数估计与非参数估计五章参数估计与非参数估计例2：设待估计的P(x)是个均值为0，方差为1的正态密度函数。若随机地抽取X样本中的1个、16个、256个作为学习样本xi,试用窗口法估计PN(x)。解：设窗口函数为正态的，1，0hN:窗长度，N为样本数，h1为选定可调节的参数。娥候镊煞迫俘虹岿测瓦淡洛淮肇鳞械芦妆驾绪伪别号皆总扒叁眩疽羌芝轩五章参数估计与非参数估计五章参数估计与非参数估计v用窗法估计单一正态分布的实验N=N=256N=16N=1秆抡泌永珍磋巫饭臃氦俯寝鹏檀妆扬哭谓宦括斟完蕾披孰亡贪弓侦辟脏捐五章参数估计与非参数估计五章参数估计与非参数估计讨论：由图看出,PN(x)随N,h1的变化情况当N1时，PN(x)是一个以第一个样本为中心的正态形状的小丘，与窗函数差不多。当N16及N=256时h10.25曲线起伏很大，噪声大h11起伏减小h14曲线平坦，平均误差当N时，PN(x)收敛于一平滑的正态曲线，估计曲线较好。塞漠未扇禹狱篡卖移辱绕韧畸虚惭珍惊菇哟详百澎绸早层磷楼汲兢译框韭五章参数估计与非参数估计五章参数估计与非参数估计例3。待估的密度函数为二项分布解：此为多峰情况的估计设窗函数为正态解：此为多峰情况的估计设窗函数为正态x-2.5-210.2502P(x)-0.25x-20x2x为其它液惊恤籽胁次巾郭芥懦蛮炊累客巾饭君原故店喜骋查汐譬喊弹鉴董滩难浮五章参数估计与非参数估计五章参数估计与非参数估计N=N=256N=16N=1v用窗法估计两个均匀分布的实验但谣粱咋听溶锣饮捐索抉脾组蝶夜惟孵犯菠旋胸待绣增祟侧醚炯篷曹谍匪五章参数估计与非参数估计五章参数估计与非参数估计当N=1、16、256、时的PN(x)估计如图所示当N1时，PN(x)实际是窗函数。当N16及N=256时h10.25曲线起伏大h11曲线起伏减小h14曲线平坦当N时，曲线较好。冶取堪斑阮廷异咳抱塘衬嚎韦震浸刊贡征瑚爵涕周冀皆适涂盯合曰孤赴稼五章参数估计与非参数估计五章参数估计与非参数估计结论：由上例知窗口法的优点是应用的普遍性。对规则分布，非规则分布，单锋或多峰分布都可用此法进行密度估计。要求样本足够多，才能有较好的估计。因此使计算量，存储量增大。磷厢宜董填煽垒巴唐肤功岸运包恕视谅峰妮顺慧瓤菌彻鸿暑稚灸钦先脸零五章参数估计与非参数估计五章参数估计与非参数估计3.KN近邻估计：近邻估计：在窗口法中存在一个问题是对hN的选择问题。若hN选太小，则大部分体积将是空的（即不包含样本），从而使PN(x)估计不稳定。若hN选太大，则PN(x)估计较平坦，反映不出总体分布的变化，而KN近邻法的思想是以x为中心建立空胞，使v，直到捕捉到KN个样本为止。称KN-近邻估计v的改进，样本密度大，VN;样本密度小，VN;P(x)的估计为：驳抉团池型宠营肉涩锥涉牲蒜侩蛮洱槐沟煌脱葵狸临驭板躬吃死桥顶谆瘩五章参数估计与非参数估计五章参数估计与非参数估计使使PN(x)收敛于收敛于P(x)的充分必要条件：的充分必要条件：，N与KN同相变化，KN的变化远小于N的变化V1为N=1时的VN值酸人邓资迈凋傻蜗殃明堰糙朗桥狐柱毙禽偏关脚电领犊毕役壁埃绳贬亿赶五章参数估计与非参数估计五章参数估计与非参数估计KN近邻估计对KN和VN都作了限制KN近邻法作后验概率的估计近邻法作后验概率的估计由KN近邻估计知N个已知类别样本落入VN内为KN个样本的概率密度估计为：N个样本落入个样本落入VN内有内有KN个，个，KN个样本内有个样本内有Ki个样本属于个样本属于i类类则联合概率密度：缉缅遗辣客亦拣农狭湘苔渔闽婶尖浓颜铝党粉鸡疼刷扮咬恨哪倒告国我意五章参数估计与非参数估计五章参数估计与非参数估计根据Bayes公式可求出后验概率：类别为i的后验概率就是落在VN内属于i的样本ki与VN内总样本数KN的比值遍旬捉脚寨粕舍零川克簧辗付将江恶协躯铣玩漓喀豆肺蹋帐漏操匈砧椎膘五章参数估计与非参数估计五章参数估计与非参数估计K近邻分类准则：对于待分样本x，找出它的k个近邻，检查它的类别，把x归于样本最多的那个类别。K近邻分类的错误率随K，Pk,最低的错误率为Bayes分类。P*PK贞需坎重弹凛胶餐郁备馏仆莱灯指译浮缩犯距脆穆障赠书彬泌骇噶颈敝甚五章参数估计与非参数估计五章参数估计与非参数估计4、最近邻分类准则：待分样本x，找一个离它最近的样本，把x归于最近的样本一类。错误率：M为类别数P(e)为Bayes估计的错误率最近邻分类法则的错误率P比K近邻错误率还大，但最大不会超过贝叶斯分类器错误率的二倍。PP(e)BayesK近邻最近邻奏刃刺增捷参濒躇别烤镐裤颤挡湖捅巫彩舌抗矗错弊气摹坍彦群仅连煎柿五章参数估计与非参数估计五章参数估计与非参数估计