管窥机器学习邹博 2014年10月18日2/60机器学习o在具体学习机器学习的过程中，往往是因为推导造成的障碍n了解基本的高等数学知识是必要的o机器学习比想象中要简单的多n举例：kNN用于分类、基本的聚类过程3/60本次目标o了解机器学习中的相关基本概念和常用方法o初步掌握极大似然估计、梯度下降法的一般性计算套路o熟悉最小二乘法的目标函数建立和解决方案o了解期望最大化算法（EM算法）的思路4/60若干概念o交叉验证o泛化能力oVC维o监督学习o无监督学习o强化学习5/60机器学习算法的分类o监督nK近邻n回归nSVMn决策树n朴素贝叶斯nBP神经网络o非监督n聚类nApriorinFP-growth6/60交叉验证o交叉验证(Cross-validation)也称为交叉比对，主要用于建模应用中。在给定的建模样本中，拿出大部分样本进行建模型，留小部分样本用刚建立的模型进行预报，并求这小部分样本的预报误差，记录它们的平方加和。这个过程一直进行，直到所有的样本都被预报了一次而且仅被预报一次。把每个样本的预报误差平方加和，称为PRESS(predictedErrorSumofSquares)。o交叉验证是常用的精度测试方法，其目的是为了得到可靠稳定的模型。例如10折交叉验证(10-foldcrossvalidation)，将数据集分成十份，轮流将其中9份做训练1份做测试，10次的结果的均值作为对算法精度的估计，一般还需要进行多次10折交叉验证求均值，例如：10次10折交叉验证，以求更精确一点。7/60交叉验证的形式oHoldout验证n通常来说，Holdout验证并非一种交叉验证，因为数据并没有交叉使用。随机从最初的样本中选出部分，形成交叉验证数据，而剩余的就当做训练数据。一般来说，少于原本样本三分之一的数据被选做验证数据。oK-foldcross-validationnK折交叉验证，初始采样分割成K个子样本，一个单独的子样本被保留作为验证模型的数据，其他K-1个样本用来训练。交叉验证重复K次，每个子样本验证一次，平均K次的结果或者使用其它结合方式，最终得到一个单一估测。这个方法的优势在于，同时重复运用随机产生的子样本进行训练和验证，每次的结果验证一次，10折交叉验证是最常用的。o留一验证n意指只使用原本样本中的一项来当做验证资料，而剩余的则留下来当做训练资料。这个步骤一直持续到每个样本都被当做一次验证资料。事实上，这等同于K-fold交叉验证是一样的，其中K为原本样本个数。8/60泛化能力o概括地说，所谓泛化能力（generalizationability）是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据对背后的规律，对具有同一规律的学习集以外的数据，经过训练的算法也能给出合适的输出，该能力称为泛化能力。o通常期望经训练样本训练的算法具有较强的泛化能力，也就是对新输入给出合理响应的能力。应当指出并非训练的次数越多越能得到正确的输入输出映射关系。算法的性能主要用它的泛化能力来衡量。9/60VC维o对于一个分类H，我们定义它的VapnikChervonenkisdimension,记做VC(H)：指的是能够被H打散的最大集合的数目。n打散：shattero如果H能够打散任意数目的集合，我们定义VC(H)=10/60VC维o考虑如图所示，3个点的集合：11/603个点可完全分开(zerotrainingerror)12/60一个集合，不是所有oNotethattheVCdimensionofHhereis3eventhoughtheremaybesetsofsize3thatitcannotshatter.Forinstance,ifwehadasetofthreepointslyinginastraightline(leftfigure),thenthereisnowaytofindalinearseparatorforthelabelingofthethreepointsshownbelow(rightfigure):13/60再次强调o在VC维的定义下，为了证明VC(H)至少是d，我们只需要证明至少存在一个大小是d的集合是可以被打散的。o如果对于任意的样本数，总能找到一个样本集，它能够被某分类H打散，则该分类H的VC维就是无穷大，这个分类H的学习性能也就是最好的。oVC维反映了分类集的学习能力，VC维越大则学习机器越复杂（容量越大），遗憾的是，目前尚没有通用的关于任意分类集VC维计算的理论，只对一些特殊的分类集知道其VC维。例如在N维空间中线形分类器的VC维是N+1。14/60从下面几个问题入手机器学习ok近邻o向量距离o聚类o回归o朴素贝叶斯o微积分n工具：最小二乘法、极大似然估计、梯度下降法15/60k近邻分类(属于有监督学习)16/60向量间相似度计算的方法o欧式距离oPearson相关系数(Pearsoncorrelation)o余弦相似度(cosinesimilarity)17/60k-均值聚类(属于无监督学习)o创建k个点作为起始质心(如：随机选择起始质心)o当任意一个点的簇分配结果发生改变时n对数据集中的每个数据点o对每个质心n计算质心与数据点之间的距离o将数据点分配到距其最近的簇n对每个簇，计算簇中所有点的均值并作为质心o思考：点的簇分配结果发生改变的标准如何判断？n实践中可以选择误差的平方和最小n更深层的问题：为何如此选择？18/60利用SSE进行聚类后处理oSSE:SumofSquaredError误差平方和19/60二分k-均值聚类后的结果20/60线性回归oy=ax+b21/60多个变量的情形o考虑两个变量22/60最小二乘的目标函数om为样本个数，则一个比较“符合常理”的误差函数为：o继续提问：如何解释和定义“符合常理”？23/60使用极大似然估计解释最小二乘24/60似然函数25/60对数似然26/60计算极大似然函数的最优解27/60最小二乘意义下的参数最优解28/60广义逆矩阵（伪逆）o若A为非奇异矩阵,则线性方程组Ax=b的解为其中A的A的逆矩阵满足(I为单位矩阵)。若A是奇异阵或长方阵,x=A+b。A+叫做A的伪逆阵。o1955年R.彭罗斯证明了对每个mn阶矩阵A,都存在惟一的nm阶矩阵X，满足：AXA=A；XAX=X；(AX)*I；(XA)*I。通常称X为A的穆尔-彭罗斯广义逆矩阵,简称M-P逆，记作A+。o在矛盾线性方程组Axb的最小二乘解中,x=A+b是范数最小的一个解。n在奇异值分解SVD的问题中，将继续该话题的讨论。29/60用回归解决分类问题，如何？30/60最简单的例子：一维回归31/60Logistic函数32/60Logistic回归方程的建立33/60梯度下降34/60Logistic回归的过程描述o假定有M个样本X，每个样本都是N维的。那么，设需要求的参数记做w，则w是N维向量。ny=Logistic(Xw)o上式就是要学习的目标函数。o未知参数是N个实参数w。o使用极大似然估计，能够建立关于w的方程。用梯度下降法，求该方程的梯度，设置合适的学习率解这N个参数w。35/60贝叶斯准则o条件概率公式nP(x|y)=P(x,y)/P(y)P(x,y)=P(x|y)*P(y)nP(y|x)=P(x,y)/P(x)P(x,y)=P(y|x)*P(x)n则P(x|y)*P(y)=P(y|x)*P(x)o从而：P(x|y)=P(y|x)*P(x)/P(y)o分类原则：在给定的条件下，哪种分类发生的概率大，则属于那种分类。36/60Bayes的实例37/60后验概率oc1、c2表示左右两个信封。oP(R)，P(B)表示摸到红球、黑球的概率。oP(R)=P(R|c1)*P(c1)+P(R|c2)*P(c2)：全概率公式oP(c1|R)=P(R|c1)*P(c1)/P(R)nP(R|c1)=2/4nP(R|c2)=1/3nP(c1)=P(c2)=1/2o如果摸到一个红球，那么，这个信封有1美元的概率是0.6o如果摸到一个黑球，那么，这个信封有1美元的概率是3/738/60朴素贝叶斯的假设o一个特征出现的概率，与它相邻的特征没有关系（特征独立性）o每个特征同等重要（特征均衡性）39/60以文本分类为例o样本：1000封邮件，每个邮件被标记为垃圾邮件或者非垃圾邮件o分类目标：给定第1001封邮件，确定它是垃圾邮件还是非垃圾邮件o方法：朴素贝叶斯40/60分析o类别c：垃圾邮件c1，非垃圾邮件c2o词汇表：统计1000封邮件中出现的所有单词，记单词数目为N，即形成词汇表。o将每个样本si向量化：初始化N维向量xi，若词wj在si中出现，则xij=1，否则，为0。从而得到1000个N维向量x。o使用：P(c|x)=P(x|c)*P(c)/P(x)41/60分解oP(c|x)=P(x|c)*P(c)/P(x)oP(x|c)=P(x1,x2xN|c)=P(x1|c)*P(x2|c)P(xN|c)oP(x)=P(x1,x2xN)=P(x1)*P(x2)P(xN)o带入公式：P(c|x)=P(x|c)*P(c)/P(x)o等式右侧各项的含义：nP(xi|cj)：在cj(此题目，cj要么为垃圾邮件1，要么为非垃圾邮件0)的前提下，第i个单词xi出现的概率nP(xi)：在所有样本中，单词xi出现的概率nP(cj)：(垃圾邮件)cj出现的概率42/60EM算法的典型题目o三硬币模型o假设有3枚硬币，分别记做A，B，C。抛硬币过程中，这些硬币正面出现的概率分别是，p，q。进行如下试验：先抛硬币A，如果正面朝上，则抛硬币B；如果反面朝上，则抛硬币C。抛完B或者C后，如果正面朝上，记为1，否则记为0；独立重复n次试验（这里，n=10），观测结果如下：1,1,0,1,0,0,1,0,11。试估计，p，q的值。43/60EM的推导o将观测变量记做Y，待估计参数记做(，p，q)oP(y|)=zP(y,z|)=zP(z|)P(y|z,)=P(z=0|)P(y|z=0,)+P(z=1|)P(y|z=1,)=py(1-p)1-y+(1-)qy(1-q)1-yo应用极大似然估计nP(Y|)=pyi(1-p)1-yi+(1-)qyi(1-q)1-yi44/60别忘了机器学习的第一步：建模o皇帝不是穷人，在守财奴之中也有穷人，所以，有一些_并不是_。45/60使用离散数学分析该题目op：这个人是皇帝oq：这个人是穷人or：这个人是守财奴o皇帝不是穷人：pqo在守财奴之中也有穷人：x(xrxq)46/60分析过程or：这个人是守财奴op：这个人是皇帝o有一些守财奴并不是皇帝。47/60这部分的参考文献oProf.AndrewNg,MachineLearning,StanfordUniversityo高等数学，高等教育出版社，同济大学数学教研室主编,1996oMiaHubert,PeterJ.Rousseeuw,KarlienVandenBranden,ROBPCA:aNewApproachtoRobustPrincipalComponentAnalysis,October27,2003(PCA)ohttp:/baike.baidu.com/view/3709181.htm(泛化能力)ohttp:/people.revoledu.com/kardi/tutorial/Regression/KernelRegression/KernelRegression.htm(核回归)ohttp:/www.cnblogs.com/wuyuegb2312/archive/2012/12/03/2799893.html(VC维)ohttp:/blog.csdn.net/v_july_v/article/details/7624837(SVM)ohttp:/mindhacks.cn/2008/09/21/the-magical-bayesian-method(Bayes)ohttp:/www.cnblogs.com/jerrylead/tag/Machine%20Learning(机器学习)ohttp:/baike.baidu.com/view/3068725.htm(SVD)ohttp:/www.cnitblog.com/vincentff7/(广义逆矩阵)ohttp:/zh.wikipedia.org/wiki/%E5%A5%87%E5%BC%82%E5%80%BC%E5%88%86%E8%A7%A3(SVD)ohttp:/blog.csdn.net/ningyaliuhebei/article/details/7104951(SVD)ohttp:/baike.baidu.com/view/186428.htm(凸函数)ohttp:/www.tuicool.com/articles/auQFju(Logistic回归)48/60复习微积分o当xU(x0,r)时，有g(x)f(x)h(x)成立，并且，那么o自然常数：49/60导数o简单的说，导数就是曲线的斜率，是曲线变化快慢的反应o二阶导数是斜率变化快慢的反应，表征曲线的凸凹性n在GIS中，往往一条二阶导数连续的曲线，我们称之为“光顺”的。n还记得高中物理老师时常念叨的吗：加速度的方向总是指向轨迹曲线凹的一侧50/60常用函数的导数51/60应用o已知函数f(x)=xx，x0o求f(x)的最小值o附：=？n在计算机算法跳跃表SkipList的分析中，用到了该常数。52/60Taylor公式Maclaurin公式53/60Taylor公式的应用o数值计算：初等函数值的计算o注：待验证54/60凸函数of(x)在区间I上连续，如果对I上任意两点x1，x2，恒有f(x1+x2)/2)0，则f(x)是凸的；n若f(x)0，则f(x)是凹的o即：一元二阶可微的函数在区间上是凸的，当且仅当它的二阶导数是非负的56/60凸函数o凸函数更一般的表述o意义：可以在确定函数的凸凹性之后，对函数进行不等式替换。这将在EM算法等后续内容中涉及。57/60方向导数o如果函数z=f(x,y)在点P(x,y)是可微分的，那么，函数在该点沿任一方向L的方向导数都存在，且有：o其中，为x轴到方向L的转角。58/60梯度o设函数z=f(x,y)在平面区域D内具有一阶连续偏导数，则对于每一个点P(x,y)D，向量为函数z=f(x,y)在点P的梯度，记做gradf(x,y)o梯度的方向是函数在该点变化最快的方向n考虑一座解析式为H(x,y)的山。在(x0,y0)点的梯度是在该点坡度最陡的方向。o梯度下降法n思考：如果下山方向和梯度呈夹角，下降速度是多少？59/60 感谢大家！恳请大家批评指正！11醉翁亭记1反复朗读并背诵课文，培养文言语感。2结合注释疏通文义，了解文本内容，掌握文本写作思路。3把握文章的艺术特色，理解虚词在文中的作用。4体会作者的思想感情，理解作者的政治理想。一、导入新课范仲淹因参与改革被贬，于庆历六年写下岳阳楼记，寄托自己“先天下之忧而忧，后天下之乐而乐”的政治理想。实际上，这次改革，受到贬谪的除了范仲淹和滕子京之外，还有范仲淹改革的另一位支持者北宋大文学家、史学家欧阳修。他于庆历五年被贬谪到滁州，也就是今天的安徽省滁州市。也是在此期间，欧阳修在滁州留下了不逊于岳阳楼记的千古名篇醉翁亭记。接下来就让我们一起来学习这篇课文吧！【教学提示】结合前文教学，有利于学生把握本文写作背景，进而加深学生对作品含义的理解。二、教学新课目标导学一：认识作者，了解作品背景作者简介：欧阳修(10071072)，字永叔，自号醉翁，晚年又号“六一居士”。吉州永丰(今属江西)人，因吉州原属庐陵郡，因此他又以“庐陵欧阳修”自居。谥号文忠，世称欧阳文忠公。北宋政治家、文学家、史学家，与韩愈、柳宗元、王安石、苏洵、苏轼、苏辙、曾巩合称“唐宋八大家”。后人又将其与韩愈、柳宗元和苏轼合称“千古文章四大家”。关于“醉翁”与“六一居士”：初谪滁山，自号醉翁。既老而衰且病，将退休于颍水之上，则又更号六一居士。客有问曰：“六一何谓也？”居士曰：“吾家藏书一万卷，集录三代以来金石遗文一千卷，有琴一张，有棋一局，而常置酒一壶。”客曰：“是为五一尔，奈何？”居士曰：“以吾一翁，老于此五物之间，岂不为六一乎？”写作背景：宋仁宗庆历五年(1045年)，参知政事范仲淹等人遭谗离职，欧阳修上书替他们分辩，被贬到滁州做了两年知州。到任以后，他内心抑郁，但还能发挥“宽简而不扰”的作风，取得了某些政绩。醉翁亭记就是在这个时期写就的。目标导学二：朗读文章，通文顺字1初读文章，结合工具书梳理文章字词。2朗读文章，划分文章节奏，标出节奏划分有疑难的语句。节奏划分示例环滁/皆山也。其/西南诸峰，林壑/尤美，望之/蔚然而深秀者，琅琊也。山行/六七里，渐闻/水声潺潺，而泻出于/两峰之间者，酿泉也。峰回/路转，有亭/翼然临于泉上者，醉翁亭也。作亭者/谁？山之僧/曰/智仙也。名之者/谁？太守/自谓也。太守与客来饮/于此，饮少/辄醉，而/年又最高，故/自号曰/醉翁也。醉翁之意/不在酒，在乎/山水之间也。山水之乐，得之心/而寓之酒也。节奏划分思考“山行/六七里”为什么不能划分为“山/行六七里”？明确：“山行”意指“沿着山路走”，“山行”是个状中短语，不能将其割裂。“望之/蔚然而深秀者”为什么不能划分为“望之蔚然/而深秀者”？明确：“蔚然而深秀”是两个并列的词，不宜割裂，“望之”是总起词语，故应从其后断句。【教学提示】引导学生在反复朗读的过程中划分朗读节奏，在划分节奏的过程中感知文意。对于部分结构复杂的句子，教师可做适当的讲解引导。目标导学三：结合注释，翻译训练1学生结合课下注释和工具书自行疏通文义，并画出不解之处。【教学提示】节奏划分与明确文意相辅相成，若能以节奏划分引导学生明确文意最好；若学生理解有限，亦可在解读文意后把握节奏划分。2以四人小组为单位，组内互助解疑，并尝试用“直译”与“意译”两种方法译读文章。3教师选择疑难句或值得翻译的句子，请学生用两种翻译方法进行翻译。翻译示例：若夫日出而林霏开，云归而岩穴暝，晦明变化者，山间之朝暮也。野芳发而幽香，佳木秀而繁阴，风霜高洁，水落而石出者，山间之四时也。直译法：那太阳一出来，树林里的雾气散开，云雾聚拢，山谷就显得昏暗了，朝则自暗而明，暮则自明而暗，或暗或明，变化不一，这是山间早晚的景色。野花开放，有一股清幽的香味，好的树木枝叶繁茂，形成浓郁的绿荫。天高气爽，霜色洁白，泉水浅了，石底露出水面，这是山中四季的景色。意译法：太阳升起，山林里雾气开始消散，烟云聚拢，山谷又开始显得昏暗，清晨自暗而明，薄暮又自明而暗，如此暗明变化的，就是山中的朝暮。春天野花绽开并散发出阵阵幽香，夏日佳树繁茂并形成一片浓荫，秋天风高气爽，霜色洁白，冬日水枯而石底上露，如此，就是山中的四季。【教学提示】翻译有直译与意译两种方式，直译锻炼学生用语的准确性，但可能会降低译文的美感；意译可加强译文的美感，培养学生的翻译兴趣，但可能会降低译文的准确性。因此，需两种翻译方式都做必要引导。全文直译内容见我的积累本。目标导学四：解读文段，把握文本内容1赏析第一段，说说本文是如何引出“醉翁亭”的位置的，作者在此运用了怎样的艺术手法。明确：首先以“环滁皆山也”五字领起，将滁州的地理环境一笔勾出，点出醉翁亭坐落在群山之中，并纵观滁州全貌，鸟瞰群山环抱之景。接着作者将“镜头”全景移向局部，先写“西南诸峰，林壑尤美”，醉翁亭坐落在有最美的林壑的西南诸峰之中，视野集中到最佳处。再写琅琊山“蔚然而深秀”，点山“秀”，照应上文的“美”。又写酿泉，其名字透出了泉与酒的关系，好泉酿好酒，好酒叫人醉。“醉翁亭”的名字便暗中透出，然后引出“醉翁亭”来。作者利用空间变幻的手法，移步换景，由远及近，为我们描绘了一幅幅山水特写。2第二段主要写了什么？它和第一段有什么联系？明确：第二段利用时间推移，抓住朝暮及四季特点，描绘了对比鲜明的晦明变化图及四季风光图，写出了其中的“乐亦无穷”。第二段是第一段“山水之乐”的具体化。3第三段同样是写“乐”，但却是写的游人之乐，作者是如何写游人之乐的？明确：“滁人游”，前呼后应，扶老携幼，自由自在，热闹非凡；“太守宴”，溪深鱼肥，泉香酒洌，美味佳肴，应有尽有；“众宾欢”，投壶下棋，觥筹交错，说说笑笑，无拘无束。如此勾画了游人之乐。4作者为什么要在第三段写游人之乐？明确：写滁人之游，描绘出一幅太平祥和的百姓游乐图。游乐场景映在太守的眼里，便多了一层政治清明的意味。太守在游人之乐中酒酣而醉，此醉是为山水之乐而醉，更是为能与百姓同乐而醉。体现太守与百姓关系融洽，“政通人和”才能有这样的乐。5第四段主要写了什么？明确：写宴会散、众人归的情景。目标导学五：深入解读，把握作者思想感情思考探究：作者以一个“乐”字贯穿全篇，却有两个句子别出深意，不单单是在写乐，而是另有所指，表达出另外一种情绪，请你找出这两个句子，说说这种情绪是什么。明确：醉翁之意不在酒，在乎山水之间也。醉能同其乐，醒能述以文者，太守也。这种情绪是作者遭贬谪后的抑郁，作者并未在文中袒露胸怀，只含蓄地说：“醉能同其乐，醒能述以文者，太守也。”此句与醉翁亭的名称、“醉翁之意不在酒，在乎山水之间也”前后呼应，并与“滁人游”“太守宴”“众宾欢”“太守醉”连成一条抒情的线索，曲折地表达了作者内心复杂的思想感情。目标导学六：赏析文本，感受文本艺术特色1在把握作者复杂感情的基础上朗读文本。2反复朗读，请同学说说本文读来有哪些特点，为什么会有这些特点。(1)句法上大量运用骈偶句，并夹有散句，既整齐又富有变化，使文章越发显得音调铿锵，形成一种骈散结合的独特风格。如“野芳发而幽香，佳木秀而繁阴”“朝而往，暮而归，四时之景不同，而乐亦无穷也”。(2)文章多用判断句，层次极其分明，抒情淋漓尽致，“也”“而”的反复运用，形成回环往复的韵律，使读者在诵读中获得美的享受。(3)文章写景优美，又多韵律，使人读来不仅能感受到绘画美，也能感受到韵律美。目标导学七：探索文本虚词，把握文言现象虚词“而”的用法用法文本举例表并列1.蔚然而深秀者；2.溪深而鱼肥；3.泉香而酒洌；4.起坐而喧哗者表递进1.而年又最高；2.得之心而寓之酒也表承接1.渐闻水声潺潺，而泻出于两峰之间者；2.若夫日出而林霏开，云归而岩穴暝；3.野芳发而幽香，佳木秀而繁阴；4.水落而石出者；5.临溪而渔；6.太守归而宾客从也；7.人知从太守游而乐表修饰1.朝而往，暮而归；2.杂然而前陈者表转折1.而不知人之乐；2.而不知太守之乐其乐也虚词“之”的用法用法文本举例表助词“的”1.泻出于两峰之间者；2.醉翁之意不在酒；3.山水之乐；4.山间之朝暮也；5.宴酣之乐位于主谓之间，取消句子独立性而不知太守之乐其乐也表代词1.望之蔚然而深秀者；2.名之者谁(指醉翁亭)；3.得之心而寓之酒也(指山水之乐)【教学提示】更多文言现象请参见我的积累本。三、板书设计路线：环滁琅琊山酿泉醉翁亭风景：朝暮之景四时之景山水之乐(醉景)风俗：滁人游太守宴众宾欢太守醉宴游之乐(醉人)心情：禽鸟乐人之乐乐其乐与民同乐(醉情)可取之处重视朗读，有利于培养学生的文言语感，并通过节奏划分引导学生理解文意，突破了仅按注释疏通文义的桎梏，有利于引导学生自主思考；不单纯关注“直译”原则，同时培养学生的“意译”能力，引导学生关注文言文的美感，在一定程度上有助于培养学生的核心素养。不足之处文章难度相对较高，基础能力低的学生难以适应该教学。会员免费下载