马氏距离马氏距离统计0901 全体同学1课程知识距离判别法距离判别法距离判别的基本思想是： 样品和哪个总体距离最近，就判别它属哪个总体。距离判别也称为直观判别法 2课程知识v欧氏距离的定义与计算公式欧氏距离的定义与计算公式v欧氏距离的优点与缺陷欧氏距离的优点与缺陷v马氏距离的概念马氏距离的概念v马氏距离的定义与计算公式马氏距离的定义与计算公式v马氏距离的优点与缺点马氏距离的优点与缺点v欧氏距离与马氏距离的区别与联系欧氏距离与马氏距离的区别与联系3课程知识欧氏距离的定义与计算方法v概念概念：它是在m维空间中两个点之间的真实距离。v设p维欧几里得空间Rp中的两点X=(X1,X2, ,Xp)和Y=(Y1,Y2, ,Yp),它们之间的距离为d2(X,Y)=(X1-Y1)2+(Xp-Yp)24课程知识欧氏距离的缺陷v我们熟悉的欧氏距离虽然很有用，但在解决多元数据的分析问题时，就显示出了它的不足之处。一是它没有考虑到总体的变异对“距离” 远近的影响，显然一个变异程度大的总体可能与更多样品近些，即使它们的欧几里得距离不一定最近；另外，欧几里得距离受变量的量纲影响，这对多元数据的处理是不利的。5课程知识什么是马氏距离？v概念：马氏距离是由印度统计学家马哈拉诺比斯提出的，表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。v与欧氏距离不同的是它考虑到各种特性之间的联系，即独立于测量尺度。6课程知识马氏距离定义：7课程知识=cov(x,y)=E(X-EX)(Y-EY) = cov(x1,y1) cov(x1,y2) cov(x1,yp) cov(x2,y1) cov(x2,y2) cov(x2,yp) cov(xp,y1) cov(xp,y2) cov(xp,yp)Cov(x,y)=0时，x与y不相关。8课程知识马氏距离的其它定义：v马氏距离也可以定义为两个服从同一分布并且其协方差矩阵为的随机变量的差异程度：如果协方差矩阵为单位矩阵，马氏距离就简化为欧氏距离；如果协方差矩阵为对角矩阵，则其也可称为正规化的欧氏距离。9课程知识马氏距离优点 它不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关；由标准化数据和中心化数据(即原始数据与均值之差）计算出的二点之间的马氏距离相同。马氏距离还可以排除变量之间的相关性的干扰。10课程知识v马氏距离v欧式距离欧氏距离与马氏距离的区别与联系11课程知识v1）马氏距离的计算是建立在总体样本的基础上的，这一点可以从上述协方差矩阵的解释中可以得出，也就是说，如果拿同样的两个样本，放入两个不同的总体中，最后计算得出的两个样本间的马氏距离通常是不相同的，除非这两个总体的协方差矩阵碰巧相同；v2）在计算马氏距离过程中，要求总体样本数大于样本的维数，否则得到的总体样本协方差矩阵逆矩阵不存在，这种情况下，用欧式距离计算即可。12课程知识v3）还有一种情况，满足了条件总体样本数大于样本的维数，但是协方差矩阵的逆矩阵仍然不存在，比如三个样本点（3，4），（5，6）和（7，8），这种情况是因为这三个样本在其所处的二维空间平面内共线。这种情况下，也采用欧式距离计算。13课程知识v4）在实际应用中“总体样本数大于样本的维数”这个条件是很容易满足的，而所有样本点出现3）中所描述的情况是很少出现的，所以在绝大多数情况下，马氏距离是可以顺利计算的，但是马氏距离的计算是不稳定的，不稳定的来源是协方差矩阵，这也是马氏距离与欧式距离的最大差异之处。14课程知识例题：15课程知识16课程知识17课程知识18课程知识19课程知识 Thank You ! 20课程知识