第14章 聚类分析与判别分析介绍： 1、聚类分析2、判别分析分类学是人类认识世界的基础科学。聚类分析 和判别分析是研究事物分类的基本方法，广泛地应 用于自然科学、社会科学、工农业生产的各个领域 。14.1.1 聚类分析w根据事物本身的特性研究个体分类的方法， 原则是同一类中的个体有较大的相似性，不 同类中的个体差异很大。 w根据分类对象的不同，分为样品（观测量） 聚类和变量聚类两种：n样品聚类：对观测量(Case)进行聚类（不同的目 的选用不同的指标作为分类的依据，如选拔运动 员与分课外活动小组）n变量聚类：找出彼此独立且有代表性的自变量， 而又不丢失大部分信息。在生产活动中不乏有变 量聚类的实例，如：衣服号码（身长、胸围、裤 长、腰围）、鞋的号码。变量聚类使批量生产成 为可能。14.1.2 判别分析w判别分析是根据表明事物特点的变量值和它 们所属的类，求出判别函数。根据判别函数 对未知所属类别的事物进行分类的一种分析 方法。 w在自然科学和社会科学的各个领域经常遇到 需要对某个个体属于哪一类进行判断。如动 物学家对动物如何分类的研究和某个动物属 于哪一类、目、纲的判断。 w不同：判别分析和聚类分析不同的在于判别 分析要求已知一系列反映事物特征的数值变 量的值，并且已知各个体的分类（训练样本 ）。14.1.3 聚类分析与判别分析的SPSS过程w在AnalyzeClassify下：nK-Means Cluster： 观测量快速聚类分 析过程nHierarchical Cluster：分层聚类（进行 观测量聚类和变量聚类的过程nDiscriminant：进行判别分析的过程14.2 快速样本聚类过程(Quick Cluster)w使用 k 均值分类法对观测量进行聚类 w可使用系统的默认选项或自己设置选项，如分为几类 、指定初始类中心、是否将聚类结果或中间数据数据 存入数据文件等。 w快速聚类实例(P342，data14-01a):使用系统的默 认值进行：对运动员的分类（分为4类）nAnalyzeClassifyK-Means Cluster wVariables: x1,x2,x3 wLabel Case By: no wNumber of Cluster: 4 w比较有用的结果：聚类结果形成的最后四类中心点 (Final Cluster Centers) 和每类的观测量数目（ Number of Cases in each Cluster） w但不知每个运动员究竟属于哪一类？这就要用到Save选 项14.2 快速样本聚类过程(Quick Cluster)中的选项w使用快速聚类的选择项： w类中心数据的输入与输出：Centers选 项 w输出数据选择项：Save选项 w聚类方法选择项：Method选项 w聚类何时停止选择项：Iterate选项 w输出统计量选择项：Option选项14.2 指定初始类中心的聚类方法例题P343w数据同上（data14-01a）：以四个四类成绩突出者的数据为初 始聚类中心(种子)进行聚类。类中心数据文件data14-01b（但 缺一列Cluster_，不能直接使用，要修改）。对运动员的分类（ 还是分为4类） wAnalyzeClassifyK-Means ClusternVariables: x1,x2,x3nLabel Case By: nonNumber of Cluster: 4nCenter: Read initial from: data14-01bnSave: Cluster membership和Distance from Cluster Centern比较有用的结果（可将结果与前面没有初始类中心比较）： w聚类结果形成的最后四类中心点(Final Cluster Centers) w每类的观测量数目（Number of Cases in each Cluster ） w在数据文件中的两个新变量qc1_1（每个观测量最终被分 配到哪一类）和 qc1_2（观测量与所属类中心点的距离）14.3 分层聚类(Hierarchical Cluster)w分层聚类方法：n分解法:先视为一大类，再分成几类n凝聚法:先视每个为一类,再合并为几大类 w可用于观测量(样本)聚类(Q型)和变量聚类(R型) w一般分为两步（自动,可从Paste的语句知道,P359）：nProximities：先对数据进行的预处理(标准化和计算距离等 )nCluster：然后进行聚类分析 w两种统计图：树形图(Dendrogram)和冰柱图(Icicle) w各类型数据的标准化、距离和相似性计算P348-354n定距变量、分类变量、二值变量n标准化方法p353：Z Scores、Range -1 to 1、 Range 0 to 1 等14.3.4 用分层聚类法进行观测量聚类实例P358w对20种啤酒进行分类(data14-02)，变量包括：Beername(啤酒名 称)、calorie(热量)、sodium(钠含量)、alcohol(酒精含量)、 cost(价格) wAnalyzeClassify Hierarchical Cluster:nVariables: calorie,sodium,alcohol, cost 成分和价格nLabel Case By: BeernamenCluster：Case, Q聚类 nDisplay: 选中Statistics，单击Statistics wAgglomeration Schedule 凝聚状态表 wProximity matrix：距离矩阵 wCluster membership：Single solution：4 显示分为4类时，各观测 量所属的类nMethod: Cluster (Furthest Neighbor), Measure-Interval (Squared Euclidean distance), Transform Value (Range 0- 1/By variable (值-最小值)/极差)nPlots: (Dendrogram) Icicle(Specified range of cluster, Start-1,Stop-4, by-1), Orientation (Vertical纵向作图)nSave: Cluster Membership(Single solution 4)n比较有用的结果：根据需要进行分类，在数据文件中的分类新变量clu4_1 等14.3.5 用分层聚类法进行变量聚类w变量聚类，是一种降维的方法，用于在 变量众多时寻找有代表性的变量，以便 在用少量、有代表性的变量代替大变量 集时，损失信息很少。 w与进行观测量聚类雷同，不同点在于： w选择Variable而非CasewSave选项失效，不建立的新变量14.3.6 变量聚类实例1 P366w上面啤酒分类问题data14-02。 wAnalyzeClassify Hierarchical Cluster:nVariables: calorie,sodium,alcohol, cost 成分和价格nCluster：Variable, R聚类 nMethod： wCluster Method ：Furthest Neighbor wMeasure-Interval：Pearson Correlation wTransform Values：Z Score （By Variable）nPlots: Dendrogram 树型图nStatistics：Proximity matrix：相关矩阵n比较有用的结果：根据相关矩阵和树型图，可知calorie(热量)和alcohol( 酒精含量)的相关系数最大，首先聚为一类。从整体上看，聚为三类是比较 好的结果。至于热量和酒精含量选择哪个作为典型指标代替原来的两个变 量，可以根据专业知识或测度的难易程度决定。14.3.6 变量聚类实例2 P368w有10个测试项目，分别用变量X1-X10表示， 50名学生参加测试。想从10个变量中选择几 个典型指标。data14-03 wAnalyzeClassify Hierarchical Cluster:nVariables: X1-X10nCluster：Variable, R聚类 nMethod： wCluster Method ：Furthest Neighbor wMeasure-Interval：Pearson CorrelationnPlots: Dendrogram 树型图nStatistics：Proximity matrix相关矩阵n比较有用的结果：可以从树型图中看出聚类过程。具体聚为几类最为合理 ，根据专业知识来定。而每类中的典型指标的选择，可用p370的相关指 数公式的计算，然后比较类中各个变量间的相关指数，哪个大，就选哪个 变量作为此类的代表变量。14.4 判别分析P374w判别分析的概念：是根据观测到的若干变量值，判断 研究对象如何分类的方法。 w要先建立判别函数 Y=a1x1+a2x2+.anxn，其中:Y 为判别分数(判别值)，x1 x2.xn为反映研究对象特征 的变量，a1 a2.an为系数 wSPSS对于分为m类的研究对象，建立m个线性判别 函数。对于每个个体进行判别时，把观测量的各变量 值代入判别函数，得出判别分数，从而确定该个体属 于哪一类，或计算属于各类的概率，从而判别该个体 属于哪一类。还建立标准化和未标准化的典则判别函 数。 w具体见下面吴喜之教授有关判别分析的讲义补充：聚类分析与判别分析w以下的讲义是吴喜之教授有关聚类分析与判别分析的讲义，我觉得比书上讲得清楚。w先是聚类分析一章w再是判别分析一章聚类分析分类w俗语说，物以类聚、人以群分。 w但什么是分类的根据呢？ w比如，要想把中国的县分成若干类，就有 很多种分类法； w可以按照自然条件来分， w比如考虑降水、土地、日照、湿度等各方 面； w也可以考虑收入、教育水准、医疗条件、 基础设施等指标； w既可以用某一项来分类，也可以同时考虑 多项指标来分类。 聚类分析w对于一个数据，人们既可以对变量（指标） 进行分类(相当于对数据中的列分类)，也可 以对观测值（事件，样品）来分类（相当于 对数据中的行分类）。 w比如学生成绩数据就可以对学生按照理科或 文科成绩（或者综合考虑各科成绩）分类， w当然，并不一定事先假定有多少类，完全可 以按照数据本身的规律来分类。 w本章要介绍的分类的方法称为聚类分析（ cluster analysis）。对变量的聚类称为R型 聚类，而对观测值聚类称为Q型聚类。这两 种聚类在数学上是对称的，没有什么不同。 饮料数据（drink.sav ）w16种饮料的热量、咖啡因、钠及价格四种变 量 如何度量远近？w如果想要对100个学生进行分类，如果仅仅 知道他们的数学成绩，则只好按照数学成绩 来分类；这些成绩在直线上形成100个点。 这样就可以把接近的点放到一类。 w如果还知道他们的物理成绩，这样数学和物 理成绩就形成二维平面上的100个点，也可 以按照距离远近来分类。 w三维或者更高维的情况也是类似；只不过三 维以上的图形无法直观地画出来而已。在饮 料数据中，每种饮料都有四个变量值。这就 是四维空间点的问题了。 两个距离概念w按照远近程度来聚类需要明确两个概念：一个是点和 点之间的距离，一个是类和类之间的距离。 w点间距离有很多定义方式。最简单的是歐氏距离，还 有其他的距离。 w当然还有一些和距离相反但起同样作用的概念，比如 相似性等，两点越相似度越大，就相当于距离越短。 w由一个点组成的类是最基本的类；如果每一类都由一 个点组成，那么点间的距离就是类间距离。但是如果 某一类包含不止一个点，那么就要确定类间距离， w类间距离是基于点间距离定义的：比如两类之间最近 点之间的距离可以作为这两类之间的距离，也可以用 两类中