资源预览内容
第1页 / 共65页
第2页 / 共65页
第3页 / 共65页
第4页 / 共65页
第5页 / 共65页
第6页 / 共65页
第7页 / 共65页
第8页 / 共65页
第9页 / 共65页
第10页 / 共65页
亲,该文档总共65页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述
常用综合评价方法Synthetical Evaluation,第二十三章,Content,Concept Process Selection and weight estimation of evaluation index Analytic hierarchy process,AHP Topsis Rank sum ratio,RSR,例如,某人英语考试成绩58分,是否对照某标准判断此结果,是,否,评 价(evaluation),仅是描述,反映现状,1. 基本概念,Synthetical evaluation综合评价Definition:利用多项指标对某个评价对象的某种属性进行定性、定量评估,或者对多个评价对象的属性进行定性、定量评估,可对优劣顺序排序。Application:对比, 择优Purpose: 支持决策(基础、预防、临床、管理中广泛应用),2.1 综合评价的一般步骤,对某事件进行多因素综合评价的过程,实质上就是科学研究与决策的过程,原则上应包括设计、收集资料和分析资料几个基本阶段,实施中应着重注意以下几个基本环节。,选择恰当的评价指标(evaluation indicator),确定各评价指标权重,合理确定各单个指标的评价等级(evaluation grade)及其界限,建立综合评价模型(synthetical evaluation model),确定多指标综合评价的等级数量界限,并根据实践对已建立模 型考察、修改及完善。,研究目的,2.1例:学生综合测评(综合评分),评价指标:德育总分、智育总分、体育 总分(加分:CET)权重: 方案1:德育0.3 智育0.6 体育0.1 方案2:德育0.1 智育0.8 体育0.1 方案3:德育0.3 智育0.6 体育0.1 加分评价模型:评分法、总分为100,加分不封顶,累加法。 评价结果: 学生甲:德育90 智育70 体育80 学生乙:德育70 智育80 体育70,2.2 综合评价一般步骤示例,研制新生儿缺氧状况的Apgar评分方法,研究目的,据专业知识,选择5个指标 心率 呼吸肌张力 反射 皮肤颜色,5个指标具有相等权重,选择指标,确定权重,以累加法累计总分:810分为正常;47分为轻度缺氧;03分为重度缺氧。,确定指标评价等级及界限,建立模型,3.1 评价指标的基本要求,基本要求, 代表性:各层次指标能最好地表达所代表的层次。, 确定性:指指标值确定,其高低在评价中有确切含义。, 区别能力/ 灵敏性:即指标值有一定的波动范围,而且其高低在评价中有确切的含义。, 独立性:即选入的指标各有所用,相互不能替代。,选择综合评价指标,3.2 系统分析法及文献资料分析优选法筛选指标,缺乏有关历史资料,或指标难以数量化时,系统分析法(systematic analysis method):是一种常用的凭经验挑选指标的方法,首先将所有备选指标按系统(或属性、类别)划分,再通过座谈或填调查表的方法获得对各指标的专家评分,确定主次,再从各系统内挑选主要的指标作为评价指标。,文献资料分析优选法:即全面查阅有关评价指标设置的文献资料,分析各指标的优缺点并加以取舍。,3.3 常用客观筛选指标方法,逐个指标进行假设检验的方法:是在掌握有关历史资料基础上,依照可能的评价结果将评价对象分组,并对各指标进行假设检验,挑选有统计意义的指标作为评价指标。多元回归与逐步回归法:多元回归分析挑选标准化偏回归系数绝对值较大或偏回归系数假设检验有显著性的指标作为评价指标;逐步回归有自动挑选主要影响指标的功能,是目前最常用的指标挑选方法。指标聚类法:在存在众多指标的情况下,可将相似指标聚成类,再从每类中找一个典型指标作为代表,从而用少量几个典型指标作为评价指标来代表原来众多的指标建立评价模型。,3.4 指标筛选建议,在实际工作中,往往综合使用多种方法进行指标筛选,在获得较为满意的专业解释的基础上,优先考虑那些被多种方法同时选入的指标。,3.5 评价指标的权重估计,确定指标权重方法,主观定权法,客观定权法,专家评分法,成对比较法,Saaty权重法,秩和比法,相关系数法,其它方法,模糊定权法,熵权法,定权带有一定的主观性,用不同方法确定的权重分配,可能不尽一致,这将导致权重分配的不确定性,最终可能导致评价结果的不确定性。因而在实际工作中,不论用哪种方法确定权重分配,都应当依赖于较为合理的专业解释。,3.6 专家评分法评分方式,1)专家个人判断 即分别征求专家个人意见,在专家各自单独给评价指标的相对重要性打分的基础上,进行统计处理,以确定各指标的权重。 优点:专家打分时不受外界影响,没有心理压力,可以最大限度地发挥个人创造能力。 缺点:仅凭个人判断,易受专家知识深度与广度的影响,难免带有片面性。 2)专家会议 即召开所有被挑选专家,以集体讨论的方式进行评分,然后再以统计手段确定各指标的权重。 优点:可以交换意见,相互启发,弥补个人之不足。 缺点:主要表现在易受心理因素的影响,如屈从于权威和大多数人的意见,受劝说性意见的影响,不愿公开修正已发表的意见等等。,6个专家对4个评价指标的评价结果得分,不考虑专家权威程度:权重分别是0.41,0.31,0.18,0.10,3.7专家评分法可靠性评估常用指标,在实际工作中,常用专家的擅长系数和专家意见一致性系数等指标来估计专家评分方法所定权重分配的相对合理性。1)擅长系数:某一评估专家的水平可用对擅长领域中所提问题作出正确应答的概率 ,即所谓“擅长系数”。计算公式为: 其中,q为擅长系数, p为错答率。 理想的“绝对正确”评估专家,p=0,q=1。通常在选择评估专家时,其擅长系数q不应低于0.80。,6个专家对4个评价指标的评价结果的一致性系数计算表,2)专家意见一致性系数 :设参与权重评估的专家数为m,待评价指标数为n,则反映m个专家对全部n个指标权重评估的一致程度的指标称为一致性系数,以w表示,其计算公式为:,一致性系数在01之间取值,越接近于1,表示所有专家对全部评价指标评分的协调程度越好。当然,一致性系数越大越好,这说明各评价因子的权重估计较为稳定可靠。,当有相同秩时,要对w进行校正 :,式中,3.7 常用的客观定权方法,某些统计方法分析结果,可提供有关因素权重分配的客观信息:多元回归分析及逐步回归分析中,各自变量的标准化偏回归系数值以及由此而推算的贡献率;计数资料判别分析中的指数,计量资料判别分析中各因子的贡献率;主成分分析中得到的因子载荷和贡献率。某些特定的统计方法 例如去某死因后期望寿命的增量、减寿年数(Potential Years of Life Lost,PYLL)都可为各死因的相对重要性提供有关权重分配的信息献率。,3.8 组合权重及其计算方法,组合权重(combined weight) 当评价指标可分层时,即某项或某几项评价指标可再分为次级评价指标时,则次级评价指标的权重既应考虑其本身在所有次级评价指标中的权重分配,又要考虑其高层评价指标在所有评价指标中的权重分配。组合权重有两种求法:代数和法 乘积法,组合权重计算表,3.9 权重估计注意事项,权重估计仍不是很完美,权重估计结果应满足专业解释;尽量在专业领域中寻找专业评分方法;尽量排除试验者和受试者的主观性,尽量选用客观方法;采用多种方法进行权重,在获得较为满意的专业解释的基础上,优先考虑多个方法同时选入的指标。,几种常用综合评价方法,现有的统计方法: 主要为多元统计方法,如多元回归、逐步回归分析、判别分析、因子分析、时间序列分析等。模糊多元分析方法:由模糊数学发展而来,包括模糊聚类、模糊判别、模糊综合评价等方法。3简易方法:主要包括综合评分法、综合指数法、层次分析法、Topsis法、秩和比法等。 特点:简单实用;适用于各种资料;存在一定的局限性。,4.1 层次分析法概念,层次分析法(Analytic Hierarchy Process,简称AHP):由美国科学家T.L.Saaty于20世纪70年代提出,是用系统分析的方法,对评价对象依评价目的所确定的总评价目标进行连续性分解,得到各级(各层)评价目标,并以最下层指标作为衡量目标达到程度的评价指标。然后依据这些指标计算出一综合评分指数对评价对象的总评价目标进行评价,依其大小来确定评价对象的优劣等级。,4.2 层次分析法示例,例4:拟采用层次分析法建立一个评价综合医院工作质量的综合指标,并采用该指标对某市6所综合医院的工作质量进行综合评价。医院工作质量综合评价的基本步骤: 1)对总评价目标进行连续性分解以得到不同层次的评价目标,将各层评价目标用图有机地标示出来,即建立目标树图,见图1。,4.3 建立目标图,4.4 计算权重系数,2) 对目标树自上而下分层次一一对比打分,建立成对比较判断优选矩阵。各层评分标准见表3,表4为第一层子目标成对比较判断优选矩阵。,4.4 计算权重系数(续1),(2)按公式 计算初始权重系数 得(3)按公式 计算归一化权重系数 得 用同样方法可获得其他分层中各项目指标的权重系数,现以医疗工作一项为例说明,见表5。,4.4 计算权重系数(续2),(4)计算各个评价指标的组合权重系数,见图2。 膳食供应优良率的组合权重系数 C1=0.1047 护理制度优良执行率的组合权重系数C2=0.2583 治疗有效率的组合权重系数 C6=0.2292,4.4 计算权重系数(续3),图2 乘积法求各层次评价指标的组合权重,4.5 求综合评分指数,(5)对评价对象的总评价目标进行综合评估。综合评分指数GI的计算公式如下: 其中Pi为第i个评价指标的测量值,为评价指标的个数。 例4 某市有6所综合医院,试对其医院工作质量进行综合评价,医院的6项评价指标分别为病床使用率(P1) 95%,治疗有效率( P2) 88.1%,重症收容率(P3) 15.4%,医疗制度执行优良率(P4) 74.7%,护理制度执行优良率(P5) 54.7%,膳食供应优良率(P6) 41.3%,其综合评分指数为: 其他医院综合评分指数GI的计算结果见表6。,4.5 求综合评分指数(续1),由表6工作质量顺位可见,A医院工作质量最佳,D医院工作质量最差。,4.6 层次分析法评价,1、应用层次分析法时,注意在计算归一化权重系数后,应检验所计算得出的权重系数是否符合逻辑。通常用一致性指标检验该项目的相对优先顺序有无逻辑混乱,一般认为,当CI0.10时,可能无逻辑混乱,即计算得的各项权重可以接受。 按下述公式可计算 一致性指标 :,其中m为受检验层次的子目标数, 为最大特征根, 为该层子目标成对比较判断优选矩阵的特征根。,4.6 层次分析法评价(续1),2、为了度量不同阶判断矩阵是否具有满意的一致性,我们还需引入判断矩阵的平均随机一致性指标值。对于1,2阶判断矩阵,只是形式上的,因为1,2阶判断矩阵总具有完全一致性。当阶数大于2时,判断矩阵一致性指标与同阶平均随机一致性指标之比称为随机一致性比率,记为CR,其计算公式为:,
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号