第八章 非营利组织的评估,评估的概念和类型 NPO的评估体系 NPO评估的方法,一、 评估的概念和类型,评估的概念 评估的类型,评估的概念,评估有广义与狭义之分 评估的特点,评估的特点,时限性 系统性、规范性和科学性 学习性,评估的类型,前评估、中期评估与后评估 自我评估与外部专家评估,按照时间顺序,前评估：项目、计划或政策开始实施之前所进行的评估 中期评估：在项目、计划或政策从开始后到完成前之间的任何一个时点进行的评估 后评估：在项目、计划或政策结束后，根据原目标和实际实施情况的比较而进行的全面、系统评估 前评估与后评估的区别:评估的目的不同;评估的依据不同;评估的主体不同,按照评估者的来源,自我评估：指项目、计划或政策的实施者进行的内部自我评估 专家评估：指项目、计划或政策的实施机构聘请科研单位或专门评估机构的外部专家进行的评估,自我评估的优缺点,优点： 评估者对项目、计划或政策的实施情况较为了解 自我评估的成本较低 评估的结果或建议容易在执行过程中得以实现 不足： 评估结果往往缺乏客观公正性 自我评估较为粗略,专家评估的优缺点,优点： 较为客观公正，评估结果易于被公众接受 可以增进评估的科学性与规范性 效率较高 不足： 成本较高 外部专家对具体情况不十分了解 评估的结果或建议不容易在执行过程中真正落实,二、 NPO的评估体系,评估的框架 评估的内容,评估的框架,NPO存在的先天不足 NPO的评估框架 第三方评估,NPO的先天不足,NPO的所得成员不得分红，因此在所有者缺位的情况下，一旦人们的志愿精神不足，则组织就会缺乏责任机制和发展的动力 NPO缺乏提高效率的竞争机制 NPO缺乏显示业绩的晴雨表 这些不足是NPO与生俱有的，因此，需要通过后天的制度安排来弥补，而这种途径之一就是建立NPO的评估机制。,NPO的评估框架,诚信评估（accountability） 即对是否违背了NPO的行为规范进行评估，目的在于促进NPO的责任与社会公信度的提高 使命与战略评估 目的在于明确NPO的发展方向和发展战略 绩效评估 目的在于促进NPO的效率与服务质量 组织能力评估 目的在于增强NPO达成使命的能力,图,胡曼丽,希望工程,明确发展 方向，促 进可持续 发展,促进NPO健康、全面发展,模块一 诚信评估,模块二 使命与战 略评估,NPO评估框架,模块三 绩效评估,模块四 组织能力 评估,提高责任 与社会 公信度,促进效率 的提高,提高完成 使命的 能力,评估的内容,诚信评估 使命与战略评估 项目绩效评估 组织能力评估,诚信评估的标准,有一个好的治理结构，是保证NPO诚信的根本 NPO的项目与活动必须与组织的目的一致 NPO的有关信息必须进行准确的披露，财务必须透明 用于项目的资金至少应占全年经费支出的60,使命与战略评估,需求评估 创新性评估 灵活性评估,项目绩效评估,衡量项目绩效的指标包括： 投入指标 产出指标 结果指标 效率指标 效果指标 服务质量指标,组织能力评估,共同的价值观 管理技能 组织结构 工作人员与志愿者,信息管理系统 领导的艺术 动员资源 公共关系,三、 NPO评估的方法,逻辑框架法 对比法 快速农村评估法 参与式评估法,逻辑框架法,逻辑框架法：根据事物的因果逻辑关系，用一张简单的框图(4X4矩阵)来清晰地分析一个复杂项目的内涵和关系 逻辑框架法的层次和逻辑关系 逻辑框架法把目标和因果关系划分为四个层次，四个层次之间又形成了自下而上的垂直逻辑关系和各层次内部的水平逻辑关系,图表,逻辑框架法的模式,项目结构 指标 检验的方法 假设 宏观目标 目标指标 统计调查 实现目标的条件 微观目的 目的指标 统计调查 实现目的的条件 产出 产出指标 监测报表、调查 实现产出的条件 投入 投入指标 监测报表、调查 落实投入的条件,四个层次,投入(input)：项目的实施过程中所投入的经费、人力、时间和设备等资源 产出(output)：项目投入的直接产出物 目的(purpose)：为什么要实施这个项目，即项目的直接效果 目标(goal)：项目实施后在最高层次的结果。宏观目标一般是指国家、地区、部门的整体性目标,垂直逻辑关系 逻辑框架法的四个层次之间形成了一种自下而上的逻辑关系：,宏观目标,微观目的,产出,投入,水平逻辑关系,验证指标：包括数量与质量指标 验证方法：主要指数据的来源和检验方法 假定条件：主要指可能对项目的进展或成果产生影响，而项目管理者又无法控制的外部条件，即风险(自然环境的变化、政府政策的变化、管理部门体制造成的问题),对比法,前后对比法 有无对比法 综合对比法,前后对比法,前后对比法是将项目实施前的情况与项目完成后的情况进行对比，以评估项目效果的方法 公式： P = I2 - I1 式中，P为项目效果；I2为项目完成后的情况(即项目组后测值)；I1为项目实施前的情况(即项目组前测值),幸福工程,B地1996年开始实施“幸福工程”，在实施“幸福工程”之前贫困率为50(前测值)。实施“幸福工程”2年后(1998年)，贫困率降为30(后测值)，因此，根据前后对比法，可以得出评估结论，“幸福工程”的实施使得B地2年间贫困率减少了20(后测值减去前测值)。 P = 30% - 50% = -20% 然而，该地贫困率下降可能还与当地外出打工人口增加、交通设施改善等因素有关，因此，1996-1998年B地贫困率减少20并不一定完全是“幸福工程”的结果。,前后对比法,有无对比法,有无对比法是选定一个与项目组近似的但没有实施项目的对照组(即控制组)，通过项目组实施项目的结果与没有实施项目的控制组结果进行对比，以评估项目效果的方法 公式： P = I2 - C2 式中，P为项目效果；I2为项目完成后的情况(项目组后测值)；C2为控制组同期的情况(控制组后测值),幸福工程,有无对比法,以B地“幸福工程”为例。如果B地项目外的影响因素较多，那么要评估B地“幸福工程”的实际效果，采用前后对比法可能会有较大误差，因此需要进行有无对比。首先选择一个控制组，即其他条件与B地相近，但没有实施“幸福工程”的C地。假定B地在项目实施后，1998年贫困率为30，而控制组虽然没有实施“幸福工程”，但由于整个国家社会经济的发展，1998年的贫困率为45，那么，可以认为，B地实施“幸福工程”的实际效果是使贫困率减少了15 P = 30% - 45% = -15%,综合对比法,综合对比法是通过比较项目组前后测值之差与控制组前后测值之差以评估项目效果的方法 公式： P = (I2 - I1) - (C2 - C1) 式中，P为项目效果；I2为项目组后测值；I1为项目组前测值；C2为控制组后测值；C1为控制组前测值,幸福工程,综合对比法,以“幸福工程”为例。如果试验组B地和没有实施“幸福工程”的控制组C地起始条件并不相同。B地1996年的贫困率为50，而C地1996年的贫困率为55，因此，根据综合对比法的计算，可得出结论：B地实施“幸福工程”的真正效果是2年来使B地贫困率下降了10。 P = (I2 - I1) - (C2 - C1) P = (30- 50) - (45 - 55) P = -10,快速农村评估法,采用多学科小组 三角信息 避免主观偏见 直接面向受益群体,参与式评估法,参与式评估的概念与特征 参与式评估法与快速农村评估法的比较 参与式评估的原则,阅读资料,参与式评估的概念与特征,参与式评估是指项目管理人员和受益者共同组成评估小组，通过对项目管理的系统评估，调整、重新制定项目的目标或方案，重新进行组织机构安排或调配资源的一种方式 参与式评估的特点不是由上级和专家得出评估结论，而是鼓励受益者参与评估的全过程，调动受益者的积极性,参与式评估法与快速农村评估法的比较,快速农村评估法 参与式评估法 主要目的 外来者进行评估学习 一起评估学习以增强 以增强组织能力 组织和当地人的能力 外来者角色 获取资料者 评估活动的协助者 当地人角色 提供资料者 评估者 评估时间 通常很快 需要建立相互信任的关系， 可能时间较长 可能的结果 外来者决策而当地人 当地人与相关利益群体共同参与 后来参与 最终结果 评估报告 当地可持续发展,参与式评估的原则,灵活的学习过程 信息共享的过程 寻求多样化、尊重差异的评估 协助的过程 具有较强的实用性,课程结束 感谢合作,大荔县“幸福工程”绩效评估 “幸福工程”是1995年2月由中国人口福利基金会、中国计划生育协会和中国人口报共同发起实施的救助贫困母亲的社会公益事业。至1999年，项目实施已4年有余，少数项目也已到期，因此有必要对项目实施的绩效进行评估，从而为后续项目和新项目的决策提供可靠的依据。 陕西省大荔县是“幸福工程”第一批项目点之一，也是“幸福工程”第一个到期的项目点。本项目以鲁安乡贫困母亲为救助对象，项目的直接目的在于通过幸福工程的实施，帮助鲁安乡的贫困母亲脱贫致富。项目的宏观目标在于促进贫困地区人口与社会、经济协调发展。,一、效果评价 鲁安乡接受救助的贫困母亲共98位，其中1995年第一批接受救助的贫困母亲共48位，1996年第二批接受救助的贫困母亲共50位。根据有关资料，当时绝大多数被救助的贫困母亲都住在低矮、阴暗、潮湿的茅草棚中，一些贫困母亲甚至过着衣不蔽体、食不果腹的生活。 经过幸福工程几年的扶贫，目前，这些被救助贫困母亲的生活已发生了显著的变化。调查表明，被救助的贫困母亲在接受救助前一年的平均家庭人均年纯收入约422.54元。1998年被救助的贫困母亲平均家庭人均年纯收入约709.07元。已达到脱贫的标准。与被救助前一年相比，1998年贫困母亲平均家庭人均年纯收入增加了286.53元。而且，少数人家已有了彩电、洗衣机等家庭耐用消费品。更为突出的是，目前被救助的贫困母亲已全部搬入了村里的砖瓦房，居住条件得到了彻底的改善。可以说，鲁安乡被救助的贫困母亲已基本解决了温饱问题，脱贫的目标已基本实现。,二、效率评价 从前期进度看，项目实施的效率还是较高的。鲁安乡1995年4月25日正式提出幸福工程项目申请，到第一批48位贫困母亲拿到资助款前后不到2个月。 从后期进度看，项目实施的效率较低。1995年10月第二批拨款到位，而鲁安乡第二批贫困母亲直到1996年2月、3月才陆续拿到资助款。而且，根据当时的协议，国家幸福工程组委会拨给鲁安乡的贷款资金在当地滚动期为3年，滚动期满大荔县幸福工程项目办公室应将资金按期返回甲方。事实上，大荔县幸福工程项目办公室并没有严格执行协议，项目管理人员没有按期收回款项及时返还国家幸福工程组委会，致使资金未能有效发挥滚动效应，资金使用率极低。,从鲁安乡幸福工程实施的成本效益看,鲁安乡当时确定幸福工程贷款统一用来发展养殖秦川肉牛。调查表明,当时贫困母亲有的购买的是牛犊,有的购买的是母牛,由于母牛的价钱较高,因此大多数贫困母亲除幸福工程贷款外,还加了一些钱买牛,平均买牛的成本为1992.74元,平均收益为1569.86元。即每元的成本收益为0.788元。另外,除经济成本外,贫困母亲养牛还花费了大量的时间成本,养牛期间平均每天大约花费3.9个小时。也就是说鲁安乡幸福工程养牛项目实际上是严重亏损的。,三、社会影响评价 1.技术培训。中国人口福利基金会与大荔县计生协的项目协议中规定在整个项目20万资金中必须有2万元用于贫困母亲的治愚工作。调查结果表明，被救助的贫困母亲有61.6经常参加乡、村组织的技术培训活动,30.1的贫困母亲表示较少参加,只有8.2的贫困母亲从未参加技术培训。 2.妇女地位。幸福工程是以贫困母亲为救助对象的社会公益事业,它特别强调发挥妇女在生产、生活中的重要作用,强调提高