第七章 科学的评价：同行评议有人说，美国美国宪法就是最高法院大法官们的简 单多数所认为应该的样子。同样，人们假定科学就是科 学家认为的样子。同行评议就是对“什么构成了科学？” 和“什么构成了对科学的定性评价？”这两个问题的主观 而有依据的回答的正式反映。第一节 同行评议制度第二节 越轨行为的控制第三节 成果质量引证分析第一节 同行评议制度n一、什么是同行评议？n 同行评议是指由给定科学领域的若干专家组成的 评议委员会来评估科学活动或其成果（项目、科学 出版物）的过程。n 对于这个专家组，可将其视为整体向之咨询；也 可以向其中的个别人咨询，个别咨询时评估者之间 没有必要进行接触。n 同行评议用于评价学者及其学术成就的最早的 一种测度体系。古希腊哲学家和宗教陪审团的工作 就是一种最早的同行评议，从那时起，学术成就就 是由从事同一领域研究的人们进行评价的。随着大 学和科学研究逐渐正式化后，同行评议已经发展成 为一种更加完善的结构化的评价方法。二、同行评议的宗旨和目的n1、宗旨： 同行评议的宗旨是确保科学研究的质量。n其主要的任务是：（1）研究工作是按照科学的方法进行的；n（2）研究是有效的和可以推广的。 n 同行评议用于评估计划和完成了的科学活动：n项目、计划和成果（论文和报告等）。n因此，同行评议成为从集体层面（组织到国家）对科 技资源分配提供质量控制、对研究活动和执行者进行 评估的一种有效的方法。n通过如下问题来描述同行评议:(1)我们进行同行评议 的目的是什么?(2)同行评议应该具有什么一般的特征 ?(3)成功的评议的特征是什么?2、同行评议的目的和目标n 同行评议被设计成为唯一且自成体系的评估过程 。通过同行成员的判断和观点，同行评议过程宗旨 在保持“在家中进行”。原则上，意味着科学只能由 科学来评估，专家具有最高权利，他们自觉管束自 己并相互进行评估。n 其内在根据如下：（1）科学发展复杂情况，只有 非常熟悉这个领域的科学家才能有效地进行可信赖 地评价科学活动和科学成果。（2）被召集进行评价 的科学家对自己的同行进行评估时，专家是高度专 业化知识和水平，提供客观意见。（3）专家拥有一 些有效的工具去检验科学研究的有效性，并宣布对 有关的研究的任何假定、方法和结论的判断。2、同行评议的目的和目标n（1）确定科学研究工作的质量水平n（2）强调研究活动和负责人应负的责任n（3）提出科学资源的标准和测度体系n（4）科研绩效评估的标准和测度体系n（5）科技政策制定和评估标准与测度体系n（6）对科研项目和计划性和可靠性提供判断n（7）对科研执行者进行有效评估的标准和测度体系n 评议过程应该是理性的、及时的、费用合理的， 并被参与者清楚地理解。实际上，这个过程是客观、 公正和公开的过程。因此提倡匿名的 ，这就消除了 对评议者和被评议者的可能带来的伤害。三、同行评议特征n（一）成功的同行评议具有如下令人满意的属性：n1、这个过程是正式的，所有步骤都是清楚定义的， 并为所有参与者所熟知；n2、这个过程是理性的。标准是预先制定并被所有参 与者接受的；n3、这个过程是高度公正性，并内植于标准和各个阶 段的；n4、这个过程是及时的（时间过长对研究者或团体的 作用减少）；n5、这个过程是成本效益的；n6、这个过程应该对被评议的个人和组织提供及时、 完整的、准确的反馈的n7、应坚持匿名原则。n（二）同行评议的过程的基本特征如下：1、需要获得高层管理者的支持；2、在进行评议和得出结论时应该是独立的 ；3、选出的评议者应该是可以信任的；4、评议者应该客观和不带偏见的5、应容许与其他科学评价体系进行比较；6、评议者应具有专业属性，并对一些特殊主 题进行深入评价，并对其结果和潜在的价值进行 分析；7、在方法论上是站住脚的和可信的，能够与其 他评价工作一起应用。三、过程：评估潜在的绩效n 同行评议是未来的预报器评估申请研究项目的 前景和潜在的贡献，也用语对研究成果的鉴定等。n评议者被要求回答问题是：某一特定的项目的未来 前景会怎样，与其他项目比较怎么就算成功等。同 行评议通常是资助机构和工业公司在分配研究资源 时选择的测度体系。n 这种评价体系是一种流行的体系，但是，几乎没 有经验证据表明该测度体系是高度可靠的。科尔兄 弟对美国科学基金会开展的同行评议进行的开创性 的研究表明，评估时大约一半是看申请项目的性质 以及课题负责人的声誉，另外一半则是取决于其他 因素（或许是随意的）。三、过程：评估潜在的绩效n评议结果出现情况:n 首先、当评议结果出现极端现象时，大都表现出 一致意见，例如认为某项研究极差或极有前途，是很 容易达成共识。n 其次，中间层次的情况似乎不易有一致意见。n 总之，在项目申请中，同行评议的主要功能是使 那些最具有潜力的项目获得资助。n在事后评估中，有助于判断研究项目完成的情况，以 及它的科学贡献。n 在这两种评估中采取了不同的标准，并且在评估 中也表现了不同的认知过程。四、同行评议的标准n 在任何正式的过程中，当同行被要求进行科学 研究的评议时，都要给他们提供一套预先制定的 标准。除了了“自由”表达他们的意见外，他们还要 遵循这些标准。其目的是为了实现某种形式的标 准化，这样有利于比较和跨学科的分析，或者是 使他们更有组织的方式表达自己的观点。n 无论这些标准多么详细和明确，在制定这些标 准时需要小心从事，以避免给评议者施加不必要 的压力。因此，根据标准形成的评议部分，包括 评议者不受外界影响的想法和观点的“自由文字”部 分，是用他们自己的表达方式进行说明的。1、申请书和出版物的不同标准n 对科研项目申请书的同行评议主要是对这 些研究者实现其科研承诺目标的潜力的一个评 估，是对未来可能性的预言。n 对出版物的评估显然是对已经完成的科研 成果进行评估（或是正在进行中的研究活动进 行评估）。因此，它们标准是不同的：一种是 前瞻性，一种是回顾性的；但是标准是为了评 估工作的质量和贡献，以及他们在前沿科学领 域的相对的科学地位等。2、公共部门应用的标准n 在美国科学体系中，国家科学基金会和国立卫 生研究院是资助民用研究与开发的重要机构。他们 对同行评议的应用以及用于评估项目申请书潜力的 标准已经成为其他机构进行资助的基准。n 而且，为了更加增加基金会资助项目的研究的相 关性和公平性，这些标准也不断进行变化。而每一 种变化都反映了科学共同体的对这些标准的争论， 例如某些标准显示了某些科研群体的代表性不足。n 很多评估采取了双轨制度进行，即首先接受一个 外部学术群体的同行评议，然后再进行顾问委员会 （其成员包括科学技术界的和非科学技术界的）进 行综合的评估。2、公共部门应用的标准n美国国家科学基金会的评估标准n19811997n（1）研究绩效能力；n（2）申请者研究项目的 内在价值；n（3）申请研究项目的效用或实用性；n（4）申请研究项目对科学和工程的基础设施的影响。n等级：“次”到“优秀”n1997年10月1日起n申请者的研究项目的知识价值n（1）对于在本领域和交叉领域推进知识的重要性；n（2）申请人的资格；n（3）申请的工作的创造性和原创性；n（4）使用丰富资源的机会。n申请者项目的广泛影响n（1）在促进发现的同时有推动教育、培训和学习之 功能；n（2）扩大未被充分代表的群体的参与；n（3）加强研究和教育的基础设施（设备、网络和伙 伴关系等发展）n（4）科研成果的广泛扩散。n国家卫生研究所的同行评议标准，包括如下几 个方面：n意义n（1）问题的重要性；n（2）科学知识的推进；n（3）对推动领域发展之效的观念和方法的影响。2、公共部门应用的标准n方法n概念框架、设计、方法论和分析是否适当？是否结 合为一体？n考虑潜在的问题和被选方案？n创新n（1）目标是原创或创新的吗？n（2）概念、步骤和方法是新颖的和创新的吗？申请 的研究是否对现有的范式构成挑战？n课题负责人n（1）负责人和其他成员的品质、技能和经验n环境n 科学环境是否支持性的，是否获得单位的支持。2、公共部门应用的标准n美国国立卫生研究所的评估采取了双轨制度进行， 即首先接受一个外部学术群体的同行评议，然后再 进行顾问委员会（其成员包括科学技术界的和非科 学技术界的）进行综合的评估。n这种标准除了科学评估外，还要看管理水平、对社 会经济的影响和对研究所战略目标的一致性等。n这种同行评议方法特点：公众参与和研究所的影响 力过大，以至遭到了科学家的反对，认为这种做法 损坏了纯科学性的判断。另外，反对这种做法太局 限。新兴工业化国家采取了这种方法。美国先进已 经计划暑也采取了这种评估方法。3、产业界的标准n 产业公司采用多种多样的手段和测度体系来评估 其潜在研发项目，并评估已经资助和已经完成的项 目的产出及影响。这个系统主要是依靠同行评议测 度体系。n美国公司的同行评议过程，是使用由科研机构人员 和公司经理、主管组成的混合评估组。主要评估申 请科研项目：科学技术的可能性和潜力；以及商业 成功的可能性和潜力。n其评估项目标准包括三类：申请工作潜在的成功率 ；经济回报率和利润标准：申请项目与公司的战略 、生产线和市场潜力等来判断这些项目。n通过打分进行评估。具体标准内容如下：n（1）在可以预知的时间里，潜在的收益和盈利；n（2）在项目时间费用估算范围内，技术成功的 可能性；n（3）在一个给定时间里，商业成功的可能性；n（4）与公司战略计划的关联；n（5）与公司生产线和业务的关联；n（6）可利用的资源的数量和充足程度；n（7）项目团队的先前经验，他们是否作过类似的 研究n（8）高级管理层对这个研究的支持水平；n（9）与公司总的研究结构的关系n（10）与市场营销的确定需求或公司的相关者（客 户、规制者或卖者）的关系4、科技期刊的同行评议n 是一种无处不在的评议方式科技期刊编辑 部利用同行评议做出接受和拒绝科技论文的决定。n通常包括三类：n一是临时性评议者；二是构成了杂志编委会并不断 地应编辑的要求评议稿件的永久性的评议者；三是 将两种类型进行结合。n这种评议的基础是科技人员相信只有依靠严格的质 量控制方法，科学才可以发展或进步，并由科学共 同体中拥有同等地位的其他科学家进行实施这种控 制。因此，才有了同行评议的概念和制度等。n评议过程n优缺点四、同行评议的优点n优点包括如下几个方面：n1、由科学技术和专业中称职专家提供判断意见；n2、能防止接受较差的科研项目等，提供质量控制；n3、可接受和受尊重的同行提纲详细的意见、评论和 建议；n4、有助于不同观点和思想流派之间的制衡；n5、同行评议过程被所有参与者了解；n6、提供科学责任；n7、依靠科技界的智力资源；n8、过程是理性的、有效的和公正的；n9、尽管定性的，同行评议仍提供了充分的数据以制 定科技资源分配的决策时参考。五、同行评议的缺点n1、调查时受时间、回答率低和保守观点占上风等因素的制约 ；n2、评议者可能表现了对起作者的偏见、嫉妒、报复和不宽容 等n3、评议者可能对自己领域的论文开绿灯来保护自己的势力范 围或专业；n4、评议有时是粗略的，无法保证“好”科学获胜，而坏的科 学被拒绝；n5、评议者往往坚持他们学科中有的范式而拒绝改变；n6、编辑们利用非凡的权利，引导科学发展方向等；n7、对学术地位已经奠定的科学家比较客气；n8、照顾英文论文的偏见等；n9、高水平、专业的评议者越来越难找。第二节 越轨行为的控制一、概念违反科学共同体或社会的科学规范的行为，就是 科学活动中的越轨。科学活动的越轨行为有着特定的定义，并具有 广泛性的内容科学共同体公认的一些规范。而 一般的社会意义的越轨，则具有历史性和文化性或 地域性等特点。二、越轨行为的控制内部控制外部控制第三节 科学引文索引n 科学引文索引（简称SCI）是由美国费城科学情 报所从1