“试卷评价系统的构建与应用”成果申报总结一、开发背景考试是人类社会的特有现象，是测度、甄别人的德、学、才、识、个体差异的一种社会活动，它产生于社会生产和社会生活的客观需要，并随着社会发展需求的变化而不断变化其内容、性质和模式，形成与之相适应的结构，发挥不同社会或时代所期求的功能。考试和教育是一对孪生子，是教学过程中的一个重要环节，是衡量教学效果的重要手段。提高教学质量考试是一个完整的教学过程中不可缺少的组成部分，是对教和学的质量的检验。考试对教学有巨大的指挥作用。对于考试的结果，有必要进行认真地研究和分析。在试卷分析工作中，要运用考试理论和教学理论，对考试结果进行研究，促进我们对教学过程的反思，进而找到下一步工作的方向和改进的措施。考试结果可以反馈出大量的信息，可以反映出整个教学过程的得失。完备的考试总结对于改进教学、优化教学效果起着至关重要的作用，详细的试卷分析在考试总结中的作用更是举足轻重，对于提高命题水平和考试质量尤为关键。考试结果的分析，以使广大教师及教学管理人员在量化分析的基础上作好考试总结，从中发现问题、反映出各个教学环节的一些情况，反映出学生的基础和能力的状况、反映出学生的学习特点和规律。寻找并提出解决办法，充分发挥考试的反馈作用，优化教学效果，我们在命题的时候，有多方面的设计。考试结果可以反映命题和考试本身的一些情况，也就是测量工具、测量方法和测量过程的情况。分析这些信息，能引起我们很多思考，可以形成一些认识，提出一些观点和建议。可以供领导决策时参考，做为制定工作策略的依据，对学校老师和学生提供指导。可见，试卷分析是一件很重要的工作。在利用考试分数或考试结果进行教育管理时，决不能将分数绝对化，不能仅凭考试分数的高低来评估教育质量及学生的学习情况。应对考试的结果给予科学的解释，解释分数不仅要有整体观念，即将个别学生的成绩与全体学生的成绩相比较，以分高下；还要有系统的观念，即要考虑到学生原有的基础水平，判断该学生有无进步与提高。目前考试结果的分析还没广泛的推广开来，其主要的原因就是考试结果的分析太过于专业，指标繁多，计算量巨大，操作性不强等，这些原因严重的阻碍了考试结果分析得实行，严重影响着考试对教学的指导和反馈作用。本课题的主要研究内容就是将试卷分析的理论，计算方法固化在试卷分析的软件内，将复杂、专业的试题分析简易化、大众化，开发操作性、通用性极强，理论科学严谨，流程科学合理，分析准确规范的专业试卷评价软件，同时借助试卷分析系统，加强命题全过程管理，规范命题步骤，提高命题质量，从而指导教学。课题组成员高松时任教务科科长，熟悉考试的具体运作流程和内在规律，同时具有计算机特长，曾经自主设计开发了沈阳医学院教学进程表、沈阳医学院电子成绩单等教学软件，并广泛推广使用。课题组成员杨孟坤曾任教务处长多年，具有丰富的教学管理经验和深厚的教育教学理论基础。课题组成员王任群、张静为一线教学教师，具有丰富的教学经验和专业理论基础。课题组成员王晓婷为考试教学管理人员，负责安排学院考试的命题，组织、实施的全过程管理。学院为学院教学部门给与大力的政策支持，把试卷分析作为“规定动作”，要求各教研室在报送成绩时必须连同试卷分析一同报送，并作为教学检查的评估项目进行管理与要求。组织广大授课教师和教学管理人员进行培训。以上条件为本课题的研究、开发、推广提供了完备的研究基础。本课题共分为六个阶段，历时2年，逐步完善，于2005年5月份最后定稿。二、研究内容及研究成果本软件为回顾性试题试卷评价系统，以便于指导教师的命题。本系统采用电子表格制作，以命题工作流程为主线.分为命题大纲分析、题干分析、成绩分析三部分。工作流程如下：反馈教学考前形成命题分析（生成双向明细表）步骤1：录入教学大纲（章节及学时）形成试题分析、试卷分析以及成绩分析步骤2：录入题干及认知层次、分值 考后步骤3、组卷、考试及样本数据采集（一）命题计划编制：命题计划是指试题如何编制，试卷如何组成的计划。它是供命题教师使用的，是他们编制试题和试卷的依据，它可看作是一份工程蓝图，是编制试题时的指导和依据。如果命题计划制订得准确、合理，那么，只要命题者严格按照命题计划编制试题，就可以保证试题的质量。一份好的命题计划既保证试题是所要测量的教学内容的代表性样本，且能够反映出各个部分内容之间的相对重要性，以便试题取样适当，提高测量的效度；还规划代表不同的知识内容和学习水平的各类测试项目的比例分配，在保证试题效度的同时，保证试题的难度合理。那么在制定命题计划中要遵循以下原则1：明确测验的目的，使试题的内容和形式符合测验的目的和要求，能够测出所要测量的知识和能力。2：试题内容的取样要有代表性，即要对测量目标有充分的覆盖面，且各个部分内容的比例要适当。命题计划的设计要明确测试标准（试题分布范围、难易程度、考试重点）；、以教学大纲为依据，按大纲规定的范围拟题；按照知识内容依据考核标准规定试题数量和所占比例；确定考试方法及试题类型；确定编制试题和组配试卷的基本要求；编制双向明细表按双向明细表确定学习水平，列出知识内容，排列各部分占比例有了纵横的比例，就可以把实际得分点分配到中间每个格子中去。从而制成了既考基本知识又考查能力的双向细目表。有了双向细目表，编题时方向、任务明确；题目编成后复核有对照的依据；计分可以按表中的得分点和百分点来确定各题分数。布卢姆的教育目标分类理论，对科学地组织教学活动，编制试卷及评定成绩都是很有意义的。但是如何应用它还存在不少问题。如对教育目标的6个层次的不同水平如何界定；各层次之间存在着交叉重叠的关系，教师在教学、考试及评定成绩中不易划分，不易把握；对这个目标系统的各级认识能力是怎样形成的，应当如何指导学生心智能力的发展等均未作系统的说明，有待于我们结合实际工作开展研究。双向明细表示例如下图命题教师可以根据数据，调整各章节的命题量和各层次所占比例。上图，有2色曲线，一条为各章节按照学时比例赋值，另一条为各章节实际赋值。*关于双向明细表双向细目表是描述试题按学科内容和能力分布情况的一种图表。美国教育家布卢姆曾将认知活动的教育目标从低级到高级，划分为六类：命题计划一般通过双向明细表体现,双向明细表是一种编题设计。根据考试大纲的要求，将欲测试的内容和目标制定出一份明细表。双向明细表的编制步骤：Y X 1、按照教育目标分类学将学习的认知活动分为六个不同级子层次 最高层次评价综 合分 析应 用理 解 记 忆 最低层次图1教育目标（认知能力）层次分布示意图图中各层次（认知能力）的基本含义是：第一，知识。也叫记忆或认知。是指记忆、再认和辩识事物的能力。如认识具体事实，知道有关定理、原则、术语、概念、方法等。第二：理解。系指掌握所学材料之内容、概念、意义、含义的能力。它包括转译、解释、归纳、推想等方面的内容。第三：应用。是指将所学知识用于某种实际能力。如利用已知原理、方法、定律等解答试题，或将知识要素性质的技能用于某种实技等。第四：分析。是指将所学材料的内容分解为不同的组成部分或要素，以了解它们的内在结构及其功能的能力。分析包括:三类要素分析因素分析、相关分析、原理分析。第五：综合。指的是将各部分进行组合排列，并形成某种新的模式、结构或整体的能力。如综合运用所学知识及，根据要求综合解答问题，通过综合运用所学知识结合给定的材料写出结构新颖的文章等。第六：评价。评价能力（评鉴能力或判断能力），系指按照某种既定标准或根据一定的目的判断事物、结论、法则、观点、判定理论正误，层次结构、逻辑一致性等。评价能力是认知能力的最高目标层次。2、确定每个层次所占比例按上述顺序认识和评价所占比例两侧小中间大呈正态分布。3、纵向设计根据教学大纲的要求，参照各部分（章节）的重要性和所占时数情况确定各部分比例，将各部分比例填入表中最后一格4、横向设计掌握各种知识在不同学习水平中的具体要求，决定相应比例。在具体分配时，可根据学生水平高低，决定层次高低的比例。（二）、题干分析题干分析，是衡量命题质量的基础，试卷的整体难度的控制就由每道小题的难易度控制。样本录入后，在“成绩分析”可以看到，绿色区域已经生成了参数统计，包括平均分、难度、区分度以及综合评价等几项内容，见下图难度和区分度的综合评定 试题的难易度和区分度之间是相互关联的。在一定范围内，P值大则D值小，但P值若小的过度，D值反会下降。为此，在评价试题质量时，常把P值与D值一并考虑：P0.5, D0.19, 表示试题难度适中，区分度良好，属好题。P0.19, 表示试题虽然偏难，但仍有较好的区分度，属适用题。P0.5, D0.19, 表示试题难度适中，但区分度差。这类试题内容如是学生必须掌握的，则试题尚可使用。P0.2，D 0.19, 表示试题既难又无区分度，属坏题，应弃而不用请注意当有劣题出现时，要避免下次命题时出现。例如上图第六小题满分为2分，平均分为1.91，难度为0.95（易），区分布为0.18（低），这样的题不能发挥区分学生学习情况的作用，如果作为选拔性考试，这样的题干的综合评定为”难度易区分度劣，应淘汰”。（三）：试卷分析试卷分析，是针对抽样学生成绩的整体态势进行多参数分析，主要包括，统计分析、描述分析、难易度分析和图表分析。1、统计分析统计分析从0-100分为5个段，分别统计每个段的数据频数和整体态势分布。一般分布如下：（1）优秀（90-100分）占8-15%（2）良好（80-89分）占20-30%（3）及格（60-79分）占40-50%（4）不及格（60分以下）占5-15%2、成绩分析*信度分析采用可靠系数法可靠系数 N：测试题目总数M：该题所有考生的总平均分数X：标准差平均数（） 75-85分标准差（S） 7-9全距（D） 35-40分三、效果及应用沈阳医学院从2005-2006学年下学年起就开始全面推广使用本试卷评价系统，要求所有考试课程必须要做试卷分析，并把试卷分析的相关材料作为该学科的教学存档材料进行上报和保存。教务处为此共组织3次大规模的培训，参加人员包括附属医院的临床教师在内的所有任课教师和教学管理人员共计200多人，培训的内容主要包括试卷评价的目的意义，试卷分析中“难度（p）”、“区分度(d)”、“信度()”、“p/d值”等相关指标的含义和试卷评价指标的判读以及试卷评价系统的操作使用方法。到本学期已经进行5学期，分析试卷810余套，涵盖医学基础、临床医学、社会科学等多个学科，应用效果良好。期间历经07年国家教育部对我院进行的普通本科教学水平评估，成人本科评估和麻醉学等试办专业评估，我院的试卷分析给评估专家留下了深刻的印象，专家对我院的试卷命题的管理工作给与了充分的肯定，尤其给试卷分析系统给予高度赞扬。通过本课题，实现预计目标：1、促使教师进一步改进教学方法，提高教学能力教师在教学过程中，通过对考试结果的分析，了解学生对教材、教法的使用情况，以便调整教学内容和教学方法，改进教与学的关系，以适应学生的特点，满足学生的需求教师通过考试成绩的分析，了解到哪些知识学生容易掌握，哪些难以理解，这样可以为下一轮教学调整提供可靠的事实依据。教师对学生答题时普遍存在的问题进行分析，可以找出在教学方面、学生方面和教学管理方面的产生这