量表的信度与效度计算分析量表的信度与效度计算分析2021/3/251授课：XXX一、信度（一、信度（reliability）定义）定义若重复进行测量，产生相同结果的准确程度若重复进行测量，产生相同结果的准确程度 测量的可靠性、稳定性和预测性测量的可靠性、稳定性和预测性 测量的精确度测量的精确度 反复测量结果的稳定性或一致性可能很高反复测量结果的稳定性或一致性可能很高 但却可能是不准确的但却可能是不准确的 用零点没有调整在中心的秤来测量重量用零点没有调整在中心的秤来测量重量 采用有明显导向性的问答题组成的量表测量态度采用有明显导向性的问答题组成的量表测量态度2021/3/252授课：XXX二、效度（二、效度（validity）定义）定义 所测量的是不是研究者所想要的所测量的是不是研究者所想要的 在多大程度上给出了他在多大程度上给出了他/她所想要的她所想要的例如，研究者希望测量电视广告的传播效果例如，研究者希望测量电视广告的传播效果目的：目的：了解广告能否引起目标消费群的购买欲望了解广告能否引起目标消费群的购买欲望 消费者的购物决策是否与观看的电视广告相关消费者的购物决策是否与观看的电视广告相关如果：如果：最终测得的不是广告对消费者购物决策的影响最终测得的不是广告对消费者购物决策的影响 而主要是消费者对广告艺术感染力的评价而主要是消费者对广告艺术感染力的评价结论：结论：所用量表是无效的或是效度很低的所用量表是无效的或是效度很低的2021/3/253授课：XXX 信度高时效度不一定高信度高时效度不一定高 但效度高时信度一定高但效度高时信度一定高2021/3/254授课：XXX从三个方面来分析测量的信度从三个方面来分析测量的信度 稳定性稳定性 (stability) 内在一致性内在一致性 (internal consistency) 等价性等价性 (equivalency)三、信度评价三、信度评价2021/3/255授课：XXX1、稳定性分析、稳定性分析 也叫做测验也叫做测验-再测验法再测验法目的：目的： 考察对于同样的问答题（或测试）考察对于同样的问答题（或测试） 对同一组被访者或受测试者对同一组被访者或受测试者 前后两次测量的结果是否基本一致前后两次测量的结果是否基本一致2021/3/256授课：XXX1、稳定性分析、稳定性分析方法：方法： 用用“再测信度再测信度”来测量稳定性来测量稳定性再测信度：再测信度：两次测量结果间的相关系数两次测量结果间的相关系数 相关系数越接近相关系数越接近 1，表示稳定性越好，表示稳定性越好2021/3/257授课：XXX1、稳定性分析、稳定性分析缺点：缺点：一般应用中很难真正实现一般应用中很难真正实现（人力、财力、时间）（人力、财力、时间）再测信度的应用有局限性再测信度的应用有局限性 第一次的测量可能会影响到第二次第一次的测量可能会影响到第二次（信度偏高）（信度偏高） 两次测量间客观的情况可能有变化两次测量间客观的情况可能有变化（信度偏低）（信度偏低）2021/3/258授课：XXX2、内在一致性分析、内在一致性分析 目的：目的：检验多项目量表中各个项目的一致性检验多项目量表中各个项目的一致性 可信的量表的项目必须具有内在一致性可信的量表的项目必须具有内在一致性2021/3/259授课：XXX2、内在一致性分析、内在一致性分析方法之一：折半法方法之一：折半法 (split-half technique) 将量表中的项目分成两半将量表中的项目分成两半 计算这两部分的总得分的相关系数计算这两部分的总得分的相关系数rh 如果量表具有较高的内在一致性如果量表具有较高的内在一致性 那么这两部分应该是高度相关的那么这两部分应该是高度相关的2021/3/2510授课：XXX2、内在一致性分析、内在一致性分析方法之一：折半法方法之一：折半法 (split-half technique)优点：不需要重复的测量优点：不需要重复的测量常用分法：按项目号的前后顺序分常用分法：按项目号的前后顺序分 或按项目号的奇偶性分或按项目号的奇偶性分计算公式：计算公式： ru = 2rh / (1 + rh)2021/3/2511授课：XXX2、内在一致性分析、内在一致性分析方法之一：折半法方法之一：折半法 (split-half technique)注意：需先将量表中的反意题作逆向处理注意：需先将量表中的反意题作逆向处理 再分别计算两部分的总得分再分别计算两部分的总得分前提假设：前提假设：两半题项得分方差大致相等两半题项得分方差大致相等 否则可能会低估信度系数否则可能会低估信度系数2021/3/2512授课：XXX2、内在一致性分析、内在一致性分析方法之二：方法之二：alpha信度系数法信度系数法 克朗巴哈提出用克朗巴哈提出用系数来测量累加量表的信度系数来测量累加量表的信度 = K (1 - i2/T2)/(K-1) K K 量表中题（项目）的总数量表中题（项目）的总数 i i2 2 第第i i个题（项目）得分的题内方差个题（项目）得分的题内方差 i i2 2 K K个题项的方差之和个题项的方差之和 T T2 2 总得分（所有题项得分之和）的方差总得分（所有题项得分之和）的方差信度系数是评估量表内部一致性的比较常用系数信度系数是评估量表内部一致性的比较常用系数2021/3/2513授课：XXX2、内在一致性分析、内在一致性分析方法之三：平均相关系数法方法之三：平均相关系数法缺点：偏重于项目之间的相关缺点：偏重于项目之间的相关 而不是整个量表的信度而不是整个量表的信度 项目越多，平均相关系数就可能越高项目越多，平均相关系数就可能越高提高信度的方法之一：提高信度的方法之一： 增加量表中的测量项目增加量表中的测量项目 因为各个项目的随机误差可能会相互抵消因为各个项目的随机误差可能会相互抵消 2021/3/2514授课：XXX2、内在一致性分析、内在一致性分析小结：小结： 信度的高低既依赖于项目的内在一致性信度的高低既依赖于项目的内在一致性 也依赖于量表的长度也依赖于量表的长度因此：因此： 一方面尽量设计内在相关性更高的项目一方面尽量设计内在相关性更高的项目 另一方面也可以考虑适当增加项目的数量另一方面也可以考虑适当增加项目的数量2021/3/2515授课：XXX3、等价性分析、等价性分析A 当当使使用用两两种种不不同同的的量量表表去去测测量量同同一一概概念念时时，这这两种量表是否等价？两种量表是否等价？ 方方法法：在在同同一一时时段段中中，让让同同一一组组被被访访者者接接受受两两种种量量表表的测试；计算两组得分之间的相关，用于评价信度的测试；计算两组得分之间的相关，用于评价信度B 当当两两个个评评分分者者（或或编编码码员员）判判断断同同一一现现象象时时，评价结果是否一致？评价结果是否一致？ 方方法法：计计算算两两个个评评分分者者评评分分之之间间的的相相关关；或或计计算算两两个个编码员编码结果一致的比例，用于评价信度编码员编码结果一致的比例，用于评价信度2021/3/2516授课：XXX3、等价性分析、等价性分析 前前一一种种应应用用A比比较较少少见见（构构造造等等价价的的量量表表非常困难）非常困难） 后一种应用后一种应用B比较常见，也称为比较常见，也称为 评分者内在信度评分者内在信度 (inter-rater reliability) 编码员间信度编码员间信度 (inter-coder reliability)2021/3/2517授课：XXX3、等价性分析、等价性分析在内容分析中，要评价编码员间信度在内容分析中，要评价编码员间信度 编码：编码：将分析单位（如单词、符号、主题等）将分析单位（如单词、符号、主题等） 置于各种内容类别中置于各种内容类别中 不同的编码者独立地编码不同的编码者独立地编码 如果能得到比较一致的结果如果能得到比较一致的结果 则信度较高则信度较高2021/3/2518授课：XXX3、等价性分析、等价性分析-编码者间信度的计算公式编码者间信度的计算公式霍斯提霍斯提(Holsti)公式公式 假假定定两两个个编编码码员员分分别别同同时时做做了了m1和和m2个个单位的编码，其中一致的编码数为单位的编码，其中一致的编码数为m，则，则 编码者间信度编码者间信度 = 2m / (m1 + m2) 2021/3/2519授课：XXX3、等价性分析、等价性分析-编码者间信度的计算公式编码者间信度的计算公式霍斯提霍斯提(Holsti)公式公式优点：计算简单、易于操作优点：计算简单、易于操作缺点：信度的大小可能与编码时所用的类别的数目有关缺点：信度的大小可能与编码时所用的类别的数目有关 类别的数目越少，由于偶然性而造成一致的可能性就越大类别的数目越少，由于偶然性而造成一致的可能性就越大 编码问题都是两个类别时，随机的编码也可能有编码问题都是两个类别时，随机的编码也可能有50%的信度的信度 在五个类别的情况，随机的编码就只可能有在五个类别的情况，随机的编码就只可能有20%左右的信度左右的信度2021/3/2520授课：XXX3、等价性分析、等价性分析-编码者间信度的计算公式编码者间信度的计算公式史考特史考特(Scott)指数指数编码员间信度编码员间信度 = (o - e)/(1 - e) = (o - e)/(1 - e) oo：观测到的观测到的一致性或叫实际一致性（一致性或叫实际一致性（用用霍斯提公式霍斯提公式计算）计算）ee：纯粹由于纯粹由于偶然性偶然性而造成的一致性或叫期望一致性而造成的一致性或叫期望一致性 （等于每个类别出现的相对频率的平方和）等于每个类别出现的相对频率的平方和） 2021/3/2521授课：XXX3、等价性分析、等价性分析-编码者间信度的计算公式编码者间信度的计算公式 利用霍斯特公式计算时，一般信度在利用霍斯特公式计算时，一般信度在90%90%或以上或以上 利用史考特公式计算时，信度大都是利用史考特公式计算时，信度大都是75%75%或以上或以上考察编码员内考察编码员内(intra-coder)(intra-coder)信度时信度时 让同一个编码员在不同的时间内对同一个资料编码两次让同一个编码员在不同的时间内对同一个资料编码两次 然后借助以上公式计算编码然后借助以上公式计算编码- -再编码信度再编码信度 将上式中对应两个编码员的数据，将上式中对应两个编码员的数据， 改为同一编码员的两次数据改为同一编码员的两次数据 2021/3/2522授课：XXX例例 在在一一项项少少儿儿电电视视节节目目内内容容分分析析的的编编码码表表中中，两两个个编编码码员员分分别别同同时时独独立立地地将将100100个个少少儿儿节节目目分分配配到到如如下下三三个个类类别别中中：1 1、单单本本剧剧 2 2、连连续续剧剧 3 3、系系列列剧剧。已已知知编编码码不不一一致致的的节节目目共共计计8 8个个；这这三三个个类类别别的的节节目目数数分分别别占占30%30%、45%45%和和25%25%。试试分分别别利用霍斯提和史考特公式，评价这两个编码员编码的等价性。利用霍斯提和史考特公式，评价这两个编码员编码的等价性。解：解： m1= m2 =100, m = 100-8 = 92霍斯提信度霍斯提信度 = 2m/(m1 + m2)=2(92)/(100+100)=0.92 o = 0.92, e = (0.30) o = 0.92, e = (0.30)2 2+(0.45)+(0.45)2 2+(0.25)+(0.25)2 2=0.355=0.355史考特信度史考特信度 = (o - e)/(1 - e) = (o - e)/(1 - e) = (0.92-0.355)/(1-0.355) = 0.876= (0.92-0.355)/(1-0.355) = 0.8762021/3/2523授课：XXX效度主要有三种类型：效度主要有三种类型： 内容效度内容效度 (content validity) 效标效度效标效度 (criterion validity) 结构效度结构效度 (construct validity)四、效度评价四、效度评价2021/3/2524授课：XXX1、内容效度、内容效度 也叫做表面效度也叫做表面效度(face validity) 用最简单的也是最基本的主观判断的方法用最简单的也是最基本的主观判断的方法 一般根据测量量表所选的题项来判断一般根据测量量表所选的题项来判断 仅从表面上来观察判断其是否能够代表想仅从表面上来观察判断其是否能够代表想 要测量的内容或主题要测量的内容或主题2021/3/2525授课：XXX1、内容效度、内容效度 尽量收集和阅读与测量内容有关的资料尽量收集和阅读与测量内容有关的资料 除了研究人员的主观判断之外除了研究人员的主观判断之外 最好再请一些专家来帮助判断最好再请一些专家来帮助判断2021/3/2526授课：XXX1、内容效度、内容效度单项与总和相关效度分析法单项与总和相关效度分析法 确定各个具体的题项对整个量表的效度是否确定各个具体的题项对整个量表的效度是否 都有足够的贡献都有足够的贡献 或考察量表内的题项是否具有同质性或考察量表内的题项是否具有同质性 计算每个题项的得分与总分的相关系数计算每个题项的得分与总分的相关系数 如果相关不显著，表示该题项的鉴别力低，最好剔除如果相关不显著，表示该题项的鉴别力低，最好剔除 题项与总和的相关关系越显著，量表的内容效度也越高题项与总和的相关关系越显著，量表的内容效度也越高 2021/3/2527授课：XXX1、内容效度、内容效度例例如如，1993年年卜卜卫卫等等在在厦厦门门受受众众调调查查问问卷卷中中（见见“媒媒介介人人现现代代化化”），设设计计了了一一个个四四级级李李克克动动机机量量表表，以以测测试试厦厦门门受受众众的的媒媒介介使使用用动动机机。表表中中的的受受众众媒媒介介动动机机量量表表就就是是剔剔除除了了不不合合格格题题项项后后的的量量表表，表表中中的的各各个个题题项项的的得得分分与与总总分分都都是是显显著著相相关关的的（概概值值P0.001），说说明明量量表表内内的的各各个个题题项项之之间间具具有有较较好好的同质性。的同质性。 2021/3/2528授课：XXX2021/3/2529授课：XXX2、效标效度、效标效度 也叫做效标关联效度或独立标准效度也叫做效标关联效度或独立标准效度 效标效标是一个与量表有密切关联的是一个与量表有密切关联的独立标准独立标准 将量表所测特性看成因变量将量表所测特性看成因变量 将效标看成自变量将效标看成自变量 所测特性与效标密切相关的量表所测特性与效标密切相关的量表 才是有效的量表才是有效的量表 2021/3/2530授课：XXX2、效标效度的分析方法、效标效度的分析方法 考察所测特性（因变量）与效标（自变量）考察所测特性（因变量）与效标（自变量） 是否有显著的相关是否有显著的相关 (相关分析相关分析) 或是对效标的不同取值，特性的值是否表或是对效标的不同取值，特性的值是否表 现出显著的差异现出显著的差异 (t检验、检验、F检验）检验） 效标的确定并不是一件容易的事效标的确定并不是一件容易的事 选择效标一般要根据某种已知的理论、或选择效标一般要根据某种已知的理论、或 某种已经得到肯定的结论某种已经得到肯定的结论2021/3/2531授课：XXX2、效标效度的举例、效标效度的举例 用高考的成绩，作为预测学生大学期间学业成绩的效标用高考的成绩，作为预测学生大学期间学业成绩的效标 （是否有（是否有研究结果表明，这两者之间是有密切相关关系的）研究结果表明，这两者之间是有密切相关关系的） 设计测量人们现代化观念的量表时，媒介接触行为可设计测量人们现代化观念的量表时，媒介接触行为可 能是主要的效标之一能是主要的效标之一 （很难设想不看报、不听广播的人会具有现代化的观念）很难设想不看报、不听广播的人会具有现代化的观念） 可考虑以媒介接触频度、时间、内容等为具体的效标可考虑以媒介接触频度、时间、内容等为具体的效标2021/3/2532授课：XXX2、效标效度的举例、效标效度的举例 台台湾湾的的“兰兰屿屿民民众众传传播播行行为为与与现现代代化化程程度度之之研研究究”, 用离岛经验作为测量雅美族人现代化程度的效标用离岛经验作为测量雅美族人现代化程度的效标 有、无离岛经验的雅美族人之间有、无离岛经验的雅美族人之间 现代化程度有明显差异的量表现代化程度有明显差异的量表 才有可能是高效度的量表才有可能是高效度的量表 要剔除那些没有显著差异的低效度的题项要剔除那些没有显著差异的低效度的题项2021/3/2533授课：XXX3、结构效度、结构效度 评价量表测量的结果是否与理论假设或框架相关评价量表测量的结果是否与理论假设或框架相关 称能测出结构的量表为具有高的结构效度的量表称能测出结构的量表为具有高的结构效度的量表 因子分析法因子分析法 (factor analysis) 评价量表中的各个题项能否有效地区分研究对象评价量表中的各个题项能否有效地区分研究对象 各题项能否有效地鉴别态度不同的被访者？各题项能否有效地鉴别态度不同的被访者？ 题项内容的难易度是否合适？题项内容的难易度是否合适？ 项目分析法项目分析法 (item analysis)2021/3/2534授课：XXX3、结构效度、结构效度-因子分析法因子分析法 因子分析法是一种高级的统计分析法因子分析法是一种高级的统计分析法 将量表中的题项集合成不同的群将量表中的题项集合成不同的群 使每一个群的变量（题项）共享一个公共因子使每一个群的变量（题项）共享一个公共因子 这些公共因子就代表了量表的基本结构这些公共因子就代表了量表的基本结构 考察这些公共因子的意义考察这些公共因子的意义 比较量表的实际结构与理论框架之间的异同比较量表的实际结构与理论框架之间的异同 若两者相吻合，且提取的公共因子有足够的代表性若两者相吻合，且提取的公共因子有足够的代表性 则说明该测量量表具有令人满意的结构效度则说明该测量量表具有令人满意的结构效度 2021/3/2535授课：XXX3、结构效度、结构效度-因子分析法举例因子分析法举例 对测量动机的量表进行了因子分析对测量动机的量表进行了因子分析 （参考（参考“媒介媒介人人现代化现代化”） 结果将受众使用媒介动机分成了三类结果将受众使用媒介动机分成了三类 信息寻求动机、娱乐消遣动机、社会功利动机信息寻求动机、娱乐消遣动机、社会功利动机 与研究者设计量表时假设的结构一致与研究者设计量表时假设的结构一致 说明这一动机量表具有很好的结构效度说明这一动机量表具有很好的结构效度2021/3/2536授课：XXX2021/3/2537授课：XXX3、结构效度、结构效度-项目分析法项目分析法 （难易度）（难易度）量表中各个题项的量表中各个题项的“难易度难易度”和和“鉴别度鉴别度” 难易度难易度=(PH+PL)/2 PH和和PL分别表示高分组和低分组的通过率分别表示高分组和低分组的通过率2021/3/2538授课：XXX3、结构效度、结构效度-项目分析法项目分析法 （难易度）（难易度）通过率的计算方法：通过率的计算方法： 将反向题作逆向处理后，计算累加量表的总分将反向题作逆向处理后，计算累加量表的总分 总分按由小到大的顺序排列，划分成人数相等的四个组总分按由小到大的顺序排列，划分成人数相等的四个组 分分数数最最高高和和最最低低的的两两个个组组分分别别为为“高高分分组组”和和“低低分分组组” 计算这两组的被访者在每个题项上的计算这两组的被访者在每个题项上的“通过率通过率” PH和和PL 正向题的通过率正向题的通过率=（“非常同意非常同意”+“比较同意比较同意”）的比例）的比例 逆向题的通过率逆向题的通过率=（“很不同意很不同意”+“不太同意不太同意”）的比例）的比例2021/3/2539授课：XXX3、结构效度、结构效度-项目分析法项目分析法 （难易度）（难易度）通过率的意义通过率的意义 对于正向题，表示持肯定、积极态度的比例对于正向题，表示持肯定、积极态度的比例 对于反向题，表示持否定、消极态度的比例对于反向题，表示持否定、消极态度的比例某题项的难易度某题项的难易度=高分组和低分组通过率的均值高分组和低分组通过率的均值 难易度越大，表示该题项越难易度越大，表示该题项越“容易通过容易通过” 态度量表取难易度适中态度量表取难易度适中(0.5左右左右)的情况较多的情况较多2021/3/2540授课：XXX3、结构效度、结构效度-项目分析法项目分析法 （鉴别度）（鉴别度） 量表中各个题项对所测特性的区分能力量表中各个题项对所测特性的区分能力 鉴别度鉴别度= PH-PL 2021/3/2541授课：XXX3、结构效度、结构效度-项目分析法项目分析法 （鉴别度）（鉴别度）鉴别度的意义鉴别度的意义 某题项的鉴别度越大某题项的鉴别度越大 “高分组高分组”和和“低分组低分组”对某个题项反应的差异越大对某个题项反应的差异越大 持肯定、积极（否定、消极）态度的比例之差越大持肯定、积极（否定、消极）态度的比例之差越大 量表中各个题项的鉴别度高一些为好量表中各个题项的鉴别度高一些为好 考试题最好能将成绩好的和差的学生区分出来考试题最好能将成绩好的和差的学生区分出来 使成绩好的学生大多数都能通过使成绩好的学生大多数都能通过 而成绩差的学生却很少能通过而成绩差的学生却很少能通过2021/3/2542授课：XXX2021/3/2543授课：XXX2021/3/2544授课：XXX2021/3/2545授课：XXX结束！结束！2021/3/2546授课：XXXThank you!2021/3/2547