测量的信度和效度,Reliability & validity,信度的概念,信度指的是测量中的一致性属性。,1、测验的实施。2、测验条目的选择。3、测验的计分。4、测验中的系统误差。,测量误差的来源,测量误差与信度,测量误差会对实得分数的一致性产生影响，如果对这个测验重新进行一次测量，得到的结果是不能保持不变的。,信度系数,理论上信度系数为真是分数的方差除以实得分数的方差。,信度的测量,估计信度的两种主要方法：1、估计测验在时间上的稳定性。2、考察测验的内部一致性。一般来说可接受的信度为0.8以上。,时间稳定性的信度,1、重测信度：针对一组具有代表性的样本，用目标测验让他们测量两侧。两次结果的相关系数就是所要估计的信度。2、复本信度：针对同一组样本，将他们完成两个版本测量之后的得分进行相关系数计算之后的所得。（在同一时间点测的为复本信度，不同时间点测的为重测复本信度）,如何测量时间稳定性信度？,将两组数据进行相关性分析。用SPSS的操作如下：分析相关双变量若相关系数大于0.8表示此类信度可接受。,内部一致性信度,1、分半信度（Split-half Reliability）:2、系数（Cronbach ）：3、评价者间一致性信度：,分半信度,1、分半信度（Split-half Reliability）:找到一个有代表性样本进行一次施测之后，我们将题目分成对等的两部分（通常按奇偶数分），将这两部分的得分进行相关分析，所得的相关系数。（需要通过斯皮曼-布朗公式的校正）用spss的操作如下：分析度量可靠性分析分半根据所放题项的顺序可以控制如何进行分半,系数,系数是考虑了所有分半系数的可能性，然后经过斯皮曼-布朗公式的校正得到的。用spss的操作如下：分析度量可靠性分析,评价者间一致性信度,不同评分者评价之间的相关系数。用spss操作如下：分析非参数检验旧对话框k个相关样本选择统计类别：Ftest：适用于题目分值为连续性测量尺度。Kendalls：适用于分值不呈正态或为有序分类时。Cochranchi-square：适用于题目分值为二分类无序分类时。若p值大于0.05表示不同评价者评价之间没有显著差异,用结构方程测量信度,在信度分析时系数是使用最广泛的。但是,系数假设潜在变量到所有指标项目的负载值都相等, 这明显与现实不相符 。在结构方程模式出现后, 我们更倾向于使用克服了上述缺陷的组合信度CR和平均变异数萃取量（AVE）。具体方法都是把各item的标准化负荷指数带入excel,组成信度(composite reliability; CR),CR值是所有测量变项信度的组合，表示构念指针的内部一致性，雷同于cronbach ，CR愈高表示构念的内部一致性愈高，0.7是可接受的门坎( Hair,1997) ,Fornell and Larcker (1981)建议值为0.6以上。 计算公式构念的组成信度(标准化因素负荷量)2/ (标准化因素负荷量)2+(各测量变项的测量误差) (Jreskog and Srbom, 1996) 。,平均变异抽取量(Average of variance extracted，AVE),AVE是计算潜在变量之测量变量的变异数解释力，若AVE愈高，则表示构念有愈高的信度与收敛效度。理想上标准值须大于0.5 Fornell and Larcker(1981) ，0.360.5为可接受门坎。 计算公式AVE=(因素负荷量2)/(因素负荷量)2+(各测量变项的测量误差) (Jreskog and Srbom , 1996),选择哪一种信度,1、如果测试在编制时就可以允许个体测量多次，对于这样的测试，重测信度当然是首选的信度估计方法。2、如果测量是单因素的，使用系数就是很好的指标。能用CR或AVE就更好了。3、如果测验编排的顺序是根据难度的分布由易到难进行编排的，分半效度就比较合适。4、如果测试包含了主观判断成分，评分者间一致性信度就比较重要。,效度的概念和组成,效度：指测试能够测量到我们想要测量的概念的程度。效度的组成：1、内容效度(Content Validity)2、效标关联效度（Criterion-related Validity）3、构念效度(Construct Validity),有关表面效度（Face Validity）,如果一个测试让测试使用者、施测者，尤其是受测者觉得测试是一个有效的测试，我们就认为这个测试具有表面效度。表面效度和其他效度不一样，不是测验效度的一种技术形式，它是一个社会接受度的问题，所以我们一般不认为表面效度是测验效度的一种。,内容效度,内容效度：主要是指测验中所包含的问题、任务、条目是否是针对测量对象的有代表性的行为样本。测量方法：由专家进行逻辑分析 ，即请有关专家对测验题目与原来的内容范围是否符合进行分析 , 作出判断 , 看测验题目是否较好地代表了原来的内容。,效标关联效度,效标关联效度：当使用一个测验的分数去预测一些结果变量（效标）的时候是有效的，我们就认为测验具备了效标关联效度。根据效标是否与测验分数同时获得，效标关联效度又分为：同时效度和预测效度。我们用测量分数和效标之间的相关系数来估计效标关联效度。用SPSS的操作：分析相关双变量,构念效度,构念效度：指一个测量实际测到所要测量的理论结构和特质的程度，或者说测量能够说明测量的理论结构或特质的程度。（构念是理论上的、抽象的、无形的。）,构念效度的测量,没有一个单一的证据足以完成这样的测量，我们需要进行大量的实证研究才能找到测量工具的构念效度实证研究的具体方法如下：1、考察测量工具的条目或者分量表是否具有同质性，测量的是否是一个单一的构念。2、考察随着个体的发展变化，检验分数是否与这个构念的理论预期相吻合。3、考察不同群体之间测验分数的差异，是否与理论相吻合。4、分析对测量分数进行干预的效果，是否与理论预期相吻合。5、将测验的分数与相关概念和不相关概念的测量进行相关分析。6、对测量进行因素分析，看构念的构成是否符合理论。7、分析测量的得分是否可以用来正确区分受测者。,因素分析,SPSS分析降维因子分析KMO统计量越接近1，变量间的偏相关越高，因子分析的效果越好，大于0.7比较好。Bartlett球形检验是用来判断相关阵是否是单位阵。变量共同度Communalities表示各变量中所含原始信息能被提取公因子所表示的程度。看Rotated Component Matrix的结果是否符合理论,聚合效度和区分效度,将测验的分数与相关概念和不相关概念的测量进行相关分析。涉及聚合效度和区分效度。,聚合效度,聚合效度（Convergent validity）：两个测量工具如果在构念上是有重合的，那么这两个测验得分之间应该有较高相关。（也有翻译为“会聚效度”）测量方法：两种测量结果之间的相关系数。SPSS分析相关双变量,区分效度,区分效度（Discriminant validity）：指两个不同的测验之间应该不存在相关。,如何测量区分效度,测量方法：1、根据相关系数的区分方法，用AMOS将模型改成CFA模型,采用BOOTSTRAP 估计,即可在CORRELATION中看到信赖区间,不包含1即表示有区别效度测两个潜在变量的相关系数。,如何测量区分效度,测量方法2、采用竞争模型比较法，一个模型两因素相关自由估计，另一模型则相关设置为1，接着进行两个模型的卡方值差异比较，若卡方值差异量愈大且达到显著水平（p=0.05时卡方值差异量为3.841，p=0.01时卡方值差异量为6.635，p=0.001时卡方值差异量为7.879）时，表两模型间有显著的差异，其区别效度越高。,如何测量区分效度,测量方法3、采用竞争模型比较，一个模型两个因素自由估计，另一个模型把所有item放到一个潜变量中，比较模型配适度。,如何测量区分效度,测量方法4、平均变异萃取量比较方法，看两个变量平均变异萃取量的平均值是否大于两个潜在变量相关系数平方。或者在SEM模型估计中,在OUTPUT勾选ALL IMPLIED MOMENT,再重新执行在报表的ESTEIMATE下会看到MATRIX的ALL IMPLIED CORRELATION,就会看到潜变量相关值将对角线的1改成AVE根号值,只要所相关值小于AVE根号值就表示有区别效度。,同时测量区分效度和聚合效度,多质多特法（MTMM）可以同时测度聚合效度和区分效度。就是用不同的方法测量不同的构念，再列出各组组合之间的相关系数。,信度和效度的关系,信度高，效度不一定高，效度高，信度一定高,TOP JOURNAL上的信度,TJ上的信度大多还是用系数（用CR与AVE的还不多），在Measure部分标出各变量的，并在相关系数表中也列出。,如果是新的测量方法或者是简版的测量方法需要测量其聚合效度。,TOP JOURNAL上的效度,TOP JOURNAL上的效度,一般使用CFA来测量区分效度，具体方法是：采用竞争模型比较，一个模型中各变量由估计，另几个模型中根据实际情况把各变量组合成若干个新变量，比较几个模型的模型配适度。,TOP JOURNAL上的效度,为了增强效度检验，经常会辅以AVE法。看两个变量AVE的平均值是否大于两个潜在变量相关系数平方。或者将潜变量相关矩阵中对角线的1改成AVE根号值,只要所相关值小于AVE根号值就表示有区别效度。,