,试验方法的评价和疾病筛检,朱益民 浙江大学医学院 流行病与卫生统计学系,基本内容,试验方法的评价 诊断价值的评价(预测值） 提高诊断效率的方法 疾病筛检,试验方法的评价,评价程序 可靠性评价 真实性评价 诊断标准与灵敏度和特异度的关系 ROC曲线 参考值建立的方法,评价程序,被评价的方法与标准方法作同步、盲法试验。 一、确定金标准 二、选择研究对象：病人和非病人 病例组是指用金标准确诊有病的病例，应包含典型的、不典型病例，早、中、晚期病例，轻、中、重病例、有和无并发症的患者。 非病例组是指用金标准证实没有目标疾病的其他病例，特别是与该病容易混淆的病例。 三、确定样本大小 四、同步试验、盲法(double blind)观察 五、根据试验检查的结果，评价其诊断价值,金标准,待评价方法,阳性,阴性,阳性,阴性,特定 人群,病人,非病人,结果 评价,评价程序,金标准是指一种疾病标准诊断方法，是当前医学界公认的、诊断某病的可靠的诊断方法，应用该标准能较正确区分某种疾病的人和不具有该病的人。 常见的金标准有：病理学检查（组织活检和尸体解剖）、手术发现、微生物培养、特殊的影像学诊断、长期随访结果。 要评价一个试验方法，金标准的选择是非常重要的。一项诊断试验的准确程度只有在金标准诊断的病人组和非病人组中进行考核，才能得到正确地评价。,金标准（gold standard）,研究对象包括两组，病例组和非病例组。 病例组是被金标准确诊的病人。应包含该疾病的典型与非典型病例，早、中、晚期各期病例，轻、中、重病例、有和无并发症的患者。 非病例组是用金标准证实无该病的人群，即对照组。还应包括与该病容易混淆的病例（作鉴别诊断） 所有的研究对象都要有代表性，病例组和对照组都应代表各自的总体 。,研究对象,p为试验的预期特异性或灵敏度，为容许误差，为第一类误差的概率，U值由U界值表可查得。,样本大小,评价内容,包括两方面： 1.真实性（validity） 真实性是指测量值与实际值的符合程度。 2.可靠性（reliability） 重复性（repeatability），指一项试验在相同的条件重复试验获得相同结果的稳定程度。,评价的结果,可靠性的评价,标准差和变异系数 符合率或一致性 调整一致性 Kappa值：表示两种试验的结果的一致性的程度,Kappa值的计算,甲、乙二医生阅读胸部X线片诊断结果,观察一致率=（4632）/10078 机遇一致率（5856）/100（4244）/100/100=51% Kappa=(78%-51%)/(1-51%)=0.55,影响试验可靠性的因素,1实验方法本身或仪器的差异 2调查对象的生物学变异：研究对象间的变异和研究对象内部变异 3观察者的测量变异：观察者间变异和观察者内变异,真实性评价的内容,包括两个方面： 1、对有病的识别能力 2、对无病的识别能力,真实性评价指标,1、灵敏度（sensitivity, Se)：在真正有病的人中，试验结果阳性的百分率，即真阳性率。,灵敏度表示试验方法对疾病的检出能力。灵敏度越高，说明试验方法对疾病检出能力越强，病人漏诊机会越少。,2、特异度（specificity，Sp )：指在无病的人中试验结果阴性的百分率，即真阴性率。特异度表示试验方法对无病的检出能力。特异度越高，说明对无病的判断能力越强，无病的人误诊机会越少。,似然比（likelihood ratio, LR）,一项诊断价值高的试验，应当是真阳性率（灵敏度）高而假阳性率低。两者的比值称为诊断试验的似然比。,正确指数。灵敏度和特异度是反映一项诊断试验的两个基本指标，两者之和减去1。,约登指数（Youdens Index）,评价甲胎蛋白诊断肝癌的价值，以肝穿刺作为金标准，试验结果如下表。,灵敏度=(205/234)100%=87.61% 特异性=(37/68)100%=54.41% 漏诊率=1-灵敏度=1-87.61%=12.39% 误诊率=1-特异性=1-54.41%=45.59% 似然比=（205/234）/（31/68）=1.92 Youden指数=灵敏度+特异度-1 =0.876+0.54411=0.4202 符合率=（205+37）/302100%=80.13%,诊断试验研究为一个样本研究，所得灵敏度、特异性、Youden指数均为样本值，因此存在抽样误差。从样本值来推断总体值，须进行统计推断。不同方法的比较应排除抽样误差，进行统计学检验。,诊断试验评价的统计学推断,诊断性试验指标的参数估计,诊断性试验研究的假设检验,如应用血清铁蛋白（SF）和血清原卜啉（ZPP）试验法进行铁缺乏症的临床诊断。以骨髓涂片铁染色检查作为诊断缺铁的金标准，确诊为缺铁性贫血50例，非缺铁性贫血78例。比较两试验的Youden指数的优劣。,SF和ZPP法诊断缺铁性贫血的结果,SF法：灵敏度=(4750)100%=94% 特异度=(7578)100%=96% Youden指数=94%+96%1=0.90 ZPP法：灵敏度=(2850)100%=56% 特异度=(6878)100%=87% Youden指数=56%+87%1=0.43,H0：SF法的总体Youden指数与ZPP法相同。 =0.05，并根据公式计算如下： SF法的Youden指数方差 同理，ZPP法的方差： S2YI2=0.006361 查z 临界值表，z0.05=1.96，zz0.05，P0.05，按0.05水准 拒绝H0，即SF法与ZPP法总体Youden指数不同，SF法较优。,不同诊断水平与灵敏度、特异性,不同血糖标准时血糖试验的灵敏度、特异度,ROC曲线以灵敏度为纵坐标，假阳性率（1特异度）为横坐标作图所得的曲线。该曲线反映灵敏度与特异度之间相互关系的一种方法。,受试者工作特征曲线 （receive operator characteristic curve, ROC曲线）,临床参考值（reference value）的确定,参考值是指正常人体在解剖、生理、生化上的正常水平以及人体对各种试验的正常反应值。这里的正常人是指没有得所检查疾病的人. 确定参考值的方法主要有： 1.统计学方法: 人为、无生物学基础 如数据呈正态分布： 如数据呈偏态分布： 双侧：P2.5P97.5 单侧： 0P95， 或 P5,2从危险度和预后确定：按疾病的各种危险因素的危险度或预后情况确定参考值范围。 危险度决定法在足够样本量的前瞻性队列研究基础上，能够较确切地反映该地区人群某种指标的参考值范围。,3实用界限：满足灵敏度、特异度和正确指数的要求,ROC曲线常用来决定最佳临界点，接近左上角那一点，可定为最佳临界点,预测值（predicative value, PV）,表示试验结果阳性者可能有该病的概率，阳性预测值越高，诊断价值越高。,影响阳性预测值的因素,1、试验方法的灵敏度和特异度,患病率为2%时，不同灵敏度，特异度的阳性预测值（%）,患病率对预测值的影响,灵敏度为99%、特异度为95%的诊断试验在不同患病率的人群(1%、2、10检查的阳性预测值是多少？,患病率与预测值的关系,在不同人群中PSA试验诊断前列腺癌的价值,阳性预测值,阴性预测值,提高诊断试验效率的方法,一、选择合适而正确的指标 主观指标、半客观指标、客观指标 二、选择患病率较高的人群 1.设立专科门诊 2.选择高危人群 3.选择有特殊临床表现的人群 三、联合试验 并联（平行）试验 串联（系列）试验,联合试验,指同时做几项试验，只要有一个试验结果阳性，结果即判断阳性。对于试验A和B，并联试验后灵敏度和特异度分别为： 灵敏度AB=灵敏度A+（1灵敏度A）灵敏度B 灵敏度A或灵敏度B 特异度AB=特异度A特异度B 灵敏度A或灵敏度B,并联（平行）试验（parallel test）,在串联试验中，只有每项试验均为阳性，最后结果才判断为有病，其灵敏度和特异度分别为： 灵敏度AB=灵敏度A灵敏度B 灵敏度A或B 特异度AB=特异度A+（1特异度A）特异度B 特异度度A或B,串联试验: 又称系列试验（serial tests）,试验方法 灵敏度（%） 特异度（%）,疾病筛检,筛检（screening）是指应用快速的试验、检查或其他方法找出未被识别的疾病患者或缺陷病人(即表面健康的临床早期或临床前期的病人)的一种主动的卫生保健措施。 筛检试验不同于诊断，阳性者或可疑阳性者应当指定就医，进一步诊断和必要的治疗。,疾病筛检的程序,筛检和诊断试验的区别,发现某病的可疑患者，实现早发现、早诊断、早治疗(二级预防) 确定高危人群，从病因学角度采取措施，延缓疾病的发生(一级预防) 了解疾病自然史,筛检的应用,易感期,临床前期,临床期,残疾、死亡,暴露,出现症状,诊断、治疗,康复,筛检,筛检的效果评价,收益：通过疾病筛检能早期发现病人的数量 预后效果的评价：病死率、死亡率、生存率 卫生经济学效果评价 成本效果分析、成本效益分析、成本效用分析,领先时间（lead time）,易感期,临床前期 临床期,死亡,暴露,出现症状,诊断、治疗,康复,筛检,t1,t2,t3,t3,领先时间是指通过筛检试验，在慢性病自然史的早期阶段，如症状出现前，提前做出诊断，从而赢得提前治疗疾病的时间。 领先时间偏倚是指筛检诊断时间和临床诊断时间之差被解释为因筛检而延长的生存时间,t3 = t1 + t2 筛检无效 t3t1 + t2 筛检有效,病程长短偏倚（length bias）,疾病 开始,筛检 查出,症状开始,死亡,P,Y,O,P,Y,D,O,P,Y,D,O,P,Y,D,O,D,Y,O,D,P,O,P,Y,D,时间,筛检,图7-11 病程长短偏倚示意图,恶性程度高,恶性程度低,一些恶性程度低的肿瘤 病人常有较长的临床前期，而恶性程度高的同类肿瘤病人的临床前期较短。因此，前者被筛检到的机会较后者大，而前者的生存期又比后者长，从而产生筛检者要比未筛检者生存时间长的假象,O,P,Y,D,卫生经济学效果评价,成本效果分析(cost-effectiveness analysis)：分析实施筛检计划的投入费用与获得的生物学效果。估计每发现一例病例的平均成本包括直接与间接成本，预后的改善情况，如生存时间，以此计算成本效果的比率，如每延长一年生存所消耗的成本。 成本效益分析(cost-benefit analysis) 分析实施筛检计划的投入费用与获得的经济效益的比值，以货币单位来计算。 成本效用分析(cost-utility analysis) 分析实施筛检计划投入的费用与获得的生命质量的改善。,该地区当前重大的公共卫生问题 对筛检阳性者，有明确有效的进一步诊治措施。 疾病自然史明确，有可识别的早期症状和体征 有适宜的筛检技术：要有快速、简便、经济、非侵入性的和高灵敏度、特异度、易被受检者接受的检查方法。 有足够的人力、财力与物力。考虑成本与效益 筛检是一项按计划定期进行的连续性工作。,实施筛检的基本原则,