第七章 诊断实验的评价诊断实验的评价案 例一位54岁的美国高中教师，前往她的社区医生处进行年度体检。主诉既往身体健康，无不适。一年前曾有一次短暂的发热史，未经治疗已经缓解。医生对其进行了身体检查，包括乳房触诊、妇科查体等均无异常。建议患者进行乳腺钼钯X线检查，结果提示异常。于是进一步进行细针穿刺抽吸乳腺组织活检（Fine-needle aspiration, FNA）检测，FNA病理结果显示有癌细胞。于是患者被安排1周后手术。手术的同时又做了病理切片，结果确诊为乳腺癌。注：FNA检测结果可分为以下三种：一是良性（不存在癌细胞）；二是可疑（有变异细胞还不确定是否为癌细胞）；三是存在癌细胞。 诊断实验的评价问 题1.该患者无不适主诉，乳房触诊等物理诊断均无异常，为何医生还要对其行乳腺钼钯X线检查？2. 既然钼钯X线检查已提示为异常，为何还要进一步行FNA检测，增加患者的痛苦、创伤和诊疗费用？3. 手术活检是乳腺癌确诊的最终依据，假设该患者的X线检查为异常，而FNA检查为正常，是否有必要进一步行外科手术活检？诊断实验的评价提 示50岁以上的妇女，在乳房触诊正常的情况下，患乳腺癌的几率为0.3%钼钯X线检测异常则有13%的可能患乳腺癌FNA检测结果为阳性，患乳腺癌的可能性为64%4.对于乳腺触诊无可疑包块而钼钯X线摄片异常者，若FNA检查为正常，则有99%的把握可排除乳腺癌即只有1%的可能性是乳腺癌。那么外科手术可考虑暂时不做，建议其定期体检、随访，复查乳腺钼钯X线。诊断实验的评价筛检与诊断步骤示意图 定期治疗性干预诊断实验的评价诊断（诊断（diagnosis) 不仅包括各种实验室检查，也包不仅包括各种实验室检查，也包括病史体检所获得的临床资料、括病史体检所获得的临床资料、X X线、线、超声等各种公认的诊断标准，并且利超声等各种公认的诊断标准，并且利用这些资料和技术标准对疾病和健康用这些资料和技术标准对疾病和健康状况做出确切的结论。状况做出确切的结论。诊断试验诊断试验（diagnostic test）：）：泛指在泛指在诊疗过程中进行的各种以诊断为目的诊疗过程中进行的各种以诊断为目的的检查手段。是把病人与可疑有病但的检查手段。是把病人与可疑有病但实际无病的人区别开来。实际无病的人区别开来。诊断实验的评价案 例Bibbo等人选择114例乳腺触诊无可疑包块而钼钯X线检查异常的女性病例，先行FNA检测，随后在同侧乳腺做了手术活检，结果见表1。 表1 FNA检测与手术活检诊断乳腺癌的比较 手术活检FNA检测 乳腺癌 非乳腺癌 合计 阳性 14 8 22 阴性 1 91 92 合计 15 99 114问题4：对FNA检测乳腺癌的真实性如何进行评价？诊断实验的评价目标人群目标人群阳性阳性阴性阴性阳性阳性阴性阴性病人病人非病人非病人待评待评价的价的试验试验abcd筛检试验的评价程序筛检试验的评价程序金标准金标准第二节 筛检试验的评价诊断实验的评价试 验 金 标 准 合 计 病例 非病例 阳 性 真阳性（a） 假阳性（b） 总阳性人数（a+b，r1）阴 性 假阴性（c） 真阴性（d） 总阴性人数（c+d，r2）合 计 患者总数 非患者总数 受检查人数 （a+c，c1） （b+d，c2） （a+b+c+d，n） 评价：真实性、可靠性、实用性第二节 筛检试验的评价诊断实验的评价一、真实性（validity) P86真实性真实性：指测量值与实际值（金标准金标准的测量值）符合的程度。灵敏度（sensitivity，Se）和假阴性率（漏和假阴性率（漏诊率诊率, fasle negative rate, FN）特异度（specificity，Sp）和假阳性率（误和假阳性率（误诊率诊率, fasle positive rate, FP）约登指数（正确指数，约登指数（正确指数，r ）符合率（符合率（agreement rate)预测值预测值似然比（似然比（likelihood ratio，LR) 诊断实验的评价评价试验的真实性试 验 金标准 合计 病例 非病例 阳 性 a b a+b阴 性 c d c+d合 计 a+c b+d a+b+c+d假阴性率 c/a+c特异度 d/b+d灵敏度 a/a+c假阳性率 b/b+d诊断实验的评价 r r （灵敏度特异度）（灵敏度特异度）1 1 1 1（假阳性率假阴性率）（假阳性率假阴性率） r值范围在值范围在01之间之间 r越大，准确性越高，与实际越符合越大，准确性越高，与实际越符合正确诊断指数（正确诊断指数（Youdens index，r）诊断实验的评价真实性指标预测值：指真阳（阴）性人数占试验结果阳（阴）性人数的百分比，又称验后概率（PV）。 试 验 金标准 合计 病例 非病例 阳 性 a b a+b阴 性 c d c+d合 计 a+c b+d a+b+c+d阴性预测值 d/c+d阳性预测值 a/a+b患病率a+c/a+b+c+d（验前概率）诊断实验的评价似然比似然比 (likelihood ratio, LR)即病人中出现某种试验结果的概率与即病人中出现某种试验结果的概率与非病人中出现相应结果的概率之比，非病人中出现相应结果的概率之比，说明病人出现该结果的机会是非病人说明病人出现该结果的机会是非病人的多少倍。的多少倍。是一个相对稳定的综合性评价指标，是一个相对稳定的综合性评价指标，不受患病率影响。不受患病率影响。诊断实验的评价u 阳性似然比阳性似然比 筛检试验结果的真阳性率与假阳性筛检试验结果的真阳性率与假阳性率之比。比值越大诊断价值越高。率之比。比值越大诊断价值越高。诊断实验的评价u 阴性似然比阴性似然比 筛检试验结果的假阴性率与真阴性筛检试验结果的假阴性率与真阴性率之比。比值越小诊断价值越高。率之比。比值越小诊断价值越高。诊断实验的评价评价结果灵敏度=93.33% 假阴性率=6.67%特异度=91.91% 假阳性率=8.09%约登指数=0.8524阳性似然比=11.54阴性似然比=0.07阳性预测值=63.6%阴性预测值=98.9%诊断实验的评价A人数测量值正常人 病人诊断点正常人与病人的测量值呈独立分布正常人与病人的测量值呈独立分布 评价指标的相互关系及其应用诊断实验的评价诊断点正常人 病人B人数测量值正常人与病人的测量值呈连续分布正常人与病人的测量值呈连续分布评价指标的相互关系及其应用诊断实验的评价C人数测量值重叠正常人 病人正常人与病人的测量值呈交叉分布正常人与病人的测量值呈交叉分布评价指标的相互关系及其应用诊断实验的评价评价指标的相互关系及其应用灵敏度和特异度P88诊断实验的评价诊断实验的评价确定截断值（确定截断值（cut-off value)的的原则原则1漏掉一个可能病例的后果漏掉一个可能病例的后果 如果该病早期诊断和早期治疗可获得很好的治疗效果，否则后果严重，此时应选择灵敏度高的判定标准，尽可能把所有的可疑病人都诊断出来。2.如果早期治疗的效果与临床期才开始治疗的效果相近，则应选择特异度高的判断标准，尽量减少假阳性。3.假阳性与假阴性的重要性相等假阳性与假阴性的重要性相等 当出现这种情况时，可选择灵敏度与特异度相等，或使正确指数最大的分界值作为判断标准。 判断标准左移时，灵敏度增加，特异度下降，假阳性增加，将使诊断成本增加。 判断标准右移时，特异度增加，灵敏度下降，假阴性增加，将使漏诊率增加。诊断实验的评价预测值的影响因素预测值的影响因素:特异度、灵敏度、患病率 灵敏度患病率阳性预测值 灵敏度患病率+(1特异度）(1灵敏度） (1患病率)特异度阴性预测值 (1患病率)特异度+患病率 (1灵敏度）诊断实验的评价患病率与预测值的关系患病率患病率：患病率越高，阳性预测值越高：患病率越高，阳性预测值越高诊断实验的评价案例关联分析同年，Smith C等人选择317例乳腺触诊有可疑包块且钼钯X线检查异常的女性病例，同样先行FNA检测，随后在同侧乳腺做了手术活检，结果见表2和表3。 表2 FNA检测与手术活检诊断乳腺癌的比较（FNA可疑可判为阳性） 手术活检FNA检测 乳腺癌 非乳腺癌 合计 阳性 113 15 128 阴性 8 181 189 合计 121 196 317 表3 FNA检测与手术活检诊断乳腺癌的比较（FNA可疑可判为阴性） 手术活检FNA检测 乳腺癌 非乳腺癌 合计 阳性 91 0 92 阴性 30 196 226 合计 121 196 317诊断实验的评价患病率患病率(%)(%)灵敏灵敏度度(%)(%)特异特异度度(%)(%)诊断诊断结果结果诊断诊断 合计合计 阳性预阳性预测值测值(%)(%)阴性预阴性预测值测值(%)(%)乳腺癌乳腺癌非乳腺癌非乳腺癌13939214 82264 191 9299合计合计1599114389392113 1512888 818118996合计合计121196317387510091 0 911003019622687合计合计121196317灵敏度、特异度和患病率不同时乳腺癌诊断结果灵敏度、特异度和患病率不同时乳腺癌诊断结果诊断实验的评价ROC曲线受试者工作特性曲线受试者工作特性曲线诊断性试验用计量资料表达结果时，将测量值按大小顺序排列，可用任意测量值作为正常与异常的阈值计算敏感度和特异度。ROC曲线能将每个敏感度/假阳性率(1-特异度)对子，用图形表示出来，直观地表示整个敏感度/特异度变动范围及其特征。ROC曲线下面积应在0.51.0之间。0.5：准确性较低0.7：准确性中等0.9：准确性较高对ROC曲线下的面积应作显著性检验显著性检验。诊断实验的评价ROC曲线：曲线：确定试验最佳诊断阈值（图中最接近左上方的A点）诊断实验的评价CPK和EKG诊断心梗ROC曲线比较假阳性率假阳性率真阳性率（灵敏度）比较两种或两种以上试验的价值诊断实验的评价案例分析 甲乙两位放射科医生阅读相同的乳腺癌钼钯X线摄片100张，读片结果列于表4。 表4 两位放射科医生对100张乳腺钼钯X线摄片的读片结果 甲医生乙医生 正常 异常 合计 正常 40（a） 20(b) 60(r1) 异常 4 (c) 36(d) 40(r2) 合计 44 (c1) 56(c2) 100(N)问题：甲乙两医生用钼钯X线摄片诊断乳腺癌的可靠性如何？诊断实验的评价二、可靠性(reliability)可靠性（信度、重复性或精密度）：是指在相同的条件下，重复试验获得相同结果的稳定程度。影响试验可靠性的因素有：（1）受试对象自身的生物学变异（2）观察者的变异：包括观察者间误差和观察者自身误差。（3）试验方法的变异：所使用的仪器、药品和试剂的变异。诊断实验的评价诊断试验可靠性的评价指标计量资料：变异系数 CV= s /计数资料：符合率、卡帕（Kappa）值 a+d 符合率 = 100% N 诊断实验的评价Kappa值计算简化公式简化公式 N(a+d)-(r1c1+r2c2) Kappa= N2-(r1c1+r2c2)观察一致率观察一致率(Po)=a+d/N机遇一致率机遇一致率(Pc)=(r1 c1)/N+(r2 c2)/N/N非机遇一致率非机遇一致率=1-Pc实际一致率实际一致率=Po-PcKappa值值=Po-Pc/1-Pc诊断实验的评价Kappa值判断标准 Kappa值 一致性强度 0.40 差 0.40 中、高度 0.75 极好本案例：符合率=76% Kappa =0.53诊断实验的评价第三节第三节 提高试验效率的提高试验效率的方法方法一、选择患病率高的人群（增加验前概率）二、联合试验、联合试验并联试验并联试验（parallel test）：只要有一个试验结只要有一个试验结果为阳性者即定为阳性。该法可以提高灵敏度。果为阳性者即定为阳性。该法可以提高灵敏度。 平行平行串联试验（串联试验（serial test）：）：只有所有试验结果为只有所有试验结果为阳性才可定为阳性。该法可以提高特异度。阳性才可定为阳性。该法可以提高特异度。 系列系列P94诊断实验的评价试试验验对对象象A方法方法C方法方法B方法方法阴阴性性阳阳性性并联试验模式图并联试验模式图诊断实验的评价A方法方法试试验验对对象象B方法方法C方法方法阳阳性性阴阴性性串联试验模式图串联试验模式图诊断实验的评价诊断实验的评价平行试验：平行试验：总灵敏度灵总灵敏度灵(A)灵灵(B) （1灵灵(A) ） 总特异度特总特异度特(A)特特(B)系列试验：系列试验：总灵敏度灵总灵敏度灵(A)灵灵(B)总特异度特总特异度特(A)特特(B) （1特特(A) ）前提：两个实验相互独立。前提：两个实验相互独立。诊断实验的评价确定“金标准”选择研究对象确定样本量试验结果与金标准分类结果比较筛检试验的研究设计要点筛检试验的研究设计要点诊断实验的评价1.确定“金标准” 金标准：指可靠的、公认的、能正确地将有病和无病区分开的诊断方法。q冠心病冠心病:冠状动脉造影冠状动脉造影q肿瘤肿瘤:病理学检查病理学检查q不明原因的腹痛不明原因的腹痛:手术探查手术探查 金标准具有创伤性，因此探求一些新的诊断方金标准具有创伤性，因此探求一些新的诊断方法（诊断试验），并比较其与金标准的差别、得失法（诊断试验），并比较其与金标准的差别、得失及推广价值有现实意义。及推广价值有现实意义。诊断实验的评价2.选择研究对象选择研究对象病例的代表性：病例的代表性：临床各型临床各型(轻、中、重轻、中、重)临床各期临床各期(早、中、晚早、中、晚)有无并发症有无并发症对照组对照组*健康人健康人*未患该病而患其他疾病的病人未患该病而患其他疾病的病人病例组病例组诊断实验的评价待评价筛检试验的灵敏度待评价筛检试验的灵敏度待评价筛检试验的特异度待评价筛检试验的特异度容许误差容许误差：0.050.05或或0.010.013 3、样本含量估算、样本含量估算诊断实验的评价当灵敏度和特异度均接近当灵敏度和特异度均接近50%50%时，可用近时，可用近似下列公式计算样本量。似下列公式计算样本量。 当灵敏度或特异度小于当灵敏度或特异度小于20%20%或大于或大于80%80%时，时，因其趋向偏态分布，可用下列公式计算因其趋向偏态分布，可用下列公式计算样本量。样本量。 灵敏度用于估计病例组人数，特异度用于估计对照组人数。 两组样本量都至少在30例以上，才能保证结果受机会影响的程度在可接受的范围内。诊断实验的评价4.确定筛检试验的阈值均数加减标准差法： 正态分布时 均数2倍标准差百分位数法：偏态分布或分布状态不明时，5%95%为正常。临床判断法ROC曲线法诊断实验的评价案例总结 1.尽管患者无不适主诉，查体也无异常，但由于50岁以上的妇女的乳腺癌的几率为0.3%，为了避免漏诊，医生建议其做乳腺钼钯X线检查，该方法安全、经济、对患者无创伤，同时具有较好的灵敏性，适合对可疑患者进行筛检。2.病史、乳房触诊和钼钯X线检测，只要任一项为阳性（平行实验），则需进一步行FNA检测（即再行系列实验，提高特异度，明确诊断），FNA实验灵敏度为92%、特异度为93%（与前三项平行实验串联后，特异度还会提高）比手术活检经济且创伤小，适宜做诊断实验。该患者FNA检测结果为阳性，提示其患乳腺癌的可能性为64%（由表1分析可知，对于乳腺癌触诊无可疑包块而钼钯X线摄片异常者，其阳性预测值为64%，而对于乳腺触诊有可疑包块而钼钯X线异常者，则阳性预测值升高到88%）。诊断实验的评价案例总结3.鉴于患者患乳腺癌的几率较大（64%），而乳腺癌的早期手术治疗效果较好，于是安排其1周后手术治疗，并在手术的同时做病理切片，病理检测结果最终核实了乳腺癌的诊断。4.假设该患者的钼钯X线检测为异常，而FNA检查为正常，则有99%的把握可排除乳腺癌（由表1分析可知，对于乳腺癌触诊无可以包块而钼钯X线摄片异常者，FNA检测的阴性预测值为99%），即只有1%的可能性是乳腺癌。那么外科手术可考虑暂时不做，建议其定期体检、随访，复查乳腺钼钯X线。当然更为积极的做法是，在患者经济许可且本人同意的前提下，仍行外科手术活检和治疗，因为对于乳腺癌而言，即使是1%的漏诊率也是很高的。诊断实验的评价诊断实验的评价