定性测定的性能验证定性测定的性能验证李金明 卫生部临床检验中心临床定性检验的报告方式临床定性检验的报告方式l有反应、无反应、阳性、阴性l是、不是（或有、没有）“性能验证性能验证”？lISO15189实验室认可的要求？（任务？）l实验室检测临床应用的必需？高速列车性能验证高速列车性能验证l空气动力学l速度l车体转向架运行l固定、悬挂的零部件强度l稳定性l舒适感l故障率l定性测定系统定性测定系统/试剂试剂性能验证性能验证l特异性l敏感性l测定下限l重复性（包括CUTOFF值的重复性）l准确性l抗干扰能力性能验证的合格标准从何而来性能验证的合格标准从何而来？l试剂盒说明书l国际和或国际标准什么时候进行性能验证什么时候进行性能验证l使用新的检测试剂或系统时l更换检测试剂或系统时临床实验室为什么更新检测试剂或临床实验室为什么更新检测试剂或系统系统？新的试剂或系统新的试剂或系统l更易于操作l更高的检测性能l更经济l更能满足实验室测定要求性能验证前的准备性能验证前的准备l应熟悉待验证的试剂或系统l进行必要的培训，包括样本的处理和储存、试剂的处理和储存、合理的检测方案、对结果合理的解释以及系统的质量控制等。l制定质量保证计划l确定患者样本的数量及强弱（评价重复性）l确定比较的方法CLSI EP12-A2 User Protocol for Evaluation of Qualitative Test Performance; Approved Guideline编制性能验证的编制性能验证的SOP定定 义义l筛查试验筛查试验：临床上，筛查方法通常用于检测整个人群（或者人群中的特定部分）中特定指标的情况。例如对样本做粪便隐血检测或者性病研究实验室（VDRL）梅毒血清学试验。一般来说，这些用于筛查的定性试验必须具有高敏感性以确保真阳性结果的检出。因此通常筛查试验比诊断试验或确认试验会产生更多的假阳性结果。如果筛查试验的假阳性结果所造成的社会及经济后果不是非常严重，这种低特异性可通过特异性较好的确认试验加以弥补。 尽管阳性筛查试验结果需要确认试验来进一步证实，但是这依然要优于假阴性筛查试验结果的出现。因为假阴性结果会造成更严重的后果，例如疾病通过已感染的血液传播或者延误了对于可治愈的严重疾病的治疗。CLSI EP12-A2 User Protocol for Evaluation of Qualitative Test Performance; Approved Guideline定定 义义l诊断试验诊断试验：通常用于临床怀疑某种特定疾病或状况是否存在的诊断性定性试验。例如各种微生物培养就是用于检查感染情况的诊断试验。因临床上对治疗的及时的要求，诊断试验应具有很好的敏感性和特异性。如果诊断试验后还进行确认试验，那么诊断试验的特异性要求可以稍微降低。CLSI EP12-A2 User Protocol for Evaluation of Qualitative Test Performance; Approved Guideline定定 义义l确认试验确认试验：确认试验用于验证筛查试验或者诊断试验结果。如果确诊试验证实了之前的检测结果，临床医生即可作出诊断。确认试验通过设计使其具有较高的特异性（有时甚至以牺牲敏感性为代价）以及高阳性预测值。螺旋体抗体荧光吸附（FTA-ABS）梅毒血清学试验就是一种用于VDRL梅毒血清学试验等筛查试验之后的确认试验。定 义l临床敏感性临床敏感性：在患有明确临床疾病的患者中，其检测结果呈阳性或者超过正常值范围的比率 （即出现阳性结果和确定患者患病）；注：该临床疾病必须由不依赖于被评价试验的标准确定。l临床特异性临床特异性：在没有特定临床疾病的患者中，其检测结果呈阴性或者在正常值范围内的比率。定 义l阳性阳性测定能力指数（定能力指数（DI（）：（）：可定义为一实验对阳性标本测定后给出阳性结果的能力（通常称为“敏感性”）； DI（）=真阳性/（真阳性+假阴性）100% l阴性阴性测定能力指数（定能力指数（DI（）：（）：则为对阴性样本测定给出阴性结果的能力（通常称为“特异性”）； DI（）= 真阴性/（真阴性+假阳性）100% 定 义l阳性阳性结果的可靠性（果的可靠性（预示示值）：）：即测定为阳性的标本实际上为阳性的可能性。 =真阳性/（真阳性+假阳性）100%l阴性阴性结果的可靠性果的可靠性:则为一份给出阴性结果的样本实际上为阴性的可靠性。 = 真阴性/（真阴性+假阴性）100%“预示值预示值”对临床检验结果影响对临床检验结果影响预示值对一个有预示值对一个有95%敏感性和敏感性和95%特异性的特异性的试剂检测结果的影响（试剂检测结果的影响（100,000人）人） 结 果果 10%感染率感染率 1%感染率感染率 检出 (+)未检出 () 检出(+)未检出() + 9,500 500 950 50 4,500 85,500 4,950 94,050敏感性(TP/TP+FN) 95% 95%特异性(TN/TN+FP) 95% 95%阳性预示值TP/TP+FP 9500/9500+4500=67.9%950/950+4950=16%阳性预示值TN/TN+FN85500/85500+500=99.4%94050/94050+50=99.9%样本的准备样本的准备l质控品：使用商品化质控物进行，包括阴性和阳性。l样本的采集和保存：采集时间、保存方式等必须保证一致性。CLSI EP12-A2 User Protocol for Evaluation of Qualitative Test Performance; Approved Guideline重复性验证重复性验证lCUT-OFF的重复性（同时包含测定下限的验证）l批内变异的验证l批间变异的验证重复性验证的质量控制重复性验证的质量控制l质控品：如方法学比较在10天内完成，则每一批次都要对每份质控样本进行检测，共提供20次重复检测结果。如果方法比较研究超过20天，则每一批次都要对每份对照样本进行单次检测，总计也提供20次重复结果。 如出现失控，则当次检测结果无效。在当天或第二天安排新批次的检测以替换不合格的批次。实验室要分析失控的原因。不合格批次在10天内不应超过1次或20天内不超过两次。如若超出，所在实验室应中止检测工作并咨询试剂制造商以确定原因并采取纠正措施。CLSI EP12-A2 User Protocol for Evaluation of Qualitative Test Performance; Approved Guideline重复性验证：样本浓度重复性验证：样本浓度lCUT-OFF重复性验证：重复性验证：样本浓度应接近临界值临界值。不宜用阴性或强阳性样本。l批内和批间变异验证：高、中和低三个浓度（与试剂盒说明书中所述相适应）CUT-OFF重复性和重复性和测定下限验证测定下限验证临界点临界点的定义的定义l同样一份样本，在多次重复实验中各有50%的几率获得阳性或阴性的结果时该分析物的浓度。CLSI EP12-A2 User Protocol for Evaluation of Qualitative Test Performance; Approved Guideline临界点（临界点（CUT-OFF)与试剂盒阳性反与试剂盒阳性反应判断值（应判断值（CUT-OFF值）的区别值）的区别l这里的临界点指的是一个处于试剂检测临界点的样本浓度，其一旦确定，是不变的。l试剂盒CUT-OFF值指的是一个判断某一次测定结果的由阴性和阳性对照信号值按一定公式计算出来的信号值，每次测定都会有所差异。如何获得系统或试剂的如何获得系统或试剂的“临界点临界点”l检测试剂或系统的说明书可能会注明分析物的临界浓度。l如果临界浓度未知，则可以将阳性样本进行一系列稀释，然后将他们进行重复检测以确定能够获得50%阳性和50%阴性结果的那个稀释度。这一稀释度的分析物浓度即为临界点。CLSI EP12-A2 User Protocol for Evaluation of Qualitative Test Performance; Approved Guideline临界点（临界点（CUT-OFF）的）的(精密度）精密度）重复性指的是什么？重复性指的是什么？l是为正在评价的检测试剂或系统建立分析物的临界浓度(C50)，并且确保临界浓度20%的范围处于95%区间内(C95)。CLSI EP12-A2 User Protocol for Evaluation of Qualitative Test Performance; Approved Guideline不精密度曲线不精密度曲线两种两种不同不同方法的不精密度曲线方法的不精密度曲线比较比较验证步骤验证步骤l制备足够40次重复检测的3份样本：分别为处于临界浓度、高于临界浓度20%和低于临界浓度20%的样本。l重复检测样本40次，确定每一份样本结果为阳性和阴性的百分比。l评价临界浓度是否准确？评价+20至-20%的浓度范围是否包含于、位于或者超出这种方法的95%区间？CLSI EP12-A2 User Protocol for Evaluation of Qualitative Test Performance; Approved GuidelineC50是否准确？是否准确？ 40次测试 C501阳性结果=27/40(67.5%)2阳性结果（14-26）/40（35%-65%）正确阳性结果重复性检测总次数次数百分比真正百分比样本的实际浓度201050%30%-70%C30-C70402050%35%-65%1005050%40%-60%不同不同C50重复检测次数与检重复检测次数与检出阳性数的关系出阳性数的关系候选方法的候选方法的-20%+20%浓度范浓度范围是否包含了围是否包含了C5-C95区间？区间？1 +20% 阳性结果=35/40(87.5%)-20% +20%浓 度 范 围 在C5-C95区间之内用该方法检测浓度超过C50+20%的样本检测结果不一致-20% 阴性结果=36/40(90%) -20%+20%浓度范围包含了C5-C95区间用该方法检测，C50+20%的样本检测结果一致-20% 阴性结果=36/40(90%) 3 +20% 阳性结果=36/40(90%)-20%+20%浓度范围只是部分地在C5-C95区间内。（+20%包含了C5-C95区间，但-20%浓度的样本在C5-C95区间内。）用该方法检测，C50+20%的样本检测结果一致。浓度-20%的样本用该方法却不一定能得到一致结果。-20% 阴性结果=35/40(87.5%)4 +20% 阳性结果=36/40(90%)批内重复性的验证批内重复性的验证l高、中、低三个浓度的样本，在一批检测内，重复检测20次（孔），计算所得S/CO值的均值和SD，计算批内CV%。l判断结论：应试剂说明书所标明的批内变异。ELISA的批内变异CV%应10%。批间重复性的验证批间重复性的验证l高、中、低三个浓度的样本，在10天以上时间内单次（孔或管）重复进行20批检测，计算所得S/CO值的均值和SD，计算批间CV%。l判断结论：应试剂说明书所标明的批间变异。 ELISA的批间变异CV%应15%。测定下限的验证测定下限的验证l处于测定下限浓度（如临界点浓度+20%）的样本，重复检测20次，应至少有18次以上为阳性反应。特异性验证特异性验证l特定病原体以外感染性疾病患者的样本。l含有干扰性物质的样本：类风湿因子（RF）阳性、含异嗜性抗体、溶血、脂血、高胆红素样本。l结果判断：非特定病原体感染患者样本均应为阴性。含一定浓度干扰物质的样本检测应为阴性。准确性验证：方法比较准确性验证：方法比较l另一种定性方法（如使用者目前正在使用的方法）l“金标准”方法l某种定量方法或临床诊断。CLSI EP12-A2 User Protocol for Evaluation of Qualitative Test Performance; Approved Guideline准确性验证用样本的要求准确性验证用样本的要求l量要足够大l注意在一次获得多组样本时可能存在的偏差l稳定l两种方法同时进行检测CLSI EP12-A2 User Protocol for Evaluation of Qualitative Test Performance; Approved Guideline方法比较方法比较用样本数量用样本数量l取决于评价者的目的。作为最低要求，检测要持续到至少用比较方法获得50个阳性样本。l并且至少用比较方法获得50例阴性样本以确定此种检测方法的特异性。CLSI EP12-A2 User Protocol for Evaluation of Qualitative Test Performance; Approved Guideline方法比较方法比较持续时间持续时间l1020天。CLSI EP12-A2 User Protocol for Evaluation of Qualitative Test Performance; Approved Guideline数据收集的检查数据收集的检查 l每次实验，应立即记录所有原始检测数据并复核，以早期发现分析系统及人为误差的来源。l一旦发现某些结果是由可解释的误差引起的，则应将其记录下来，同时，这些结果不能用于数据分析。l如不能确定误差产生的原因，则保留原始结果。不一致结果的处理不一致结果的处理l如果比较方法不是100%准确，可以用“金标准”“参考方法”来检测在检测和比较方法间产生差异的样本。CLSI EP12-A2 User Protocol for Evaluation of Qualitative Test Performance; Approved Guideline参考血清盘参考血清盘l曾经被检测过的、或者被成熟方法检测的，或临床诊断中有意义的临床样本对于评价定性方法来说很有价值。l阳性样本浓度高低不等，具有代表性。可占整个血清盘样本数的50%。l阴性样本可含有干扰物质。可占整个血清盘样本数的50%。CLSI EP12-A2 User Protocol for Evaluation of Qualitative Test Performance; Approved Guideline方法学比较的结果计算方法学比较的结果计算 比较用方法结果比较用方法结果 阳性 阴性 总数待评价方法结果 阳性 A B A + B 阴性 C D C + D 总数 A + C B + DA+B+C+D敏感性=A/（A+C）100% 特异性=D/（D+B）100% 符合率=（A+D）/（A+B+C+D） 100% CLSI EP12-A2 User Protocol for Evaluation of Qualitative Test Performance; Approved Guideline准确性验证的其他方面准确性验证的其他方面l与临床的“对话”。这也是一个新新的试剂或方法或系统替代旧旧的试剂或方法或系统成功应用于临床的前提。定性测定手工操作的人定性测定手工操作的人员比对：员比对：准备准备l人员操作及对所制定的SOP的遵循性的培训l除操作者外，其他如地点、仪器、试剂、时间等均应相同。l样本准备：日常检测的样本。应有一定数量的阳性样本（如3050份）。人员比对操作步骤人员比对操作步骤l持续时间：1020天。l测定批数：20l结果计算及判断：人员之间的阳性和阴性检测符合率；比较人员间室内质控样本检测的批间变异（CV%）。可选择1份弱阳性样本重复检测20孔，以观察不同操作者的批内变异的差异。l不同操作者的批间变异，还可通过在实际工作中定期分析总结进行。定性测定的仪器比对步骤定性测定的仪器比对步骤l持续时间：1020天。l测定批数：20l结果计算及判断：仪器之间的阳性和阴性检测符合率；比较仪器间室内质控样本检测的批间变异（CV%）。可选择1份弱阳性样本重复检测20孔，以观察不同仪器间的批内变异的差异。l不同仪器间的批间变异，还可通过在实际工作中定期分析总结进行。新旧批号试剂的比对新旧批号试剂的比对l地点（包括环境条件）、仪器、标本、时间、人员均相同。只有试剂批号不同。l标本： 20份以上的临床样本，可包括不同浓度（强、中、弱）阳性样本及一定数量阴性样本。标本可为已知结果，亦可为未知结果日常临床样本（此时，可加数份已知阳性样本）。l检测：严格按照SOP进行操作。可选择1份弱阳性样本重复检测20孔，以观察不同批试剂的批内变异的差异。l此外，亦可观察不同批试剂的批间变异（可通过在实际工作中定期分析总结进行）对性能验证的一点个人想法对性能验证的一点个人想法l要做！l怎么做：按照制定的SOP做！l怎么写SOP：参照标准的方法写，但可以适当简化！l一个标准：以满足临床需求为前提！以临床医生满意为前提！ 谢谢！谢谢！