临床诊断试验与评价临床试验的类型I期临床试验：人体药物的耐受程度，药物 在人体中的代谢情况。参加试验的人员是健 康人或病人（20左右）II期临床试验：药效、安全性的初步评价。 患者参加试验（200例以上） III期临床试验：药效与安全性的确认阶段， 我国法规要求试验组人数300以上，总人数 400-500人IV期临床试验：上市后的临床研究。更大范 围使用后的疗效与安全性一、诊断试验的研究设计 随机 对照 重复 伦理 盲法试验设计中的要素 一、处理因素 二、受试对象 三、试验效应临床试验避免偏倚的技巧随机对照重复盲法临床试验资料的数据集分析应包括在知情同意的基础上，愿意参加试验的所有随机化后的受试者，也即原计划好处理（治疗）的受试者都需进入分析，而不是根据实际上完成的受试者。按此原则所作的分析是最好的分析，研究在病人知情同意的前提下，应该考虑参与者的依从性，制定合理的纳入排除标准，要求每一个随机分到试验组或对照组的受试者都应该尽量完整地随访，记录研究结果如疗效、安全性评价指标以及脱离原因。同时，要考虑参与者和不愿意参与者的差异，以及给研究结果带来的偏倚。意向性分析（Intention to treat）全分析集（full analysis set， FAS）安全性评价（safety set）临床有效性的统计学评价为什么要学习诊断试验的评价选择最科学合理的诊断方法，循 证医学的重要内容根据实际需要，提供具有优势的 诊断试验（试剂、药物、方法）金标准的选择最为可靠的诊断标准！二、诊断试验的评价指标诊断实验的灵敏度和特异度不会受到患病率的影响， 但是预测值指标会受到患病率高低的影响。阳性预测值的应用诊断试验的评价指标二、诊断试验中常用的评价指标：灵敏度、特异 度、误诊率、漏诊率三、预测指标：阳性预测值、阴性预测值四、诊断试验的综合评价指标：正确率、Youden 指数、比数积、阳性似然比、阴性似然比诊断试验中常用的评价指标例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现 阳 性 阴 性 合计416(TP) 9（FP）425 104(FN)171（TN）275 520180700(N)常用指标有（一）正确百分率、（二）灵敏度、（三）特异度、 （四）Youden指数、（五）阳性似然比、（六）阴性似然比、 （七）阳性预报值、 （八）阴性预报值。例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现 阳 性 阴 性 合计416(TP) 9（FP）425 104(FN)171（TN）275 520180700(N)例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现 阳 性 阴 性 合计416(TP) 9（FP）425 104(FN)171（TN）275 520180700(N)例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现 阳 性 阴 性 合计416(TP) 9（FP）425 104(FN)171（TN）275 520180700(N)灵敏度与特异度的优缺点优点：灵敏度与特异度不受患病率的影响 ，其取值范围均在（0, 1）之间，其值越 接近于1，说明其诊断准确性越好。缺点：当比较两个诊断试验时，单独使用 灵敏度或特异度，可能出现矛盾。解决办法：将两指标结合：Youden指数 、阳性似然比、阴性似然比等例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现 阳 性 阴 性 合计416(TP) 9（FP）425 104(FN)171（TN）275 520180700(N)例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现 阳 性 阴 性 合计416(TP) 9（FP）425 104(FN)171（TN）275 520180700(N)例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现 阳 性 阴 性 合计416(TP) 9（FP）425 104(FN)171（TN）275 520180700(N)医生最关心的问题：1. 试验阳性时患病的概率多大？2. 试验阴性时不患病的概率多大？3. 如何选择合适的诊断界值，做出合理的诊断，使患者获得最好的处理例13.2 表13.2 ECG诊断试验的结果例13.2 表13.2 ECG诊断试验的结果例13.2 表13.2 ECG诊断试验的结果ECG诊断结果心肌梗塞合 计出现不出现 阳 性 阴 性 合计416(TP) 9（FP）425 104(FN)171（TN）275 520180700(N)阳性预报值与阴性预报值五、 截断点的选择与ROC曲线在进行诊断临界点选择的时候，需要综合 考虑灵敏度和特异度，选择最佳诊断界值 。ROC曲线提供了很好的临界点选择工具 。ROC【receiver(relative) operating characteristic的缩写，译 为“接受者工作特征”】 ROC曲线研究历史 1950s 雷达信号观测能力评价 1960s中期 实验心理学、心理物理 学 1970s末与1980s初 诊断医学ROC的涵义与起源诊断试验：泛指血液生化、影像学、免疫学、细胞学、 病理学、统计模型等检查。重要性： 1. 循证医学的重要组成部分2. 诊断试验评价方法可用于：临床试验评价临床检验评价流行病学筛查试验评价实验室检验评价统计学模型评价ROC曲线评价诊断试验的重要性灵敏度,特异度,假阴性率,假阳性率Test variable医学诊断试验多数不能将病例和对照完全 分开，而只有将二者100%的分开时，才 能够获得100%正确的诊断。不同诊断界值时 灵敏度与特异度间的平衡(trade off)0204060801005060708090100特异度 灵敏度百分率（）Test variable完美与无用的ROC曲线真 阳 性 率即灵 敏 度假阳性率 即 1特异度机率线(chance line) (diagonal reference line)诊断准确度较低（0.9）0.00.20.40.60.81.00.00.20.40.60.81.0FPRT P RA0.938ROC曲线下面积（Area）与诊断准确度高低 高 0.90-1.00 = excellent (A) 中 0.80-0.90 = good (B) 0.70-0.80 = fair (C) 低 0.60-0.70 = poor (D) 0.50-0.60 = fail (F)似然比（LR）在ROC曲线空间的涵义白细胞计数诊断白血病LR7.5LR0.7LR2.3LR25.0基本概念小结lROC曲线反映了灵敏度与特异度间的平衡 (增加灵敏 度将降低特异度；增加特异度将降低灵敏度)。 l在ROC曲线空间，如果曲线沿着左边线，然后沿着 上边线越紧密，则试验准确度越高。 l在ROC曲线空间，如果曲线沿着机会线（45度对角 线）越紧密，则试验准确度越低。 l在诊断界值（cutpoint）处的正切线的斜率就是该试 验值对应的阳性似然比（likelihood ratio，LR)。在 ROC曲线空间的左下角LR+最大，随着曲线从左下 往右上方移动，LR+逐渐减小。lROC曲线下面积是重要的试验准确度指标。 主要任务：l计算ROC曲线工作点（Coordinate point或 Operating point）（FPR, TPR）l连接相邻两点一、ROC曲线工作点的计算与曲线绘制连续型数据的 ROC曲线工作点（TPR，FPR）计算将这9个数据 从大到小排列，以 前8个数，分别作 为诊断界值，大于 等于诊断界值者判 为阳性，小于该值 者判为阴性。这样 ，可整理成8个四 格表表133 假想的连续型数据有序分类数据的有序分类数据的 ROCROC曲线工作点（曲线工作点（TPRTPR，FPRFPR）计算）计算将诊断分类数据按大 到小排序，以前4个分类 作为诊断界值，大于等于 诊断界值者为阳性，小于 该值者为阴性。这样，可 整理出4个四格表，每个 四格表对应的ROC曲线的 工作点见下表。2二、ROC曲线下面积的计算lROC曲线下面积 (Area)l 部分ROC曲线下的面积 l FPR为某值对应的TPR值(一) Hanley 和 McNeil非参数法非参数法 RO C曲线 下面积 (Az)就 是异常 组观察 值大于 正常组 观察值 的概率Mann- Whitney U 统计量Hanley 和 McNeil法法ROCROC曲线下面积曲线下面积 与Mann-Whitney U 检验l由秩和检验中的 Mann-Whitney U 统计量（SPSS等 软件均可计算）可 计算ROC曲线下 面积l零假设H0:总体 ROC面积0.5 的检验等价于 Mann-Whitney U 检验SPSS输出的ROC面积检验P值 即为上述Z值对应的概率Hanley 和 McNeil法法ROCROC曲线下面积曲线下面积 与梯形规则（trapezoidal rule） lHanley 和 McNeil法 ROC曲线下 面积等于等于所 有曲线下梯梯 形形（包括最 左侧的三角 形）面积之 和（二）其他ROC曲线下面积计算方法1. 双正态法2. 有序回归模型3. 其他模型(如双Gama法、双 指数法)l单个连续型资料（实例1）l单个有序分类资料（实例2）l两个相关连续型资料（实例3）l两个相关有序分类资料（实例4）二、ROC分析的数据类型Test variables实例实例1 1：采用骨髓诊断作为金标准，对100例缺铁性贫血 疑似患者进行确诊，患该病者为异常组(34例)，未患该病者 为正常组(66例)。为了考察红细胞平均容积（MCV）诊断缺 铁性贫血的效果，测得每一个体的MCV值如下：State VariableTest Variable实例1：MCV诊断缺铁性贫血图4 连续性资料的两组频率分布0.30.20.100.10.20.3556065707580859095100105组段上限值异 常 组 频 率实例实例1 1的的SPSSSPSS输入格式输入格式State Variable骨髓诊断Test VariableMCV结果0正常组 1异常组Value of State Variable：1SPSS的GraphsROC Curve界面如果试验测 量值越小患 病的可能性 越大时应改 变默认的 OptionsSPSS输出结果SPSS输出结果SPSS输出结果SPSS输出结果MCV诊断缺铁性贫血的ROC曲线0.00.20.40.60.81.00.00.20.40.60.81.0 FPRT P R双正态 机率线 工作点实例2：某放射医生将已知实际分类的影像， 按肯定正常、可能正常、疑似异常、可能异常、肯 定异常，分别分为1、2、3、4、5五类。State VariableTest VariableFrequency Variable实例实例2 2：放射医生影像分类：放射医生影像分类图6 单个有序分类资料的两组频率分布-0.5-0.4-0.3-0.2-0.100.10.20.30.40.512345 分类异 常 组 频 率实例实例2 2的的SPSSSPSS输入格式输入格式State Variable 组别Test Variable诊断分类0正常组 1异常组Value of State Variable：1SPSS的GraphsROC Curv