生物诊断(生物诊断网)

余老师

作者

公众号：医学大数据挖掘分析

生物诊断

受试者工作曲线（receiver operator curves ,简称ROC曲线），它以试验的灵敏度（真阳性率）为纵坐标，以（1-特异度）（或假阳性率）为横坐标作图形成一条曲线，表达灵敏度与特异度之间的相互关系，是广泛应用于临床诊疗和人群筛检研究的一种统计方法。用于评价生物标志物（markers）的性能，即基于标记值是否超过阈值（c），诊断为“正常人”和“患者”（Figure 1）。它结合灵敏度和特异度对诊断试验进行综合评价，根据曲线的形状和面积（Area Under Curve, AUC）对诊断试验作定量分析。

AUC定义为ROC曲线与坐标轴围成的面积，AUC的取值范围通常在0.5到1之间。AUC<0.5不符合真实情况，在实际中极少出现，偶尔数据分析中出现AUC<0.5大多是因为诊断指标的方向选择反了，比如指标小于阈值提示“疾病”。AUC越接近1，markers性能越高：

AUC>0.9时有较高准确性；

AUC在0.7~0.9时有一定准确性；

AUC在0.5~0.7时有较低准确性；

AUC=0.5时真实性最低，markers无诊断价值。

Figure 1

传统的ROC曲线分析方法认为个体的事件（疾病）状态和markers是随着时间的推移而固定的，但在临床流行病学研究中，疾病状态和markers都是随着时间的推移而变化的（即time-to-event outcomes）。早期无病的个体由于研究随访时间较长，可能较晚发病，而且其markers可能在随访期间较基线发生变化。如果使用传统的ROC会忽略疾病状态或markers的时间依赖性，此时用随时间变化的time-dependent ROC（时间相依ROC）比较合适。

同时，对同一种疾病用药疗效的诊断或疾病的预后预测，往往有各种不同的诊断方法或手段，涉及的markers是非常多的，不同的markers对疾病各方面敏感性是不一样的，因此在做出诊断时如何充分利用、评价、比较这些markers的诊断信息、价值，就显得非常重要。

原理：ROC及时间相依ROC

传统的ROC：

假设有个体i（i=1,2,3,…,n），X为生物标记物markers（通常为基线值），D为事件的状态，1表示发生事件（疾病），否则为0；对于给定的阈值c，则灵敏度和特异度分别为：

展开全文

Xi 表示阳性组中第 i 个检测结果， Xj 表示阴性组中第 j 个检测结果，阳性例数用 n 表示，阴性例数用 m 表示。则ROC 曲线下面积——AUC（阳性组测量值大于阴性组测量值的概率）的估计值为：

时间相依ROC:

生存数据中，结果变量是时间相依的，所以灵敏度和特异度可看作是时间的函数。假定Ti为个体i的发病时间，设Di(t)为t时刻的疾病状态，取值1或0。对于给定的阈值c，时间相关的灵敏度和特异度分别有：

时间相关的AUC定义为：

实例

使用数据来自于1974年至1984年间梅奥诊所（Mayo Clinic）对原发性胆汁性肝硬化（primary biliary cirrhosis, PBC）的临床试验的子数据集（mayo）。数据集记录312例随机胆汁性肝硬化（一种罕见的自身免疫性肝病）患者的4个变量：time（事件时间/截尾时间）、censor（截尾指标）、mayoscore4与mayoscore5，这两个分数分别来自4个协变量和5个协变量构造的预测的风险评分。此分析目的是确定mayoscore4、mayoscore5能否提供预后信息，并比较两个评分指标的性能。

ROC曲线在SPSS以及R的实现

使用传统的ROC曲线分析，评价mayoscore4与mayoscore5对结局的诊断价值。ROC曲线分析在SPSS（26.0）的实现是很简单的，对于单个或多个marker来说，SPSS给出了ROC曲线下的面积（AUC）以及面积是否有统计学意义的结果，以此判断marker的诊断价值。还可以判断多个marker间的AUC是否有差异，哪个marker的诊断价值更高，但并不能绘制置信区间（Figure 2）。采用R 可以绘制AUC的置信区间（Figure 3）。

1) SPSS实现步骤：分析—分类—ROC分析（成对样本设计）

Figure 2

另外，SPSS（26.0）可以实现对同一marker进行分组绘制ROC曲线，并比较组间的差异，在此并未显示，有兴趣可自行实践。

2）ROC在R的实现

在R中，ROCR和pROC是常用的绘制ROC曲线的包，在这里使用pROC绘制。

部分代码如下：

Figure 3

得到mayoscore4与mayoscore5的AUC分别为：0.846（95%CI:0.799~0.893）, 0.775（95%CI:0.721~0.829）,且可以绘制置信区间。但是很明显传统的ROC分析没有将终点事件出现的时间（time）考虑在内，忽略了结局状态或生物标记物（marker）对时间的依赖。

采用时间相依的ROC会有什么不同？

查看生存分析数据：

胆汁性肝硬化患者的生存曲线显示生存率下降较为平缓，现评价mayoscore4与mayoscore5进行生存预后预测的价值。

Survival ROC绘制不同时间点的ROC曲线

部分代码如下：

Figure 5

Figure 6

SurvivalROC使用Kaplan-Meier（KM）或最近邻（Nearest Neighbor Estimation, NNE）法从含有删失的生存数据中估计时间相关的ROC曲线。本例使用survivalROC绘制了六个时间点（365*c（1,2,3,4,5,6））的ROC曲线（Figure 5-6），可以明显发现不同时间点的AUC是不一样的。t=365时，AUC的值最大，这是因为在此之前发生的结局事件很少。其他各个时间的AUC亦给出。但是该方法并不能计算AUC的95%置信区间，如果需要估算AUC的置信区间，需要采用“timeROC”。

timeROC估计多个时间点AUC以及AUC的95%置信区间

使用time ROC绘制mayoscore5与mayoscore4在不同时间点的ROC曲线，以及不同时间点的AUC。

部分代码如下：

生物诊断(生物诊断网)

Figure 8

time ROC通过对时间t之前发生事件个体的标记值以及时间进行加权，进行调整估算时间相依的ROC以及AUC。可以计算同一受试者两种不同标记物的两条曲线下面积（AUC）比较的置信区间和测试（compare），同时计算多个时间点的AUC。同样使用time ROC绘制了六个时间点（365*c（1,2,3,4,5,6））的ROC曲线（Figure 7）以及AUC（95%CI）随时间的变化（Figure 8）。可以看出在短时间内，mayoscore4的AUC是高于mayoscore5的，但随着时间的推移，mayoscore5的AUC逐渐高于mayoscore4。

使用传统的ROC曲线，得到的结果是mayoscore5的AUC大于mayoscore4，但使用时间相依的ROC曲线结果显示mayoscore5的AUC逐渐高于mayoscore4，是随着时间的推移的结果。

总结

传统的ROC分析对生存分析数据进行ROC分析容易忽略疾病状态或markers对时间的依赖性，可以采用时间相依的ROC曲线分析。在时间相依的ROC曲线分析中，每个个体的疾病状态在每个时间点被观察和更新，可以在多个时间点构建ROC曲线，并比较该标记的预测能力。目前R中除survivalROC, timeROC外，还有tdROC、timereg、risksetROC、survAUC等可以做时间相依ROC。另外，ROC还可以根据生物指标的阈值(c)进行合理的分组，如有朋友对此感兴趣，可后台回复联系我们。

参考文献

1 Kamarudin A N, Cox T, Kolamunnage-Dona R. Time-dependent ROC curve analysis in medical research: current methods and applications [J]. BMC Medical Research Methodology, 2017, 17(1):1-19.

2 Heagerty P J, Zheng Y. Survival Model Predictive Accuracy and ROC Curves [J]. Biometrics, 2005, 61(1):92-105.

生物诊断(生物诊断网)