预测模型锦上添花技能：两模型比较的ROC分析

常见问题

构建了多个预测模型，哪个好？单个指标预测就够了，还是需要联合多个指标？

解决方案：需要构建多个模型（单指标模型、不同组合的多指标模型），在一张图上显示多个模型的ROC曲线进行比较。谁好，比一比就知道。

例如新英格兰这篇文章的附图，给出了关注的单个指标X（红线）、临床常规指标（黑线）、所有指标联合（蓝线）做诊断试验ROC曲线。可以看出红线在黑线的上面，表明单用X的诊断价值比临床指标高。红线和蓝线有交叉，表明是否加上临床指标，对于X的诊断价值影响可能不大。Predictive Value of the sFlt-1:PlGF Ratio in Women with Suspected Preeclampsia.N Engl J Med, 2016.

然而这只是肉眼看出来的，到底差异显著吗？本研究没有计算p值。要计算这个p值，可以通过R或SAS编程实现，也可以运用易侕软件模块化自动调用R程序实现。

两预测模型比较的常规操作

输出两模型比较的结果：预测模型方程、ROC曲线下面积（AUC）等，得出两模型比较的p值。

结果解读，如本例中模型1和模型2得出的ROC曲线面积分别为0.9136和0.91，看上去好像差别很小；看图两条ROC线也基本重合。然而通过计算两模型比较的p值=0.032，表明不能认为两个模型没有差别，可以认为AUC大的（模型1）更好。

考虑随访时间的预测模型比较

如果有随访时间，勾选Time-dependent ROC，给出时间变量，其它设置不变。

输出两模型比较的AUC、C index等，这两个参数是同类指标，都是越大越好。2018年6月4日本模块加了C index的95%CI，这样也可以判断模型差异的显著性了：如果模型2的C在模型1的C的95%CI之外，或模型1的C在模型2的C的95%CI之外，就肯定是显著了。是用bootstrap重采样实现的。

学会了两两比较，如果有三个、四个模型也就会比较了。就像好几个国家比赛打乒乓球，两两打，胜者再两两打就可以了。用两模型比较的方法，是锦上添花的技能。然而也不是文章必需的，通常审稿人不会因为没有做这个分析而据稿。

扫一扫，惊喜不断！

欢迎关注EmpowerStats!