预测模型锦上添花技能:两模型比较的ROC分析

常见问题

构建了多个预测模型,哪个好?单个指标预测就够了,还是需要联合多个指标?

解决方案:需要构建多个模型(单指标模型、不同组合的多指标模型),在一张图上显示多个模型的ROC曲线进行比较。谁好,比一比就知道。

例如新英格兰这篇文章的附图,给出了关注的单个指标X(红线)、临床常规指标(黑线)、所有指标联合(蓝线)做诊断试验ROC曲线。可以看出红线在黑线的上面,表明单用X的诊断价值比临床指标高。红线和蓝线有交叉,表明是否加上临床指标,对于X的诊断价值影响可能不大。Predictive Value of the sFlt-1:PlGF Ratio in Women with Suspected Preeclampsia.N Engl J Med, 2016.

然而这只是肉眼看出来的,到底差异显著吗?本研究没有计算p值。要计算这个p值,可以通过R或SAS编程实现,也可以运用易侕软件模块化自动调用R程序实现。

两预测模型比较的常规操作

输出两模型比较的结果:预测模型方程、ROC曲线下面积(AUC)等,得出两模型比较的p值。

结果解读,如本例中模型1和模型2得出的ROC曲线面积分别为0.9136和0.91,看上去好像差别很小;看图两条ROC线也基本重合。然而通过计算两模型比较的p值=0.032,表明不能认为两个模型没有差别,可以认为AUC大的(模型1)更好。

考虑随访时间的预测模型比较

如果有随访时间,勾选Time-dependent ROC,给出时间变量,其它设置不变。

输出两模型比较的AUC、C index等,这两个参数是同类指标,都是越大越好。2018年6月4日本模块加了C index的95%CI,这样也可以判断模型差异的显著性了:如果模型2的C在模型1的C的95%CI之外,或模型1的C在模型2的C的95%CI之外,就肯定是显著了。是用bootstrap重采样实现的。

学会了两两比较,如果有三个、四个模型也就会比较了。就像好几个国家比赛打乒乓球,两两打,胜者再两两打就可以了。用两模型比较的方法,是锦上添花的技能。然而也不是文章必需的,通常审稿人不会因为没有做这个分析而据稿。

扫一扫,惊喜不断!

欢迎关注EmpowerStats!

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180605G0SVR100?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

同媒体快讯

扫码关注云+社区

领取腾讯云代金券