常见问题
构建了多个预测模型,哪个好?单个指标预测就够了,还是需要联合多个指标?
解决方案:需要构建多个模型(单指标模型、不同组合的多指标模型),在一张图上显示多个模型的ROC曲线进行比较。谁好,比一比就知道。
例如新英格兰这篇文章的附图,给出了关注的单个指标X(红线)、临床常规指标(黑线)、所有指标联合(蓝线)做诊断试验ROC曲线。可以看出红线在黑线的上面,表明单用X的诊断价值比临床指标高。红线和蓝线有交叉,表明是否加上临床指标,对于X的诊断价值影响可能不大。Predictive Value of the sFlt-1:PlGF Ratio in Women with Suspected Preeclampsia.N Engl J Med, 2016.
然而这只是肉眼看出来的,到底差异显著吗?本研究没有计算p值。要计算这个p值,可以通过R或SAS编程实现,也可以运用易侕软件模块化自动调用R程序实现。
两预测模型比较的常规操作
输出两模型比较的结果:预测模型方程、ROC曲线下面积(AUC)等,得出两模型比较的p值。
结果解读,如本例中模型1和模型2得出的ROC曲线面积分别为0.9136和0.91,看上去好像差别很小;看图两条ROC线也基本重合。然而通过计算两模型比较的p值=0.032,表明不能认为两个模型没有差别,可以认为AUC大的(模型1)更好。
考虑随访时间的预测模型比较
如果有随访时间,勾选Time-dependent ROC,给出时间变量,其它设置不变。
输出两模型比较的AUC、C index等,这两个参数是同类指标,都是越大越好。2018年6月4日本模块加了C index的95%CI,这样也可以判断模型差异的显著性了:如果模型2的C在模型1的C的95%CI之外,或模型1的C在模型2的C的95%CI之外,就肯定是显著了。是用bootstrap重采样实现的。
学会了两两比较,如果有三个、四个模型也就会比较了。就像好几个国家比赛打乒乓球,两两打,胜者再两两打就可以了。用两模型比较的方法,是锦上添花的技能。然而也不是文章必需的,通常审稿人不会因为没有做这个分析而据稿。
扫一扫,惊喜不断!
欢迎关注EmpowerStats!
领取专属 10元无门槛券
私享最新 技术干货