预测肿瘤试验的截止日

背景：对于以time-to-event终点为主要终点的肿瘤试验，临床试验中期分析或最终分析的截止日期(clinical cutoff date)是由达到预设的events数量决定的。在临床试验的进行过程中，项目的统计师经常会遇到团队提出以下问题：

我们试验的cutoff date预计在什么时候？

最早会在什么时候，最晚会在什么时候？

如果我依据当时观察到的events call cutoff, 而data cleanning的过程中由于一些之前漏掉的events进入数据库，导致lock的数据库中观察到的events比预计的多，会有什么问题吗？

在项目的初期，cutoff date的预测多半基于protocol的假设，而假设可能与实际情况相背离（比如，背离treatment effect的假设，入组速度的假设，患者脱落率的假设，等等），以至于最初对cutoff date, 从而是NDA filing date的预计并不准确。随着试验的进行，我们有必要根据数据库中的实际数据（pooled data) 重新模拟，以更好的预测cutoff date, 和帮助项目组计划DBL和NDA准备工作。

2014-2015年，小凡在这个领域做了很多统计方法的探索和研究，包括和我2015年的实习生吴天双（现在美国当统计师）共同完成了一个R package EventPredGnr, 在Roche/Genentech PD内部使用。另外，在这个问题上也有一些非统计的问题需要考虑。小凡想要从不同角度分享这个故事。

---------正文分割线---------

小凡刚参加工作的第一周便接了一个以OS为主要终点的Phase IIIb的肿瘤项目（IUNO）。这个项目是FDA的post-approval commitment study，需在2015年12月前完成试验，递交NDA package。该试验的结论会影响试验药物的现有label。

这个项目组的所有成员都在欧洲,只有作为项目唯一统计师的小凡在中国。刚参加工作的小凡前几周开项目电话会，所有的function updates对我都如火星文，加之其他成员都在欧洲，压力山大。小凡急需做出点成绩获得团队的信任和不给上海统计师团队丢人。

那几次项目会，在Basel的team leader除了问我SAP的准备请况，还会问我以下几个问题（帮她把德国口音的英文翻译一下~）：

我们项目什么时候会到clinical cutoff date? 我们需要看看项目timeline。

之前的统计师给我们做过每个月OS events数量的预测，预计到15年9月才能cutoff，那样我们要跟FDA沟通延迟NDA的递交了。可是看着近几个月的实际OS events数量，比预测的要多啊，为什么? 我们能按原来的commitment 递交吗？

最好能给我们个cutoff date的最早日期和最晚日期。

待工作第二周复习完survival analysis,明白以time-to-event终点为主要终点的肿瘤试验的数据截止日期是以events数目决定的，虽然小凡当时仍不能理解从filing角度这些问题的意义和重要性，但小凡可以先把这些问题先翻译成统计问题，即：

什么时候会到clinical cutoff date?

统计解读：她想问我我们什么时候可以观察到460个events, 这个简单，在一个time-to-event model上做预测即可。

之前的统计师给我们做过每个月OS events数量的预测，比实际发生的要少啊，为什么?

统计解读：之前的统计师用了什么模型？是不是模型不fit，所以预测不准？我要不要换个模型试试。要换个什么模型呢？还有什么会带来预测的误差呢？

cutoff date最早日期? 最晚日期？

统计解读：看来除了点估计，我还要提供confidence interval。还有其它要考虑的吗？

在有了初步的统计解读后，小凡了解了之前统计师做预测的方法：

她用了EAST，代入protocol的各种假设和实际入组速度，用EAST的Events vs. Time的功能获得的每个时间点的预测OS数量。她的估计是一种“unconditional method", 并没有用到数据库中已经发生的死亡的信息。

既然这个方法预测不准，那么有什么更好的方法呢？？

小凡读了数篇这个问题的papers, 了解几种基于trial数据信息做预测的方法（conditional approaches），包括参数，非参数和半参数方法，用了一个月的时间进行了方法的探索和比较（无数的coding and simulation啊）。

最后该项目，小凡在2014年9月利用hybrid conditional approach 预测cutoff date会是在10 Mar 2015 。利用nonparametricbootstrap sampling, 计算得到 confidence interval：最早2015年2月7日，最晚5月8日。IUNO study team非常吃惊，因为小凡的预测整整早了6个月！！

（压力比之前更巨，因为在数据越来越confirm我的预测之前，team每个人都觉得是我算错了。。。。。）

---FYI，小凡2014年9月给IUNO study team的presentation,解释为什么两种方法不一样，当时还不太会对non-statisticians说人话---

-------------------------------

那么结果呢？

IUNO试验观察到460个events的日期是3月21日（距离小凡提前半年的预测点估计仅差了11天）。我们在12月顺利完成FDA commitment, 递交了NDA， 这是小凡的第一个并且独立完成的filing

我的R package EventPredGnr由于paper还没准备好，不方便分享（项目上责任日巨，研究小课题也越来越多，加上你知道发个paper多麻烦，啊，时间！）。Quick and Dirty,对于event prediction，大家在应用上可按照以下几点：

大家可以用exponetial distribution或者Weibul Distribution through conditional approach进行预测（下图slide deck第六张讲conditional approach），coding较为简单（都是parametric distribution嘛）。

Confidence interval的计算既可以用parametric bootstrap sampling， 也可以用non-parametric boostrap sampling。

记得在模型中应用实际入组速度和考虑competing events哦（比如实际的dropout）。

考虑delayed data reporting trend也很重要。如果data 进数据库很延迟，伤害很大，因为比如3月就发生了IA需要的100个death, 这些death却6月才全部进数据库，这样整个study timeline不都延迟3个月了吗？!

对于PFS为主要终点的试验，需要考虑tumor assesment schedule。

这篇文章讨论的是以time-to-event终点（如OS，PFS，DFS）为主要终点的clinical cutoff date的确立，并且依然假设了Proportional hazard rates。延伸下去，你可能会想知道:

1. 对于non-proportional survival model （比如I-O试验中经常遇到的delayed treatment effect), 预测CCOD要考虑什么。

2. 对于response rate（如ORR)为主要终点的临床试验， cutoff for efficacy又要考虑什么呢？

就以上两个问题，小凡已有研究结果，在这里卖个关子，有兴趣请联系我哦。

-----最后，分享我在2016年ICSA上这个题目的报告。报告详细讨论了统计方法的细节和IUNO study中一些基于filing，对cutoff date的其它统计考虑。非统计的同学可以到此止步了-----

附上这个topics上一些相关论文给大家参考：

Bagiella & Heitjan (2001). Predicting analysis times in randomized clinical trials.

Ying & Heitjan (2008). Weibull prediction of event times in clinical trials.

Ying, et al (2004). Nonparametric prediction of event times in randomized clinical trials.

Lawrance, et all (1981). Planning the duration of a comparative clinical trial with loss to follow-up and a period of continued observation. -> 这篇文章是EAST calculation的基础。

Fang & Su (2011). A hybrid approach to predicting events in clinical trials with time-to-event outcomes