专栏首页arxiv.org翻译专栏优化重症监护病房败血症的药物治疗:从强化学习到预评估(CS AI)
原创

优化重症监护病房败血症的药物治疗:从强化学习到预评估(CS AI)

我们的目标是建立一个框架,使优化干预措施的强化学习(RL)能够追溯性地允许我们采用符合法规的途径,对临床部署中所学政策进行前瞻性临床测试。我们关注重症监护病房中的感染,这是死亡的主要原因之一,由于患者动态复杂且不透明,因此难以治疗,并且每位患者均需要临床辩论的,高度分歧的干预政策,但重症监护护理单位自然是丰富的数据。在我们的工作中,我们基于医疗保健中的RL方法(“ AI临床医生”),并使用部分可观察的MDP(POMDP)下的历史重症监护数据来学习脓毒症治疗药物的非政策性连续给药策略。 POMPD通过吸收所有历史信息来更好地捕获患者状态的不确定性,从而产生有效的代表,我们通过消融术对其进行调查。通过使用最佳优先树搜索评估每个遇到的状态,我们弥补了回顾性数据缺乏探索性的缺点。我们通过在临床医师的复合政策附近优化我们的政策来减轻国家分配的变化。至关重要的是,我们不仅使用常规的政策评估,而且还采用了包含人类专家的新颖框架,来评估模型建议:与模型无关的临床前评估方法,可以评估临床医生决策的准确性和不确定性,而当我们面对同一个人时,我们的系统建议患者病史(“影子模式”)。

原文标题:Optimizing Medical Treatment for Sepsis in Intensive Care: from Reinforcement Learning to Pre-Trial Evaluation

原文:Our aim is to establish a framework where reinforcement learning (RL) of optimizing interventions retrospectively allows us a regulatory compliant pathway to prospective clinical testing of the learned policies in a clinical deployment. We focus on infections in intensive care units which are one of the major causes of death and difficult to treat because of the complex and opaque patient dynamics, and the clinically debated, highly-divergent set of intervention policies required by each individual patient, yet intensive care units are naturally data rich. In our work, we build on RL approaches in healthcare ("AI Clinicians"), and learn off-policy continuous dosing policy of pharmaceuticals for sepsis treatment using historical intensive care data under partially observable MDPs (POMDPs). POMPDs capture uncertainty in patient state better by taking in all historical information, yielding an efficient representation, which we investigate through ablations. We compensate for the lack of exploration in our retrospective data by evaluating each encountered state with a best-first tree search. We mitigate state distributional shift by optimizing our policy in the vicinity of the clinicians' compound policy. Crucially, we evaluate our model recommendations using not only conventional policy evaluations but a novel framework that incorporates human experts: a model-agnostic pre-clinical evaluation method to estimate the accuracy and uncertainty of clinician's decisions versus our system recommendations when confronted with the same individual patient history ("shadow mode").

作者:Luchen Li, Ignacio Albert-Smet, Aldo A. Faisal

链接:https://arxiv.org/abs/2003.06474

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 用于检测眼动数据中的混淆的神经体系结构(CS AI)

    受到深度学习在各个领域的成功的鼓舞,我们研究了其方法在眼动数据中检测用户混乱的有效性方面的新颖应用。 我们介绍一种并行使用RNN和CNN子模型的架构,以利用我们...

    RockNPeng
  • 有界CTL的充要条件(CS AI)

    计算树逻辑(CTL)是形式验证中的主要形式主义之一。作为一种规范语言,它用于表示预期现有系统可以满足的属性。从验证和系统设计的角度来看,由于各种原因,这种特性的...

    RockNPeng
  • 从头到尾:医疗保健中人工智能产品开发的实用框架(CS AI)

    医疗保健中的人工智能(AI)具有巨大的潜力,可以提高获得高质量医疗保健的机会,同时降低总体系统成本。尽管这定期成为头条新闻,并且有许多证明概念的出版物,但有关的...

    RockNPeng
  • 强化学习框架 IMPALA 介绍

    In this work we aim to solve a large collection of tasks using a single reinforc...

    用户1908973
  • 【论文推荐】最新五篇信息抽取相关论文—端到端深度模型、调研、聊天机器人、自注意力、科学文本

    【导读】专知内容组整理了最近五篇信息抽取(Information Extraction)相关文章,为大家进行介绍,欢迎查看! 1.Joint Recogniti...

    WZEARW
  • 【论文推荐】最新五篇度量学习相关论文—无标签、三维姿态估计、主动度量学习、深度度量学习、层次度量学习与匹配

    【导读】专知内容组整理了最近五篇度量学习(Metric Learning )相关文章,为大家进行介绍,欢迎查看! 1.Mining on Manifolds: ...

    WZEARW
  • BIOSEMI脑电系统介绍

    Biosem公司创立于1998年,由荷兰阿姆斯特丹大学的三位学者共同创立,距今已有20多年的脑电产品生产,销售,维护经验,其客户包括加州理工,加州大学戴维斯分校...

    用户1279583
  • AlexNet论文总结

    Introduction Preconditions ImageNet Objects in realistic settings exhibit cons...

    Tyan
  • ASP.NET MVC 5 Authentication Breakdown

    In my previous post, "ASP.NET MVC 5 Authentication Breakdown", I broke down all ...

    阿新
  • hdu-----(1151)Air Raid(最小覆盖路径)

    Air Raid Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (...

    Gxjun

扫码关注云+社区

领取腾讯云代金券