IBM沃森错开致命药!国内67家医院也在用,秘密文件曝光严重bug

郭一璞 问耕 发自 凹非寺 量子位 报道 | 公众号 QbitAI
IBM的AI系统Watson(沃森)捅了一个天大的篓子:给患者开错了药。

刚被曝光的IBM内部文件显示,许多医生在使用Watson时,发现AI给出了“多个不安全、不正确的治疗意见”,甚至在极端的诊断案例中,Watson给有出血症状的癌症病人开了容易导致出血的药品,严重时可致患者死亡。

去年,在美国临床肿瘤学会年会上发表的研究表明,IBM Watson非常擅长为癌症患者制定治疗计划。然而,事实证明人工智能仍然远非完美。

可能你还不知道,明显存在bug的Watson系统并不是一个实验室中样品,这个可能会治死人的Watson已被全球超过230家医院使用,其中包括北大肿瘤医院、宣武医院等67家中国医院,分布在22个省份。

内部文件曝光

掀起热议的“Watson开错药”消息,最早来自美国医学媒体STAT

STAT拿到了IBM公司内部的机密文件,来自时任IBM Watson Health副首席健康官的Andrew Norden,只有IBM的管理层有权限查看。

Norden在2017年6、7月间给出的报告显示,正在使用Watson for Oncology(Watson肿瘤解决方案)的医生们对它提出了强烈的批评:数个例子表明,Watson经常提出不准确的医疗建议,“在给出意见的过程和底层技术上存在严重的问题”

文件中一个严重的例子是:

一名65岁的男性被诊断出患有肺癌,而同时,该患者也似乎有严重的出血症状。Watson给这名患者的诊疗建议是:

1、接受化疗; 2、使用治疗癌症的药物贝伐单抗(Bevacizumab,商品名Avastin阿瓦斯汀)。

贝伐单抗这种药物可能导致的副作用之一,正是容易导致出血。在美国卫生系统药剂师协会对该药物的描述中,这种药物有时会发生严重乃至致命的出血事件,所以该协会建议不要给严重出血的患者服用。

贝伐单抗可能导致致命出血

Watson系统给出的诊疗意见忽视了这个可能导致该患者死亡的问题,开了错误的药品。

不过,好在这个“65岁男性肺癌患者”并非真实存在,并没有人因此而吃错药。负责训练Watson肿瘤系统的纪念斯隆-凯特琳癌症中心对此回应道,这名“65岁男性肺癌患者”是癌症中心的医生在训练Watson时给出的虚构病例,只是为了训练Watson的诊断能力。

这家医院还发出声明说,在实际运用中,医生们会接受该癌症中心的医生给出的指导建议,而不是完全听信Watson系统的诊疗判断。

给Watson一个差评

虽然纪念斯隆-凯特琳癌症中心认为医生们给人看病的时候不傻,不会完全听信Watson,但医生们的怀疑和抱怨却并不会因此消减。

首先这个案例说明:Watson的训练,是通过假设性的癌症病例,而不是真实的患者数据来进行。而此前IBM的高管一再告诉客户:“Watson for Oncology的建议是基于真实的患者数据,全世界的医生都喜欢这种工具”。

这让外界对Watson的有效性进一步产生了质疑。

佛罗里达州的朱庇特医院就是愤愤不满的客户之一。在这份IBM的机密文件中,朱庇特医院的一位医生愤怒的说:“这玩意简直就是一坨翔!我们买Watson来,是因为它的营销搞的很厉害,让我们觉得能靠它来实现一些愿景。结果买来之后呢?这玩意什么都做不了!”

事件曝光后,科技媒体Gizmodo采访了朱庇特医院的肿瘤科医生Sujal Shah。这位医生表示,只有当朱庇特医院的医生们对两种不同的治疗方案无法达成一致的时候,医生们才会看看Watson站哪边——现在5:5平,Watson你来投个票吧。

STAT此前的一项调查显示,Watson for Oncology其实没有达到IBM的预期,而这次曝光的文件表明,IBM的高管们知道自家产品给出的治疗建议与国家治疗指南相冲突,以及医生认为这套系统作用不大。

当然,一直以来IBM高管都对Watson赞誉有加。

被曝光的文件中还显示,有几位IBM员工对Norden直言,Watson这套产品的能力“非常有限”。

在给STAT的声明中,IBM表示已经根据客户反馈、新的科学进展、新的癌症治疗方案等,学习和改进了Watson Health。

动荡中的Watson

这已经不是Watson今年第一次遭遇危机了。

Watson最早进入公众视野是在2011年,它当时在电视智力节目《危险边缘》中击败了人类。之所以实现这一创举是因为这套系统具备强大的自然语言处理能力,因而可以理解现场的复杂问题,然后对庞大的数据库进行扫描,最终给出答案。

两年之后,IBM宣布Watson将在医疗领域找到第一个杀手级应用。这似乎是理所当然的:随着医院和医生逐步采用电子病历了解病人的状况,Watson这样的机器也可以提供数据检索服务。

2016年8月,在与日本东京大学医学院的合作中,Watson通过医生上传的DNA数据,在不到10分钟的时间内给一个50多岁的女性做出了继发性白血病的正确诊断。

去年2月,Watson在天津市第三中心医院出诊,在不到10秒钟的时间,给一名胃癌局部晚期的患者开出了诊疗方案,跟肿瘤科主任的判断一致。

当然,质疑的声音一直存在。

除了上面提过的STAT批评,IEEE Spectrum也曾报道称,IBM向Watson业务投入数十亿美元,但“Watson医生”尚未给医疗行业带来革命。

今年5月底,Watson医疗健康部门发生了一次震动行业的裁员,估计有300人离开了IBM。一位被扫地出门的工程师表示,IBM针对“认知计算”平台的推广,掩盖了他们在利用人工智能盈利的过程中遇到的真正困境。

“IBM沃森拥有了不起的人工智能技术。”这位匿名的工程师说,“这就像有一双好鞋,但却不知道怎么走路——你必须搞清楚怎么使用它。”

来自华尔街的分析师们,也并不是都对IBM Watson持有积极看法。Jefferies去年7月发布的研报认为,尽管IBM对Watson展开大举投资(该分析师估计2010至2015年间的投资总额为150亿美元),但这个部门却很难盈利。

即使IBM Watson“仍是市场上最有竞争力的现成人工智能平台之一”,但用户在把Watson与现有的数据和分析系统整合的过程中仍然面临严重困难。他举了德克萨斯州MD Anderson癌症中心的例子,该中心投入了6200万美元之后却取消了他们的Watson项目。

Watson也进入诸多中国医院

令人担忧的是,这个被爆出会开错致命药的医疗AI,已经投入使用,被不少医院运用在对真实病人的诊断治疗中。

IBM发言人说,Watson肿瘤系统受过训练,可帮助肿瘤科医生治疗13种癌症,并被全球230家医院使用,“支持超过84000名患者的护理”。

而这230家医院中,至少有67家中国医院(截至2018年7月5日)。

根据IBM Watson在中国的代理官网信息,及中国信息产业网-人民邮电报、比特网等媒体的报道,量子位粗略的整理了部分已经引入Watson肿瘤系统的医院。

中山大学附属肿瘤防治中心 中国医科大学附属第四医院 无锡市人民医院 浙江省中医院 天津第三中心医院 复旦大学附属肿瘤医院 宣武医院 上海市浦南医院 广州妇女儿童医疗中心 番禺何贤医院 番禺中心医院 广东省中医院 广州军区总医院 广州中医药大学第一附属医院 厦门大学附属中山医院 福州市第二医院 福建省立医院 宁波市第四医院 大连大学附属中山医院 昆明医学院第二附属医院 浙江省立同德医院 茂名市人民医院 新疆维吾尔自治区人民医院 台州市肿瘤医院 上海交通大学医学院附属瑞金医院北院 中国医科大学附属第一医院 中山大学附属第六医院 成都西华肿瘤专科医院 广东医科大学附属医院 徐州市肿瘤医院 山东齐鲁医院 无锡市人民医院 常州市肿瘤医院 杭州市第一人民医院 南京医科大学附属淮安第一医院 安徽济民肿瘤医院 江门市中心医院 新会区人民医院 新会区中医院 开平市中心医院 开平市中医院 台山市人民医院 台山市中医院 鹤山市人民医院 恩平市人民医院 广东祈福医院 沈阳军区总医院 天津市第三中心医院 郴州市第一人民医院 江苏省人民医院 苏州市立医院 常州市肿瘤医院 苏北人民医院领衔的苏北医疗集团和扬州泰州地区医联体医院 杭州沃森智能诊所 青岛市立医院 青岛大学附属医院 中山人民医院 天津海滨人民医院 南京市第一医院 安徽省肿瘤医院 平安好医生平台

患者到这67家医疗机构找Watson看病似乎也不便宜。根据亿欧报道,IBM代理商百洋董事长付钢在去年10月表示:“目前,Watson for Oncology的服务多为患者自付费,平均每人5000元左右。”

参与训练Watson的纪念斯隆-凯特琳癌症中心回应此事称:“虽然Watson肿瘤系统提供安全的治疗选择,但治疗决策最终需要主治医生的参与和临床判断,没有任何技术可以取代医生的工作,也没有任何技术可以取代医生对自己病人的了解。”

本文分享自微信公众号 - 量子位(QbitAI)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-07-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器人网

二月再次迎来机器人投资高峰

---- 今年二月也有许多在机器人初创公司的投资。像是 3D Robotics、Flyability、Fetch Robotics、EHang 等等。 股票和...

29650
来自专栏钱塘大数据

智能车间、智能工厂、智能制造三大层级

智能车间,智能工厂,智能制造,三个层级,各有不同。其中智能车间和智能工厂属于术的层级,智能制造才属于道的层级。术无穷,道亦无尽;道尽,术亦可无穷,但较难有质的突...

36850
来自专栏deed博客

中国黑客发展史

24850
来自专栏老苏机

早报:中国网络直播用户规模年底将达3.92亿

1、新设网络小贷被叫停,真正持有网络小贷牌照的仅几十家机构 近日,设在央行的互联网金融风险专项整治工作领导小组办公室与设在银监会的P2P网贷风险专项整治工作领...

42680
来自专栏企鹅号快讯

大数据产业要闻12.26—1.3

中国将建设政务地理信息大数据“一张图” 2018年中国国家测绘地理信息局将统筹“天地图”、数字城市、智慧城市建设,启动建设政务地理信息大数据“一张图”,形成全国...

23990
来自专栏数据猿

讲真的,最近金融科技的创新是不是有点多了?

当我们将金融科技放到历史坐标来看,发现一个令人不安的事实,它带给世界很多不光彩的记录,比如1997年亚洲金融危机、2008年次贷危机,甚至更久远的二次世界大战,...

29370
来自专栏灯塔大数据

行业盘点 | 医疗行业10大关键词

前言 近年来,新医改政策和各类高新技术凭借强大的赋能力,将中国的医疗信息化产业推入快速发展的黄金时期。前瞻研究院预测,2020年我国医疗信息化市场规模将超过千亿...

54440
来自专栏腾讯研究院的专栏

马化腾两会议案:关于全面构建我国移动互联网生态安全体系的建议

 一、加强我国移动互联网生态安全体系建设具有重要的现实意义   随着“互联网+”被写入2015年国务院政府工作报告,标志着移动互联网时代的全面到来,其以前所未有...

21090
来自专栏人称T客

移动CRM再融资 销售易C轮1500万美金再掀资本狂潮

融资,融资,还是融资,2015年企业移动信息化市场会融资不断,与其说是不差钱的一年,不如说是资本运作的一年,特别是当国务院总理李克强在政府工作报告中指出,制定“...

33630
来自专栏点滴科技资讯

美国创新区案例

创新区已经成为美国创新的新模式,不同于以往硅谷为代表的郊区科技园的创新模式。创新区经济危机之后主要出现在美国大城市和都市区的核心地段,围绕重要的研发机构,集...

47160

扫码关注云+社区

领取腾讯云代金券