资源 | MURA:斯坦福ML团队开放的大型放射影像数据集与挑战赛

机器之心编译

参与:蒋思源、刘晓坤

近日,吴恩达及斯坦福 ML 团队开放一项骨骼医疗影像的竞赛,它利用去年 12 月开放的 MURA 数据集尝试在骨骼影像上达到放射科医生的水平。此外,MURA 是最大的开放性放射影像数据集之一,它有助于诊断上肢骨骼疾病。

什么是 MURA?

MURA(肌骨骼放射影像)是骨骼 X 射线的大型数据集,算法的任务是确定一张 X 射线影像是正常还是异常。

肌骨骼(Musculoskeletal)疾病在全世界上影响了 1.7 亿人,是严重长期疼痛与疾病的最常见成因,且每年有 3 千万的急诊部就诊。研究者希望该数据集能帮助医疗影像技术取得显著的进步,且能达到人类专家的诊断水平,从而提升放射科医生的工作效率与放射科的医疗条件。

MURA 是最大的开放放射影像数据集之一,研究者将该数据集提供给社区来举办对应的竞赛,因而能了解模型在医学影像上能不能做得更好。

MURA 使用一个隐藏的测试数据集以官方评估模型的性能。参赛团队可在 Codalab 上提交可执行代码,并在非公开的测试数据集上运行,这样的流程基本能保证测试结果的公平性。下面地址展示了 MURA 的提交与评估过程,只要模型经过官方的评估,测试分数就会显示在排行榜中。

MURA 提交教程:https://worksheets.codalab.org/worksheets/0x42dda565716a4ee08d61f0a23656d8c0/

MURA 是如何收集数据的?

MURA 是肌骨骼放射照片的数据集,它包含了 12173 名患者共计 14863 份研究,共有 40561 份多视图放射影像。每一份都属于 7 种标准上肢放射学研究类型之一,即手指、手肘、前臂、手、肱骨、肩膀和手腕。每一份研究都由斯坦福医学院董事会认证的放射科医生手动标记为正常或异常,这些标注都是 2001 年到 2012 年根据放射诊断学对临床医学影像的解释而完成的。

为了评估模型并获得放射科医生水平的鲁棒性估计,研究者从 6 名经认证的斯坦福放射科医生收集额外的标签,其中包括 207 份肌骨骼研究。放射科医生平均有 8.32 年的从业经验,从业年限的范围从 2 到 25。研究者随机选择 3 个放射科医生构建黄金准则,该准则定义为大多数放射科医生投票的标签。

基线模型是什么?

MURA 的基线使用一个 169 层的卷积神经网络来检测和定位异常症状。模型取某项研究中的上肢的一个或多个视图的照片为输入。在每个视图中,该网络对异常概率进行预测。研究者通过取每张照片的网络输出异常概率的算术平均来计算该研究中的总体异常概率。当该研究中的异常概率超过 0.5 时,模型做出异常的二值预测。

网络使用密集连接卷积神经网络架构,其中每个层和其它所有层都有前向连接,从而使深度网络优化更容易进行。研究者将应用一个 sigmoid 非线性层之后的单个输出替换了最后的全连接层。他们使用类别激活图(Class Activation Map)来可视化放射照片的对模型异常预测贡献最大的部分。

该基线表现如何?

研究者在 Cohen 的 Kappa 统计上评估了该基线,Kappa 统计表达了模型和黄金标准的匹配程度。基线将和放射专家在手指、手腕研究的异常检测上进行性能对比。然而,基线在检测手肘、前臂、手、肱骨、肩膀的异常检测中的性能要稍微低于最好的放射专家,表明该任务为未来研究提供了很好的挑战性问题。

论文:MURA: Large Dataset for Abnormality Detection in Musculoskeletal Radiographs.

论文地址:https://arxiv.org/abs/1712.06957v2

摘要:我们在本文中介绍 MURA,这是一个肌肉骨骼射线照片的大规模数据集,包含 40895 张来自 14982 项研究的照片,其中每项研究的照片都是由放射专家手动标记(正常或异常)。在这个数据集上,我们训练了一个 169 层的密集连接的卷积网络来检测和定位异常症状。六位有专科医师资格的放射专家为 209 项研究构成的测试集提供了额外标记,我们在其上对比了模型和放射专家的诊断表现,发现我们的模型能达到和那些放射专家相当的性能。在对于手指、手和手腕的研究照片上,我们模型的 F1 分数要稍微高于放射专家,但在统计上并不显著;在对于手肘、前臂、肱骨和肩膀的研究照片上,我们模型的 F1 分数要稍微低于放射专家,但在统计上也不显著;预示着该数据集为未来研究提供了很好的挑战性问题。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2018-05-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

独家 | 专访AAAI 2018最佳论文作者,记忆增强蒙特卡洛树搜索细节解读

2998
来自专栏CDA数据分析师

用数据讲述最好的故事:如何做出赏心悦目的数据可视化

原作者 Amy Lee Walton 编译 CDA 编译团队 本文为 CDA 数据分析师原创作品,转载需授权 当设计地图时,我会想:我想让观看者如何阅读地图...

22310
来自专栏PPV课数据科学社区

当统计学遇上大数据——P值消亡

有一天,我走进统计学的神殿 ,将所有谎言都装进原假设的盒子里,“P值为零”,一个声音传来,“但你已经不能再拒绝,因为,P值已经死了”从此,这个世界上充斥着谎言。...

2905
来自专栏专知

【ACMMM2018首尔盛宴】多媒体领域顶会各大奖项出炉!微软亚研斩获最佳论文!NUS360获最佳学生论文!

【导读】第26届ACM国际多媒体会议(ACM International Conference on Multimedia, 简称ACM MM)于2018年10...

2072
来自专栏新智元

重磅 | 经典教材 R. Sutton《增强学习导论》最新版(451PDF)

2016年10月18日, 世界人工智能大会技术分论坛,特设“新智元智库院长圆桌会议”,重量级研究院院长 7 剑下天山,汇集了中国人工智能产学研三界最豪华院长阵容...

5277
来自专栏数据魔术师

干货 | 用模拟退火(SA, Simulated Annealing)算法解决旅行商问题

前 排 最近这个春节又快到了,虽然说什么有钱没钱回家过年。但也有部分小伙伴早已经备好了盘缠和干粮,准备在这个难得的假期来一场说走就走的旅行了。毕竟世界这么大我想...

8687
来自专栏用户2442861的专栏

熵与生命 概率

https://yjango.gitbooks.io/superorganism/content/shang_yu_sheng_ming.html

1751
来自专栏量子位

高清变脸更快更逼真!比GAN更具潜力的可逆生成模型来了 | OpenAI论文+代码

1461
来自专栏华章科技

深度神经网络(DNN)是否模拟了人类大脑皮层结构?

我是生物本科,认知神经科学研究生在读,课余时间比较喜欢编程和机器学习,正在自学,了解的稍微多一些。我试着从我的角度来说下我看到的深度学习和神经科学的联系。

471
来自专栏大数据文摘

最全NLP反作弊攻略,从马蜂窝注水事件说起

10月21日,朋友圈被一篇名为《估值175亿的旅游独角兽,是一座僵尸和水军构成的鬼城?》的文章刷屏。文章作者小声比比指控在线旅游网站马蜂窝存在点评大量造假的情况...

1363

扫码关注云+社区