谷歌这个AI+AR插件能在显微镜中画出肿瘤轮廓,全世界医生都能用

大数据文摘作品

编译:龙牧雪、蒋宝尚、魏子敏

大家都听说过AR(增强现实)、VR(虚拟现实),电影《头号玩家》也展示了未来VR游戏的巨大潜力。但是如果把AR和机器学习相结合呢?

今天,谷歌Research团队在AI+AR+医疗相结合的领域又迈出了一步:他们在普通的光学显微镜上装了一个AR组件。

工作原理是这样的:用机器学习的方法实时分析显微镜视野下的图像,并实时输出模型的结果,通过AR组件,在原本的图像上绘制出潜在肿瘤的边缘。

也就是说,医生在看显微镜的时候,看到的不仅仅是细胞组织,还有机器学习建模的结果:一条“癌症轮廓线”

最令人激动的地方在于,这个组件的成本非常低,可以直接被安装到普通的光学显微镜上,这将让全世界各地的医生、病理学家都有机会接触到深度学习。

点击观看AR显微镜的介绍视频?

视频内容

深度学习在眼科,皮肤科,放射科和病理学等医学学科的应用,大大提高了医疗保健的准确性与可用性,给世界各地的患者带来了福音。比如,谷歌的最新研究表明卷积神经网络在检测乳腺癌转移方面,拥有与专业病理学家相媲美的准确度。

然而,利用复合光显微镜直接探测是否存在病变组织仍然是病理学家诊断疾病的主要手段。因此,在病理学中广泛采用深度学习的一个关键障碍是对微观组织进行数字化表示。

在4月17号举办的美国癌症研究协会年度会议上,谷歌的科学家公布了这篇名为“An Augmented Reality Microscope for Real-time Automated Detection of Cancer”的论文,描述了增强现实显微镜(Augmented Reality Microscope,ARM)平台。

大数据文摘公众号后台对话框内回复“显微镜”即可下载这篇论文。

ARM增强现实显微镜平台由改进的光学显微镜组成,支持实时图像分析,并且能将机器学习算法的结果直接渲染。重要的是,谷歌的ARM平台组件可以直接被装入各个医院和诊所中现有的光学显微镜中,成本低且易于使用。

通过现代计算组件和深度学习模型,例如建立在TensorFlow上的模型,人们将能在此平台上运行大量预训练模型。使用方式和传统的显微镜类似,用户通过目镜观察样本,机器学习算法将其实时输出投影到显微镜的光路中。

这种数字投影被叠加在样本的原始图像上,以帮助观看者定位或量化感兴趣的特征。重要的是,计算和视觉反馈更新迅速——目前,模型以每秒约10帧的速度运行,因此当用户在显微镜载玻片上移动或改变放大率时模型输出可以无缝更新。

左图:ARM的示意图。数码相机捕获与用户相同的视场(FoV),并将图像传送到能够运行机器学习模型的实时推断的附加计算单元。结果被反馈到一个自定义的AR显示屏中,该显示屏与目镜齐平,并将模型输出投影到玻片所在的平面上。

右图:原型图,由典型的临床级光学显微镜改装。

ARM可以提供多种视觉反馈,包括文本、箭头、轮廓、热图或动画,并且能够运行多种类型的机器学习算法,旨在解决不同的问题,如目标检测,量化或分类。

为了展示ARM的潜在用途,谷歌在其上运行了两种不同的癌症检测算法:一种检测淋巴结标本中的乳腺癌转移,另一种检测前列腺切除标本中的前列腺癌。这些模型可以在4-40倍的放大倍数下运行。下图中的绿色轮廓是检测到的肿瘤区域,也就是模型输出的结果。这些轮廓有助于将病理学家的注意力吸引到感兴趣的区域,而不会掩盖潜在的肿瘤细胞外观。

ARM镜头的示例视图:4x、10x、20x和40x显微镜下的淋巴结转移模型(绿色轮廓的区域是模型识别出的肿瘤区域)

虽然这两种癌症模型最初都是在扫描仪的图像之上训练,且扫描仪的光学配置明显不同,但这些模型在ARM上执行得非常好,无需额外重新训练。

例如,淋巴结转移模型的曲线下面积(AUC)为0.98,而在ARM上运行时,前列腺癌模型在视场中的癌症检测(FoV)的AUC为0.96,性能仅略低于WSI。通过直接从ARM本身获取的数字图像中训练可以进一步提高这些模型的性能。

谷歌认为,增强现实显微镜有潜力对全球健康产生重大影响,且在医疗保健、生命科学研究和材料科学等领域有着广泛的应用,特别是对发展中国家传染病(包括肺结核和疟疾)的诊断。此外,即使在即将采用数字病理工作流程的医院中,ARM也可以与数字工作流程结合使用,处理扫描仪需要快速周转或者不能很好地检测问题的情况(如细胞学、荧光成像或手术中的冷冻部分)。

原文链接:

https://research.googleblog.com/2018/04/an-augmented-reality-microscope.html

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2018-04-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏安全领域

机器学习,流式IoT和医疗设备互联

现如今,IoT数据,实时流式数据分析(streaming analytics),机器学习以及分布式计算的组合相比之前有了长足的进步,同时成本也比以前要低,这使得...

85710
来自专栏应兆康的专栏

Andrew Ng - 《Machine Learning Yearning》 Chapter 23-27

1655
来自专栏CVer

【CVPR 2018】979篇录用论文合集下载

CVPR 2018 共计录用979篇论文,现已将所有 PDF文件打包成一个文件夹,并提供检索表格。前几天,CVPR 2018大会上刚刚发布了最佳论文奖、学生最佳...

1632
来自专栏AI研习社

手把手教你入门使用 tf-slim 库 | 回顾

tf-slim 是基于 tensorflow 的高层封装库,包含了目前最新的 reset-net,Google-Inception 等网络的实现及图像处理算法,...

4224
来自专栏磐创AI技术团队的专栏

公交车总迟到?你大概掉进了“等待时间悖论"

你到了车站,准备搭乘声称每10分钟一班的公交车。你盯着你的手表留意着时间,结果公交车终于在11分钟后到来。

471
来自专栏新智元

【AI防熊孩子抢手机】浙大开发算法软件,轻松识别儿童玩手机

新智元编译 来源:futurism、acm 编译:克雷格 【新智元导读】过年你的手机有没有被熊孩子抢走玩游戏?这个问题将来可能被算法攻破。由南卡罗来纳大...

36516
来自专栏图形学与OpenGL

实验3 地理空间数据可视化

实验结果:(1)自己家乡及其位置信息;(2)图8-10,可以手绘,可以文字描述,也可以将图缩小打印贴上;

2542
来自专栏思影科技

精神分裂患者核心认知损伤与白质的关系

来自美国巴尔的摩马里兰精神病学研究中心的Peter Kochunov等人在 JAMA Psychiatry期刊发文,确定在精神分裂患者中改变的白质连接是与两大核...

3587
来自专栏机器之心

资源 | 这是一份非常全面的开源数据集,你,真的不想要吗?

1402
来自专栏AI科技大本营的专栏

快讯 | 玩游戏玩出一篇论文,清华大学团队获信息检索顶会 SIGIR 最佳学生论文奖

作者|周翔 最近几个月,以《王者荣耀》为代表的游戏受到了各方的攻击,其中以家长和老师的反应最为激烈。不过,玩物真的就一定会丧志吗?清华大学的几位学霸告诉你,玩游...

3427

扫码关注云+社区

领取腾讯云代金券