Google重磅医疗AI成果：AR显微镜实时分析病理切片

大家都听说过AR（增强现实）、VR（虚拟现实），电影《头号玩家》也展示了未来VR游戏的巨大潜力。但是如果把AR和机器学习相结合呢？

今天，谷歌Research团队在AI+AR+医疗相结合的领域又迈出了一步：他们在普通的光学显微镜上装了一个AR组件。

工作原理是这样的：用机器学习的方法实时分析显微镜视野下的图像，并实时输出模型的结果，通过AR组件，在原本的图像上绘制出潜在肿瘤的边缘。

也就是说，医生在看显微镜的时候，看到的不仅仅是细胞组织，还有机器学习建模的结果：一条“癌症轮廓线”。

值得一提的是，只需使用低成本的、现成的元器件，就可以将这款增强现实显微镜改造成世界各地医院和诊所中常见的普通光学显微镜，而且无需对数字系统进行全面升级就能进行组织分析。

现代计算组件和深度学习模型——比如在TensorFlow平台上构建的模型，使得这个增强现实显微镜平台能够运行大量的预训练模型。和使用传统显微镜的方法一样，用户通过目镜观察样品，机器学习算法输出的结果将实时投射到光路中，叠加在样本的原始图像之上，帮助观察者快速定位和量化感兴趣的特征。而且，平台的计算和视觉反馈非常迅速——目前速度已经达到了10帧/秒，这意味着当用户移动组织或放大倍数做进一步观察时，可以获得流畅、无缝的视觉体验。

理论上，增强现实显微镜可以提供各式各样的视觉反馈，包括文本、箭头、轮廓、热图和动画，而且可以运行多种类型的机器学习算法以应对不同的任务，比如对象检测、量化和分类等。

为了演示增强现实显微镜的功能，我们让其运行两种不同的癌症检测算法：一种用于检测淋巴结标本中的乳腺癌转移，另一种用于检测前列腺切除术标本中的前列腺癌。这些算法可以在4-40x的放大倍数下运行，并用绿色轮廓勾画出检测到肿瘤区域。这些轮廓可以帮助病理学家注意到感兴趣的区域，而不至于遗漏外观模糊的肿瘤细胞。

谷歌认为，增强现实显微镜有潜力对全球健康产生重大影响，且在医疗保健、生命科学研究和材料科学等领域有着广泛的应用，特别是对发展中国家传染病（包括肺结核和疟疾）的诊断。此外，即使在即将采用数字病理工作流程的医院中，ARM也可以与数字工作流程结合使用，处理扫描仪需要快速周转或者不能很好地检测问题的情况（如细胞学、荧光成像或手术中的冷冻部分）。