人工智能使用深度学习将2D图像转换为3D图像

编辑 | KING

发布 | ATYUN订阅号

加利福尼亚大学洛杉矶分校的一个研究小组设计了一种扩展荧光显微镜功能的技术，该技术使科学家能够使用特殊照明条件下发光的染料精确标记活细胞和组织的各个部分。研究人员利用人工智能将二维图像转换成虚拟三维切片的堆栈，这些三维切片显示了生物体内的活动。

代表Deep-Z的插图，Deep-Z是一个基于人工智能的框架，可以对2D荧光显微镜图像进行数字重新聚焦（底部）以产生3D切片（左侧）。图片来源：Ozcan Lab / UCLA

在2019年11月4日发表于《自然方法》上的一项研究中 ，科学家们还报告说，他们的名为“ Deep-Z”的框架能够在样品倾斜或弯曲时修复图像中的错误或像差。此外，他们证明了该系统可以从显微镜拍摄2D图像并虚拟地创建样品的3D图像，就好像它们是由另一台更高级的显微镜获得的一样。

加州大学洛杉矶分校校长Aydogan Ozcan说：“这是一种非常强大的新方法，通过深度学习可以对活体标本进行3D成像，同时使对样品的毒性最小的光暴露最少。”

除了使标本避免有害的照射外，该系统还可以为生物学家和生命科学研究人员提供一种新的3D成像工具，该工具比之前方法更简单、更快、更便宜。校正像差的机会可能使研究活生物体的科学家能够从图像中收集数据，否则这些图像将无法使用。这项研究基于Ozcan及其同事开发的较早技术，该技术使他们能够以超分辨率渲染2D荧光显微镜图像。两种技术都依靠深度学习来提高显微镜成像技术的水平，都使用数据来训练神经网络，这是一种受人脑启发的计算机系统。

Deep-Z是使用来自扫描荧光显微镜的实验图像训练的，该图像可以在多个深度聚焦，以实现样品的3D成像。在成千上万的训练样本中，神经网络学习了如何拍摄2D图像并推断出样品中不同深度的准确3D切片。然后，对框架进行了盲目测试，即输入了不是其训练内容的图像，并将虚拟图像与从扫描显微镜获得的实际3D切片进行了比较，从而提供了出色的匹配度。

Ozcan和他的同事将Deep-Z应用于秀丽隐杆线虫的图像，秀丽隐杆线虫由于其简单而容易理解的神经系统而成为神经科学中的常见模型。研究人员将蠕虫的2D图像逐帧转换为3D，从而能够跟踪蠕虫体内单个神经元的活动。从以不同深度拍摄的秀丽隐杆线虫的一或两个2D图像开始，Deep-Z产生了虚拟3D图像，这使团队可以识别蠕虫中的单个神经元，与扫描显微镜的3D输出相匹配。

研究人员还发现，即使仅使用与样品表面完全平行的3D切片训练神经网络，Deep-Z仍可以从样品倾斜或弯曲的2D表面生成3D图像。

在其他实验中，使用来自两种类型的荧光显微镜的图像对Deep-Z进行了训练：宽视场，它将整个样本暴露在光源下；共聚焦，它使用激光逐部分扫描样品。Ozcan和他的团队表明，他们的框架随后可以使用样品的2D宽视场显微镜图像生成与共聚焦显微镜拍摄的图像几乎相同的3D图像。

这种转换非常有价值，因为与宽视场相比，共聚焦显微镜可以产生更清晰，对比度更高的图像。另一方面，宽视场显微镜以较少的费用和较少的技术要求捕获图像。

加州大学洛杉矶分校电气与计算机工程学助理教授Yair Rivenson说：“这是一个通常适用于各种成对显微镜的平台，而不仅仅是宽视场到共焦的转换。每个显微镜都有自己的优点和缺点。有了这个框架，您可以使用AI以数字方式连接不同类型的显微镜，从而实现两全其美。”据说在看的没有BUG