The Innovation | 面向深度学习赋能的同步辐射断层扫描实验全栈式数据处理管道

导 读

断层扫描是一种揭示物质内部结构和功能特性的三维表征技术。新一代同步辐射光源等大科学装置的投入使用，进一步拓展了断层成像的技术边界，也导致了数据量和数据维度的爆炸式增长和数据处理流程复杂度的急剧增加。如今，在应对断层扫描成像的大数据挑战、数据处理管线全流程优化中，深度学习技术展现出巨大的潜力。

图1 图文摘要

深度学习能够利用海量数据直接学习输入和输出之间的映射关系，克服了复杂映射的公式化难题。因此，研究人员正在探索将“科学大数据+深度学习”范式应用于同步辐射断层扫描实验中，以应对新一代同步辐射断层扫描实验的大数据挑战。如图2所示，以三维重构步骤作为划分依据，深度学习在同步辐射断层扫描数据处理流程上的应用过程可分为以下三个阶段：图像预处理、三维重构优化和应用导向的重构数据后处理。

图2 深度学习在同步辐射断层扫描数据处理中的应用

通常情况下，图像预处理主要涉及图像拼接和一系列的空间配准任务。目前，同步辐射断层扫描领域的图像拼接解决方案多为传统方法，如基于特征的方法和互相关的方法。但在医学的光学相干断层扫描领域中，研究人员已经可以利用改进的UNet 架构来构建从失真图像到参考图像的映射。投影图像的空间配准是重构前的另一个关键步骤，其目的是纠正控制误差和机械系统抖动等因素导致的投影错位。该任务大体分为两种研究思路：基于深度学习的端到端空间配准、融合深度学习与传统技术的空间配准。随着技术的发展，相关研究团队先后提出了基于CNN、ResNet、UNet以及MIMO-UNet的网络模型，并取得了优秀的空间配准效果。

三维重构优化通常集中在以下三个研究方向：稀疏采集数据的三维重构（稀疏重构）、有限角度采集数据的三维重构（有限角重构）以及重构切片的降噪。首先，稀疏重构应用深度学习的研究思路可以分为：正弦图的优化、重构切片优化以及混合优化。因与计算机视觉领域的压缩感知任务类似，稀疏重构可以有效应用迁移后的先进模型，如Noise2Noise和Self-Attention。其次，与稀疏重构类似，有限角重构的研究思路主要分为：正弦图的优化和重构切片优化。目前，研究人员已开发了如SARTConvNet、GANrec、 TomoDIP_TV等网络架构对有限角重构结果进行优化。最后，重构图像降噪是三维重构优化中最常见的任务，CNN、GAN等网络模型也已被广泛应用。

最后，本文主要探讨了数据后处理的四类任务：ROI分割、多模态、多能量和原位分析。ROI 分割可分为重建体素内的样品分割和样品内的特征分割两类。由于该任务与计算机视觉领域的实例分割任务相似，CNN、UNet、Mask R-CNN等技术已在同步辐射断层扫描的ROI分割任务中得到了广泛应用。而深度学习在多模态分析上的应用主要集中在对多组断层扫描数据进行空间配准。GAN、StyleGAN等模型是该任务主流的网络架构。深度学习在多能量分析方面主要集中在材料组分分割，以改善传统方式所带来的噪声，一般是基于Encoder-Decoder和UNet等网络架构。最后，深度学习在原位实验中的应用主要集中于对DVC技术的优化，以实现精确、稳健以及高效的DVC计算。

图3 深度学习赋能的同步辐射断层扫描实验展望

总结与展望

在同步辐射断层扫描成像领域，深度学习已被广泛研究和应用于数据处理相关的各类任务中，并在数据处理精度和效率方面具有优越性。未来，新一代同步辐射断层扫描实验将面临前所未有的挑战和机遇。如图3所示，随着深度学习技术在同步辐射断层扫描领域的发展，同步辐射断层扫描大模型、智能调度中心以及光束线站长期学习策略将成为解决同步辐射断层扫描大数据挑战的有效方案。

责任编辑

赵保丹    浙江大学

由林麟    中山大学

本文内容来自Cell Press合作期刊The Innovation第五卷第一期以Review发表的“Towards full-stack deep learning-empowered data processing pipeline for synchrotron tomography experiments” (投稿: 2023-06-16；接收: 2023-11-13；在线刊出: 2023-11-15)。

DOI: https://doi.org/10.1016/j.xinn.2023.100539

引用格式：Zhang Z., Li C., Wang W., et al. (2023). Towards full-stack deep learning-empowered data processing pipeline for synchrotron tomography experiments. The Innovation. 5(1), 100539.

作者简介

张 一，中国科学院高能物理研究所副研究员，中国科学院引进人才，高能同步辐射光源（HEPS）光束线软件系统负责人，主持国家重点研发项目1项。面向未来EB量级数据挑战，带领HEPS光束线软件团队在积极推动“大型科学软件框架 + AI for Science”的创新科研范式，开展实验控制、大数据采集与处理、人工智能、前沿学科算法、多尺图像处理与数据挖掘等跨领域研究，为建设“智慧光源”奠定了基础。

董 政，中国科学院高能物理研究所博士后，主要从事同步辐射张量成像方法学与应用以及人工智能等前沿算法研究。

往期推荐