SELMA3D2024——3D光片显微镜图像自监督分割

今天将分享3D光片显微镜图像自监督分割完整实现版本，为了方便大家学习理解整个流程，将整个流程步骤进行了整理，并给出详细的步骤结果。感兴趣的朋友赶紧动手试一试吧。

一、SELMA3D2024介绍

在现代生物学研究领域，可视化和理解组织和生物体内复杂结构的能力至关重要。经过组织透明化和特定结构染色后的光片显微镜 (LSM) 提供了一种高效、高对比度和超高分辨率的方法，可用于可视化各种样本中的各种生物结构，例如细胞和亚细胞结构、细胞器和过程。在组织透明化步骤中，在保持样本完整性和标记结构荧光的同时，原本不透明的生物样本变得透明，从而使光线能够更深入地穿透组织。在结构染色步骤中，可以使用各种染料、荧光团或抗体来选择性地标记样本内的特定生物结构并增强其在显微镜下的对比度。通过与结构染色和组织透明化步骤相结合，LSM 为研究人员提供了前所未有的能力，能够以高空间分辨率可视化复杂的生物结构，为神经科学、免疫学、肿瘤学和心脏病学等各种生物医学研究领域提供新的见解。在不同的生物医学研究领域中，为了分析 LSM 图像，分割在识别和区分不同的生物结构方面起着关键且必不可少的作用。对于非常小规模的 LSM 图像，可以手动进行图像分割。然而，在整个器官或身体 LSM 情况下，手动分割非常耗时，单个图像可能有 10000^3 体素，因此对自动分割方法的需求很高。基于深度学习的分割方法的最新进展为 LSM 图像的自动分割提供了有希望的解决方案。虽然这些方法的分割性能与专家人类注释者相当，但它们的成功很大程度上依赖于从大量手动注释图像训练集中进行监督学习，这些图像特定于一种结构染色。然而，对各种 LSM 图像分割任务进行大规模注释提出了巨大的挑战。在这种情况下，自监督学习被证明是有利的，因为它允许深度学习模型在大规模、未注释的数据集上进行预训练，学习 LSM 图像数据的有用和通用表示。随后，该模型可以在较小的标记数据集上进行微调，以完成特定的分割任务。值得注意的是，尽管存在大量不同生物结构的 LSM 数据，但自监督学习尚未在 LSM 领域得到广泛探索。LSM 图像的一些特性（例如高信噪比）使数据特别适合自监督学习。

挑战赛旨在举办一场关于 3D LSM 图像分割的自监督学习挑战赛，鼓励社区开发用于 3D LSM 图像中各种结构的一般分割的自监督学习方法。通过有效的自监督学习方法，可以利用大量没有注释的 3D LSM 图像来预训练分割模型。这鼓励模型捕获可在不同生物结构中推广的高级表示。随后，可以在小得多的带注释数据集上对预训练模型进行微调，从而显著减少各种 3D LSM 分割应用中的注释工作。

二、SELMA3D2024任务

3D 显微镜图像中大脑结构的自监督语义分割。

三、SELMA3D2024数据集

光片显微镜 (LSM) 结合组织透明化和特定结构染色，具有独特的优势，可以对大型完整样本进行高分辨率成像，同时最大限度地减少光漂白和光毒性。这使得 LSM 成为研究大脑结构、功能和动态的有力工具，有助于加深对正常大脑生理和神经系统疾病的理解。对于大脑 LSM 图像的分析，分割是描绘生物结构（如血管和神经元细胞）的基本步骤。在这个任务中，每个参与者将收到一个包含两组的训练数据集。第一组包括大量（> 6x10^11 体素，相当于 > 35000 张 256x256x256 体素的图像）没有注释的小鼠和人类样本的全脑 3D LSM 图像，该组应该有助于通过自监督学习进行模型预训练。第二组由带有精确注释的全脑 3D LSM 图像的裁剪补丁组成，可以对模型进行微调以执行语义分割任务。

训练集：1）无注释的训练子集：18 个带有神经活动标记来标记细胞的大脑，9 个带有血管标记来标记的大脑，4 个带有细胞核标记来标记的大脑亚区，4 个带有阿尔茨海默病斑块标记的大脑。2）带注释的训练子集：19 个带有注释的带有神经活动标记的细胞的大脑图像块，24 个带有注释的血管标记的大脑图像块，12 个带有注释的细胞核标记的大脑图像块，34 个带有注释的阿尔茨海默病斑块标记的大脑图像块。

验证集：带有神经活动标记的细胞的大脑图像块，小胶质细胞标记的大脑图像块。

测试集：带有神经活动标记的细胞的未见大脑图像块，小胶质细胞标记的未见大脑图像块。

数据下载：

https://www.ebi.ac.uk/biostudies/bioimages/studies/S-BIAD1197

https://www.ebi.ac.uk/biostudies/bioimages/studies/S-BIAD1196

四、技术路线

1、将全部数据放到一起组成不同大脑结构的混合数据集。

2、图像像素值截断设置（1，99），然后采用z-score归一化方式进行归一化处理，将图像缩放到固定大小为256x256x256，将数据划分成训练集和验证集。

3、搭建VNet3d网络，使用AdamW优化器，学习率是0.001，batchsize是1，epoch是300，损失函数采用二值化的dice和ce。

4、训练结果和验证结果

5、验证集分割结果

左图是金标准结果，右图是预测分割结果。

点击阅读原文可以访问参考项目，如果大家觉得这个项目还不错，希望大家给个Star并Fork，可以让更多的人学习。如果有任何问题，随时给我留言我会及时回复的。