今天将分享CT图像中常见病变分割挑战赛完整实现版本,为了方便大家学习理解整个流程,将整个流程步骤进行了整理,并给出详细的步骤结果。感兴趣的朋友赶紧动手试一试吧。
一、ULS2023介绍
近年来,每年进行的CT检查数量持续增加,导致放射科医生的工作量增加。与 2020 年相比,预计到 2040 年全球癌症负担将增加 47%,预计肿瘤放射学将成为未来工作量增加的主要因素,特别是因为癌症患者通常会在很长一段时间内进行多次影像学检查以跟踪疾病进展。
CT 扫描中疾病进展和治疗反应的量化通常依赖于病变的手动长轴或短轴测量。通常,这些测量结果使用实体瘤反应评估标准(RECIST)指南进行解释,该指南旨在标准化和加快这一过程。该指南将需要测量的病变数量限制为最多五个“目标病变”,跨越多个器官或结构,使用这些病变来估计总体反应。
为了减少在肿瘤扫描中注释病变的时间负担,自动分割模型可以在放射科医生的有限指导下提取信息。指导可以包括放射科医生在病变内单击或使用检测模型的边界框预测。在 3D 中分割病变体积可提供额外的信息,可用于计算信息量更大的病变体积或病变特征。配准算法也可用于分割病变,从而在随访检查期间节省大量时间。
基于人工智能取得了重大进展肿瘤的自动分割模型。专注于肝脏、肾脏或肺部肿瘤的医学挑战导致分割这些类型病变的性能大幅提高。然而,在临床实践中,需要多功能和能够快速分割胸腹部区域许多可能的病变类型的稳健模型。发展为普遍病变可以处理这种病变类型多样性的分割(ULS)模型需要一个精心策划且多样化的数据集。
二、ULS2023任务
通用病变分割,能够分割和测量放射科医生在临床实践中看到的各种类型的病变。
三、ULS2023数据集
在训练和评估数据的VOI的尺寸256x256x128,采用原始扫描间距。此大小允许最大的病变将完全在VOI中。虽然数据是这种固定格式的,但也提供用于提取病变并从头开始构建训练数据的不同参数代码。训练数据的第一部分包括 6,995 个完全 3D 注释的病变。由于收集高质量3D分割金标准是成本高昂,将注释工作集中在收集测试集上。对于训练数据,充分利用了该领域以前的挑战。作为现有公共数据的扩展,还包括两个新的数据集,一个用于骨病变,另一个包括更多,通常难以分割的胰腺病变。尽管不能保证该数据集的质量与其他数据集一样高,但它由多种病变类型组成,例如在测试集中发现的病变类型。训练数据的第二部分基于弱标注病变,其中单个维度或二维测量来构造分割mask。这部分数据集中有 32,310 个病变。生成伪掩码——使用Grabcut分割算法。Grabcut算法需要使用四种不同的图像种子进行初始化:可能的前景 (PFG)、可能的背景 (PBG)、前景 (FG) 和背景(BG)。为了初始化算法,裁剪了一个感兴趣的区域 (ROI)在病灶周围。边界框外的区域设置为 BG, 测量周围的膨胀设置为FG,其余区域根据到 FG 和 BG 区域的距离设置为 PFG 或 PBG。
对于测试数据,两家荷兰医院的PACS系统,奈梅亨的Radboudumc和登博斯的Jeroen Bosch Ziekenhuis查询了包含RECIST或目标病变报告的病例。使用放射学报告,其中提到了病变的切片位置和放射科医生在临床实践期间进行的测量。为了测量和分割病变,七名具有生物医学经验并接受过此任务培训的注释员被指示定位和重新测量报告中指示的病变,因为没有为这些数据存储 x/y 坐标信息。随后,经验丰富的放射科医生审查并纠正了在需要时选择的测量值或病变。最后,注释使用放射科医生批准的测量值作为指导,以3D形式分割病变。对于每个病变,三个注释对其进行分割,并由放射科医生审查和纠正由此产生的多数mask。该测试集包括多种病变类型,包括但不限于淋巴结肿大以及肾脏、结肠、胰腺、骨骼、肺、肝、腹膜和乳腺的病变。
评估指标:分割 Sørensen–Dice系数,3D病变Mask的长轴和短轴误差,和不同VOI下病变分割 Sørensen–Dice系数的一致性分数。
四、技术路线
1、分析标注数据,novel-data有三种类型病变图像和三维标注数据,fully_annotated有8种类型病变图像和三维标注数据,partially_annotated有2种类型病变图像和二维标注弱标注。
2、图像预处理,输入大小是256x256x128,对步骤2的原始图像进行(-800,800)范围截断,然后采用均值为0,方差为1的方式进行归一化处理。然后将数据分成训练集和验证集,对训练集做5倍数据增强处理。
3、搭建VNet3d网络,使用AdamW优化器,学习率是0.001,batchsize是2,epoch是100,损失函数采用二分类的dice和交叉熵。
4、训练结果和验证结果
5、验证集分割结果
左图是金标准结果,右图是预测结果。
6、弱标注数据测试分割结果
左图是弱标签结果,右图是网络预测结果。