Endoscapes2024——用于手术腹腔镜视频数据解剖和工具分割、检测和 CVS评估

今天将分享用于手术腹腔镜视频数据解剖和工具分割、检测和 CVS评估完整实现版本，为了方便大家学习理解整个流程，将整个流程步骤进行了整理，并给出详细的步骤结果。感兴趣的朋友赶紧动手试一试吧。

一、Endoscapes2024介绍

自动评估关键安全视图 (CVS) 是外科数据科学中的一个重要问题，近年来引起了人们的关注。与迄今为止研究过的许多外科数据科学任务（例如相位识别、工具检测/分割）不同，CVS 评估尤其具有挑战性，因为它依赖于对细粒度解剖结构和概念的准确和精确识别。Endoscapes2024是一套带有注释的腹腔镜胆囊切除术视频数据集，专门用于解决自动 CVS 评估问题：即帧级 CVS 注释以及与 CVS 评估相关的关键解剖结构/区域的分割/边界框（例如肝囊三角、胆囊动脉/导管和胆囊板）。

二、Endoscapes2024任务

分割任务：5 个解剖结构和 1 个工具

检测任务：5 个解剖结构和 1 个工具

CVS预测

三、Endoscapes2024数据集

Endoscapes包含四个子集：

Endoscapes-CVS201。201 个 LC 视频的解剖阶段的 58813 帧集合。在这 58813 帧中，11090 帧（每 5 秒 1 帧）由三位专家使用 CVS 注释，其中 CVS 标签是三个二进制图像级注释的集合，表示已达到三个 CVS 标准中的每一个：即 C1 - 两个结构、C2 - 肝囊三角解剖和 C3 - 囊性板。将视频分为 120 个训练、41 个验证和 40 个测试，得到 36694 个训练帧、12372 个验证帧和 9747 个测试帧；其中，6970 个训练帧、2331 个验证帧和 1799 个测试帧包含 CVS 注释。为了生成分割，采用分层随机抽样，使用视频级 CVS 成果进行分层；按视频（按患者）分割数据集符合手术视频分析中的常见做法。这些相同的数据集分割也用于，从而便于比较。

Endoscapes-BBox201。与 Endoscapes-CVS201相同的 58813 帧集合，其中 1933 帧（每 30 秒 1 帧）标注了 6 个不同类别（5 个解剖结构和一个工具类）的边界框。使用上面的视频分割分别产生 1212、409 和 312 个训练、验证和测试帧。请注意，Endoscapes-BBox201 的每个折叠（训练、验证、测试）都是 Endoscapes-CVS201 中相应折叠的严格子集。

Endoscapes-Seg201。与 Endoscapes-BBox201 相同，但对已包含边界框注释的 1933 帧（1212 个训练帧、409 个验证帧和 312 个测试帧）添加了额外的分割掩码。仅发布 Endoscapes-Seg201 的一个子集，称为 Endoscapes-Seg50，如下所述，作为 Endoscapes2023 的一部分。

Endoscapes-Seg50。Endoscapes-Seg201 的一个子集，包含来自 50 个视频（201 个视频的子集）的 14940 帧，其中 493 帧（每 30 秒 1 帧）带有分割掩码注释。采用基于视频级 CVS 成绩的分层随机抽样，分别从上述 120 个训练视频、41 个验证视频和 40 个测试视频中选择 30、10 和 10 个视频，从而选择这 50 个视频。这确保 Endoscapes-Seg50 可以与 Endoscapes-BBox201 和 Endoscapes CVS201 结合使用，以训练用于对象检测、分割和 CVS 预测的混合监督模型。拆分后，有 10380 个训练帧、2310 个验证帧和 2250 个测试帧，其中分别有 343、76 和 74 个包含分割掩码。

分层注释方法（大量未标记的图像、许多“廉价”的 CVS 注释、低频中等成本边界框注释以及具有昂贵分割掩码的小子集）不仅可以有效地模拟现实的注释预算，而且还可以在混合监督、半监督和时间建模方面进行大量多样化的实验。

数据下载：

https://s3.unistra.fr/camma_public/datasets/endoscapes/endoscapes.zip

四、技术路线

任务1：解剖结构和工具检测

1、图像预处理，图像缩放到640x640，然后采用均值为0，方差为1的方式进行归一化处理，并将数据划分成训练集和验证集。

2、搭建YoloV5检测网络，使用SGD优化器，学习率是0.001，batchsize是64，epoch是500，损失函数采用交叉熵和iou损失。

3、训练结果和验证结果

4、验证集检测结果

测试集可视化检测结果

任务2：解剖结构和工具分割

1、将图像缩放到640x640，并对图像进行均值为0方差为1的归一化操作，然后将数据按照8：2分成训练集和验证集。

2、搭建VNet2d网络，使用AdamW优化器，学习率是0.001，batchsize是8，epoch是300，损失函数采用多类别的dice和交叉熵。

3、训练结果和验证结果

4、验证集部分分割结果

左图是原图，中间是金标准结果，右图是网络预测分割结果。

点击阅读原文可以访问参考项目，如果大家觉得这个项目还不错，希望大家给个Star并Fork，可以让更多的人学习。如果有任何问题，随时给我留言我会及时回复的。