DREAMING2024——在医学新兴应用中通过修复方法来缩小与现实的误差

今天将分享图像修复完整实现版本，为了方便大家学习理解整个流程，将整个流程步骤进行了整理，并给出详细的步骤结果。感兴趣的朋友赶紧动手试一试吧。

一、DREAMING2024介绍

虽然增强现实 (AR) 在医学领域得到了广泛研究，但它仅代表了改变真实环境的一种可能性。其他形式的介导现实 (MR) 在医学领域很大程度上仍未得到探索。缩小现实（DR）就是这样一种模式。DR是指通过用背景虚拟替换真实对象来从环境中移除真实对象。与AR 相结合，可以创建强大的MR环境。尽管DR引起了更广泛的计算机视觉和图形社区的兴趣，但尚未在医学中广泛采用。然而，DR在医疗应用中具有巨大的潜力。例如，当空间和术中视野受到限制，并且外科医生对患者的视野被破坏性医疗器械或人员进一步遮挡时，DR方法可以为外科医生提供手术部位的无障碍视野。最近，深度学习的进步为实时应用铺平了道路，无需事先了解当前场景即可提供令人印象深刻的成像质量。具体来说，深度修复方法是 DR 最有前途的方向。

通过修复实现缩小现实在医学中的新兴应用 (DREAMING) 挑战赛旨在率先将缩小现实 (DR) 融入口腔颌面外科。虽然增强现实 (AR) 在医学领域已得到广泛探索，但DR在很大程度上仍然是未知领域。DR 涉及通过用背景替换真实对象来从环境中虚拟地移除它们。最近的修复方法为无需场景知识的实时灾难恢复应用提供了机会。DREAMING专注于实施此类方法，以真实背景填充手术场景中的模糊区域，强调复杂的面部解剖结构和患者的多样性。

DREAMING挑战提供了一个以人类为特色的合成且逼真的手术场景数据集，模拟手术室环境。任务是开发算法，无缝消除医疗器械和手造成的干扰，为外科医生提供手术部位的畅通无阻的视野。

二、DREAMING2024任务

DREAMING 挑战的任务是在口腔颌面外科中实施基于修复的DR方法，使用合理的背景填充被破坏性物体隐藏的感兴趣区域，例如患者的面部及其周围环境。

三、DREAMING2024数据集

由于面部区域对于医学DR来说特别有趣，因为其复杂的解剖结构以及年龄、性别和种族的多样性。因此提供了一个数据集，其中包含合成但逼真的手术场景，重点关注患者面部，并有医疗器械和握住器械的手的遮挡。这些场景是通过在模拟手术室 (OR) 环境中渲染高度逼真的人体和 3D 扫描医疗器械而生成的。

DREAMING 训练数据集包含100个不同的手术场景，其中包含独特的患者、周围环境以及动态移动和静态手术器械以及握住它们的手的障碍物。此外还提供了定义每个图像要修复的区域的蒙版。

数据集下载链接：

https://zenodo.org/doi/10.5281/zenodo.10471364

评价指标：一致性/合理性（学习感知图像块相似度 (LPIPS)和弗雷歇起始距离 (FID)）、相对于真实的准确性（PSNR和MAE）和运行时间。

四、技术路线

1、分析图像可以看到color图像和gt图像具有空间位置一一对应的关系，所以采用Pixel2PixelGAN网络的生成器将color图像生成gt图像，然后再通过判别器来判断gt图像和生成color图像。

2、由于图像是灰度图像所以对color和gt图像都进行0-1范围归一化处理。将数据划分成训练集和验证集。

3、搭建Pixel2PixelGAN网络，生成器和判别器都使用Adam优化器，学习率是0.0002，batchsize是24，epoch是100，损失函数是采用对抗损失MSE和重构损失L1。

4、训练和验证结果

5、测试集部分修复结果

平均psnr：27.46，平均ssim：0.953