医学图像跨域合成

背景

这篇文章主要介绍一些基于深度学习的医学图像合成的论文，医学图像跨域合成一般是指从一种模态转化为另一种模态，包括CT到PET，MR到CT，CT到MR及MRI中T1,T2,FLAIR等之间的转化。

相关论文

Deep MR to CT Synthesis using Unpaired Data (MICCAI workshop2017)

Authors: Jelmer M. Wolterink1, Anna M. Dinkla2, Mark H.F. Savenije2, Peter R. Seevinck1, Cornelis A.T. van den Berg2, Ivana Isgum Code：https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix 背景 仅MR放射治疗计划要求精准MR-to-CT合成。目前用于磁共振到CT合成的深度学习方法依赖于同一患者的MR和CT训练图像的两两对齐。然而，成对图像的非对准问题会导致合成CT图像的误差。为了解决这一问题，本文提出用未配对的MR和CT 图像训练生成对抗网络(GAN)。 贡献 将cyclegan应用到非配对的MRI到CT图像生成/模态转换。实验发现使用非配对的数据集训练比配对数据集上取得的效果更好，更真实。 本文的网络结构比较简单，直接采用cyclegan的形式，由两个生成器和两个判别器组成，分别实现MRI到CT转换和CT到MRI的转换，损失函数有判别器的损失和循环一致性损失如图：

实验部分 本文采用了24对MRI、CT图像作为数据集，用2D矢状面切片作为网络输入。评价指标用的是MAE和PSNR。文中没有提供与其他方法的对比结果，实验部分比较简单

Ea-GANs: Edge-Aware Generative Adversarial Networks for Cross-Modality MR Image Synthesis（TMI2019）

出发点 现有的方法大多只关注于最小化像素/体素方向的强度差异，而忽略了图像内容结构的纹理细节，从而影响了合成图像的质量。为了解决这一问题，本文提出了一种基于边缘感知的生成对抗网络(Ea-GANs)的MR图像合成方法。 贡献 ①为了解决2D模型预测结果不连续问题和现有的cGAN只考虑像素一致性而忽略图像内容结构一致性的问题，引入edge边缘信息，提出EaGAN网络用语MRI合成 ②设计两种策略学习edge信息，gEaGAN只在生成器种约束edge map；dEaGAN同时在生成器和判别器中利用edge信息，与直接使用梯度相比，对噪声更不敏感且更注重邻域信息 关于图像边缘和3D Sobel算子的描述，如下：

网络结构比较简单，主要由三部分组成，生成器，判别器和边缘提取器。

其中，gEa-GAN的损失函数如下：

dEa-GAN的损失函数如下：

实验部分 本文采用两种数据集，BRATS2015和 the non-skull stripped IXI datasets。评价指标PSNR,SSIM,NMSE。部分实验结果如下：

Image Synthesis in Multi-Contrast MRI With Conditional Generative Adversarial Networks （TMI 2019）

Authors: Salman UH. Dar, Mahmut Yurt, Levent Karacan, Aykut Erdem, Erkut Erdem, and Tolga Çukur Code：http://github.com/icon-lab/mrirecon 背景 获得具有多种不同对比的同一解剖图像增加了磁共振检查中可用的诊断信息的多样性。然而，扫描时间限制可能会阻止某些对比度的获取，而且对比度可能会被噪声和伪影破坏。在这种情况下，合成未获得的或损坏的对比的能力可以提高诊断的效用。对于多对比度合成，现有的方法一般学习一个从源到目标图像之间的非线性强度转换，要么通过非线性回归或确定性的神经网络，但是这些方法可能会在合成图像中丢失结构细节。 本文的贡献 这篇文章提出了一种基于条件GAN的多对比MRI图像合成的方法，实现MRI中T1,T2的相互转化合成，用对抗损失函数来保持图像的中高频细节。创新主要有两点： ①提供了两种不同的应用场景，对配准的多对比度MRI，设计pGAN，除了基本的生成对抗损失外，使用像素级的L1损失和感知损失加以约束；对非配准的图像，设计cGAN，用cycleGAN的思想，引入循环一致性损失来提高合成性能。 ②利用相邻截面信息(neighboring cross-sections)来进一步提高合成图像的质量。 对于第一种配准的场景，网络结构如下，损失函数包括上述三个部分：

对于第二种非配准的场景，网络结构如下，它的本质就是cyclegan：

此外，为了合成x和y的每一个横截面，还利用了相邻横截面的相关信息，不仅通过图像本身上调节网络，且在图像的相邻横截面上调节网络。本质上，就是把像素级的合成扩展到某个区间内的合成，则原损失函数可以改写为如下形式：

其中，x_k为以x为中心的k个连续截面组成的向量。

实验部分 本文用到的数据集有三个，分别为：MIDAS Dataset、IXI Dataset、BRATS Dataset。本文的实验对比和分析非常丰富，这里给出一部分实验结果：

Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis (TMI 2020)

Authors: Tao Zhou, Huazhu Fu, Geng Chen, Jianbing Shen, and Ling Shao Code：https://github.com/taozh2017/HiNet 出发点 在许多任务中，融合这种多模态数据已被证明特别有效地提高了模型的性能。然而，由于数据质量差，患者频繁退出，收集每个患者的所有模式仍然是一个挑战。医学图像合成是解决这一问题的有效方法，可以将缺失的模态从已有的模态中合成出来。 贡献 ①不同于单模态合成，本文提出一种新的MRI合成框架，用多种模态合成目标模态图像； ②Hi-Net通过特定网络获得单个模态特征，同时用分层多模态融合学习多模态间相关性； ③提出MFB模块自适应地对不同的融合策略进行加权 本文的网络结构由三个部分组成，分别为特定模态特征网络，多模态融合网络及多模态合成网络（包括一个生成器和一个判别器），损失函数由L1重建损失，生成器和判别器损失三部分构成，结构图如下：

其中，MFB模块同时结合了加法，乘法，concatenate操作，让网络自适应的学习不同操作间的权重，可以更好地融合特征。

实验部分 本文采用多模态的脑部肿瘤分割挑战赛BraTs2018的数据集，用T1,T2和Flair三种模态来验证本文提出方法的有效性。共285例数据，网络训练使用归一化到[-1,1]的2D切片，评价指标由PSNR,SSIM,NMSE。给出一部分实验结果

总结

之前介绍过很多关于有监督的图像合成，这里涉及到无监督的图像合成问题，主要是借鉴了自然图像中风格迁移的思想，用cyclegan来实现。