杨光：卷积神经网络重建欠采的磁共振图像

来源：磁共振成像传媒

王一达, 宋阳, 谢海滨, 童睿, 李建奇, 杨光. 卷积神经网络重建欠采的磁共振图像. 磁共振成像, 2018, 9(6): 453-459.

杨光，上海市华东师范大学物理与材料科学学院上海市磁共振重点实验室副主任，博士，副研究员

教育背景：1989年，中国科学技术大学材料科学与工程系，本科；1995年，上海市华东师范大学无线电物理专业，博士。

专业特长：磁共振相关的算法研究及软件开发，包括图像重建、后处理及可视化等。

研究方向：磁共振成像图像重建、可视化与后处理算法的研究，如压缩感知、深度学习等在磁共振成像中的应用；此外，也从事核磁共振波谱、磁共振成像的应用研究，以及磁共振成像系统软件的开发工作。

社会兼职：中国仪器仪表学会分析仪器分会核磁共振仪器专业委员会委员；上海卡勒幅磁共振技术有限公司研发中心主任。

磁共振成像中减少K空间数据的采集是一种常见的加速成像的方法，例如部分采集[1](截断)、等间隔欠采的敏感度编码(sensitivityencoding， SENSE)[2]、通用自校准部分并行采集(generalized autocalibrating partially parallel acquisitions， GRAPPA)[3]等方法以及基于随机欠采的压缩感知(compressedsensing，CS)[4]等方法。这些欠采的K 空间数据重建得到图像后，都会伴随特定的图像伪影。例如，截断K空间数据会导致图像模糊，并在高对比度边缘出现信号震荡现象，即吉布斯伪影[5]；伪随机欠采K空间则会在图像域引入非相干伪影[4]。MR图像上的伪影可能会模仿病变或者覆盖原有的组织结构，影响临床诊断。针对不同欠采带来的伪影，也有对应的算法用于处理图像。例如，Hamming窗函数和Tukey窗函数常常被用来抑制MR图像上的吉布斯伪影，但会导致图像模糊[6]；CS算法可以重建出清晰的伪随机欠采的MR 图像[4]，但高质量的CS重建往往需要消耗大量的时间。有些研究将CS与并行成像技术SENSE[7-8]和GRAPPA[9]相结合，进一步加速数据采集。

近些年来卷积神经网络(convolutional neural network，CNN)在计算机视觉领域取得了令人瞩目的成果。医学影像领域中，CNN也取得了广泛的应用，包括图像分割[10]、病变检测[11]、图像超分辨和图像降噪[12]。受到CNN上述成果的启发，本研究将欠采的MR图像和作为金标准的MR图像输入CNN中进行训练，自动学习到高阶的图像特征和伪影信息，利用得到的网络可以从欠采的K空间数据重建出高质量的MR图像。

1

材料与方法

1.1

实验数据

实验数据使用60位志愿者全采集的T1加权脑部MR图像，采自西门子3.0 T Prisma磁共振系统。扫描序列为快速梯度回波序列，未使用并行采集加速等加速采集技术，FOV=240 mm×240 mm；翻转角=8°；层厚=0.9 mm；TE=2.32ms； TR=2300 ms；采样矩阵=256×256×192。实验前随机选取15位自愿者的脑部数据作为测试集；其他45位的脑部数据作为训练集。在横断面、矢状位和冠状位3种方位分别提取大小为256×256 的2D图像当作数据样本，对原始数据中大小不为256×256的图像进行周围填零操作。其中训练数据提取约2万张图像，测试集数据提取6750张图像，MR图像在输入网络之前没有进行相应预处理。

对所有2D图像进行傅里叶变换得到K空间数据，分别模拟低频中央采样和伪随机采样两种欠采策略。设定横断面、矢状面、冠状面的相位编码方向分别为L-R、A-P、L-R，采样率为30%，其中随机欠采策略的中央连续采样为10%，周围高频随机采集为20%[4]。

1.2

数据扩增

由于训练数据过少会引起过拟合现象，本实验对训练集中的图像进行两种数据扩增操作：(1) 以1度为步长，10度以内的旋转；(2)以0.02为步长，形变系数在0.2以内的拉伸。数据扩增之后， 训练集中共有约100万张2D MR图像。

1.3

训练网络

本实验对中央连续采样和非均匀伪随机欠采两种方式获得欠采数据的重建进行了研究。算法流程图如图1所示，训练过程中欠采图像和全采金标准图像成对输入CNN中进行训练，学习从欠采填零重建图像到全采图像的非线性映射。针对两种欠采模式用各自的欠采数据分别训练两个网络。测试过程中，向训练好的模型中输入欠采填零重建的图像，然后将CNN输出图像的K空间与欠采的K空间进行合并保真，反傅里叶变换得到最终的MR图像。

实验中使用如图1所示的UNet[13]结构来重建MR图像。网络结构由编码和反编码两条路径组成，分别包含4个下采和上采阶段。在编码路径中，每个阶段包含两个卷积层，每个卷积层后都有归一化层和激活函数，从输入图像中提取抽象特征；使用最大池化操作来减小特征图的大小和增大视野域。在反编码路径中，反卷积操作用来增大特征图的大小直到与输入图像大小相同。为了利用在编码路径中由于下采丢失的图像信息和改善重建质量，本研究连接两个路径中的特征图，然后对组合而成的特征图进行卷积。在最后两层中，将高度抽象的特征图映射到图像域，与输入图像相加，重建出清晰的MR图像。

在网络中，所有的卷积和反卷积操作的卷积核大小为3×3，步长分别为1和2，并且适当填0，保持特征图尺寸相同。激活函数为ReLU函数[14]。特征图的数量在编码的每个阶段成倍增加，在反编码的每个阶段成倍减少，与特征图的尺寸变化相反。

CNN进行训练时，需要通过反复迭代优化网络参数。在每次迭代中，从训练数据中随机挑选样本输入网络，通过反向传播算法[15]更新权重Θ=。本文使用欧几里得损失函数作为能量函数，公式如下：

其中n是训练样本的数量，Xi是输入的欠采MR图像，ui是对应的金标准图像，F代表网络结构。

实验中使用均值为0，标准偏差为0.001的高斯分布随机初始化每一层的卷积核的权重，偏置全部初始化为0。本文的网络是基于TensorFlow平台，具有两块NVidia TITAN XP显卡的工作站上实现的。本实验使用ADAM优化算法(β1=0.9， β2=0.999，ε= 10-8)训练网络，每批次输入32个训练样本。初始的学习速率设置为0.001，实验迭代50000次，训练用时约20 h。

1.4

保真

考虑到重建图像的K空间数据与原始采集数据的一致性，本研究利用采集的K空间数据对CNN 输出的图像进行保真处理。具体做法是：将CNN 输出图像进行傅立叶变换后得到K空间数据，然后用采集的原始K空间数据替换掉该数据中相应的部分，合并后的K空间反傅里叶变换即可获得最终的图像。

1.5

量化评估

为了定量评价CNN重建欠采MR图像的效果，本实验利用测试集中的金标准图像分别计算不同方法重建图像的峰值信噪比(peak signal to noise ratio，PSNR)[16]、结构相似度(structural similarity，SSIM)[16]和高频误差范数(high frequency error norm，HFEN)[17]，并进行统计分析。其中PSNR从像素角度整体评价重建图像；HFEN利用高频信息从组织边缘和细节处进行评价；SSIM从结构相似性方面对图像进行评价。

为了与本文的算法进行对比，实验中使用Tukey窗函数重建中央连续采样数据，参数r设为0.65；使用分裂布雷格曼压缩感知算法重建伪随机欠采数据[18]，所有参数均为默认参数。

2

结果

2.1

重建图像结果

对于中央连续采样的数据，笔者将本文方法的结果与填零重建、窗函数的结果进行了比较， 结果如图2所示。图2A为测试集中的全采金标准矢状位图像，使用图2E的采样模板(采样率为30%)对K空间进行采集。从图2中可以看出，填零重建的图像(图2B及其与金标准图像的差图2F)中丢失了许多结构细节信息，并引入了吉布斯伪影；窗函数重建(图2C及其差图2G)可以抑制吉布斯伪影， 但会导致图像模糊；而CNN方法(图2D及其差图2H)可以有效地抑制吉布斯伪影，同时在保留了图像边缘和结构信息方面也有较好的表现。

对于伪随机欠采数据的重建，笔者将本文方法与填零重建、CS重建的结果进行了比较，结果如图3所示。图3A为测试集中的全采金标准冠状位图像，使用图3E的采样模板(总采样率为30%，其中中央连续采样10%)对K空间数据进行采集。从图3中可以看出，由于使用伪随机采样方式，填零重建图像(图3B及其差图3F)中有较明显的非相干伪影；CS (图3C及其差图3G)和CNN方法(图3D及其差图3H)都可以有效地抑制非相干伪影，恢复出主要的结构信息，重建出清晰的磁共振图像。在视觉效果上，本文方法与压缩感知方法重建的效果相近。

为了比较不同欠采模式对CNN重建算法的影响，本研究比较了中央连续采样和伪随机欠采的重建结果，结果如图4所示。从图4中可以看出， 两种欠采模式下，CNN重建的图像都没有明显的伪影，但伪随机欠采的图像比中央连续采样的图像细节更加丰富。这一点也符合预期，因为伪随机欠采的方式保留了部分高频信息，因此最终的重建图像中也包含了更多的高频信息。

2.2

量化评估结果

利用测试集中的6750张金标准图像重复进行实验。统计不同方法重建中央欠采和伪随机欠采MR图像的PSNR、SSIM 和HFEN，结果分别如表1、2 所示。从表1、2中可以看出， CNN重建出图像的PSNR、SSIM 明显高于简单的填零重建图像， 说明重建误差较小，重建出的图像与金标准图像结构相似度较高；HFEN明显低于填零重建图像，说明本实验可以较好地重建出高频信息。对于中央连续采样的MR图像，CNN重建出图像的评价参数都优于加窗函数重建出的图像；对于伪随机欠采的MR图像，CNN重建出图像的PSNR、SSIM优于CS重建出的图像，但是HFEN 略高。CNN重建出的伪随机采样MR图像的评价参数都优于重建中央连续采样的MR图像，说明伪随机采样模式更适合CNN重建出高质量的MR图像。

3

讨论

为了缩短磁共振的扫描时间，人们提出了欠采K空间数据的方法，然而这些方法往往会导致图像中出现伪影，有些伪影形似病灶，有些伪影会掩盖病灶，为医生的临床诊断带来困扰。CNN是具有多个隐含层的复杂结构模型，本实验通过将大量欠采的带有伪影和对应不带伪影的全采集图像输入CNN中进行训练，得到能够重建出高质量MR图像的网络。

3.1

与传统Unet对比

本实验使用改进的UNet结构，网络最后一层将提取出的抽象特征与输入图像相加。随着网络的加深，虽然提取的特征越来越具有代表性，下采操作不可避免地丢失了原始数据信息，而且网络只提取伪影特征的难度远远小于重建整幅图像的难度。在训练过程中，网络不断地学习伪影图像和金标准图像之间的差异，直至能量函数收敛。

3.2

与其他工作对比

从实验结果中可以看出，无论是中央连续采样还是伪随机采样模式，CNN重建出的图像都可以在抑制伪影的同时保留组织结构的细节信息。

实际成像过程中，通常使用对于截断的K空间数据加窗函数来抑制吉布斯伪影，然而滤波操作不可避免地损失了高频数据，导致图像丢失细节信息，重建图像非常模糊。本文方法重建出的截断的K空间数据，在抑制图像上伪影的同时恢复出脑部许多细节信息，重建出清晰的组织结构。

CS算法根据MR图像在频域的稀疏性，采集少量K空间数据重建出高分辨率图像，可以有效减少扫描时间。本文重建的结果在视觉效果上与经典的CS相当，统计结果上略有优势，重建图像误差较小，结构相似性也较好。CS算法的对算法参数较为敏感，计算过程中的迭代次数是由残差容限和决定上限等超参数决定的，这些参数的设置往往取决于先验知识，需要人们手动调参。相比之下，使用CNN进行欠采图像的重建过程中，并不需要进行手工的参数调整。

CNN方法的另一个优势是重建时间，本研究使用基于分裂布雷格曼CS算法[18]重建伪随机采样数据，该算法是速度比较快的压缩感知算法，但重建256×256×192的MR图像需要104 s。而CNN 方法虽然训练时间较长，但是使用CNN进行重建时，重建256×256×192的MR图像只需要3 s。需要指出的是，很多压缩感知的工作给出了效果更好的重建结果，但往往需要更长的计算时间，在一定程度上影响了这些方法的应用[19]。本文的方法和并行重建可以同时应用，进一步加快成像速度，提高成像质量。

3.3

不同采样模式的对比

从图4中可以看出在采样率相同的情况下，CNN重建出的伪随机采样MR图像更加锐利，细节部分更加清晰。表1和表2中的统计结果也显示出，CNN重建出的伪随机采样MR图像质量更高。由于中央采样模式只采集K空间中央部分，完全抛弃周围的高频数据，从而导致CNN难以恢复图像的细节信息。然而伪随机采样模式会随机欠采周围高频部分的数据，所以输入网络的图像中既包含低频数据又具有部分细节信息，CNN比较容易学习到图像的结构和细节特征，从而输出高质量的MR图像。

3.4

未来研究

本研究工作可以从以下几个方面进行拓展： (1)本文工作只使用了T1W图像，后续可收集更多的不同磁共振模态图像的样本对网络进行训练， 提高网络的泛化能力；(2)本文的欠采率固定为30%，后续可增加不同采样率的MR图像进行训练，扩展CNN重建欠采图像的范围；(3)改进神经网络，使用3D的卷积核提取MR图像的特征，重建3D MR图像。

综上所述，本研究针对磁共振成像中的欠采，提出了利用CNN进行欠采图像与全采集图像之间的非线性映射关系，达到抑制伪影、快速重建高质量MR图像的目的。结果表明，该方法在有效抑制伪影的同时保留了图像细节信息，提高了图像视觉效果，CNN在MR图像应用中具有很大的潜力。

参考文献

[References]

[1]Mcgibney G, Smith MR, Nichols ST, et al. Quantitative evaluation of severalpartial Fourier reconstruction algorithms used in MRI. Magn Reson Med, 1993,30(1): 51-59.

[2]Pruessmann KP, Markus W, Scheidegger MB, et al. SENSE: sensitivity encoding forfast MRI. Magn Reson Med, 1999, 42(5): 952-962.

[3]Griswold MA, Jakob PM, Heidemann RM, et al. Generalized autocalibratingpartially parallel acquisitions (GRAPPA). Magn Reson Med, 2002, 47(6):1202-1210.

[4]Lustig M, Donoho D, Pauly JM. Sparse MRI: The application of compressed sensingfor rapid MR imaging. Magn Reson Med, 2007, 58(6): 1182.

[5]Wood ML, Henkelman RM. Truncation artifacts in magnetic resonance imaging. MagnReson Med, 1985, 2(6): 517-526.

[6]Harris FJ. On the use of windows for harmonic analysis with the discretefourier transform. IEEE Proceedings, 1978, 66(1): 51-83.

[7]Ye J, Qu X, Guo H, et al. Patch-based directional redundant wavelets incompressed sensing parallel magnetic resonance imaging with radial samplingtrajectory. J Med Imaging & Health Inform, 2016, 6(2): 387-398.

[8]Liang D, Liu B. Accelerating SENSE using compressed sensing. Magn Reson Med,2009, 62(6): 1574-1584.

[9]Chang Y, Liang D, Ying L. Nonlinear GRAPPA: a kernel approach to parallel MRIreconstruction. Magn Reson Med, 2012, 68(3): 730.

[10]Pereira S, Pinto A, Alves V, et al. Brain tumor segmentation usingconvolutional neural networks in MR images. IEEE Trans Med Imaging, 2016,35(5): 1240-1251.

[11]Shin HC, Roth HR, Gao M, et al. Deep convolutional neural networks forcomputer-aided detection: CNN architectures, dataset characteristics andtransfer learning. IEEE Trans Med Imaging, 2016, 35(5): 1285-1298.

[12]Bahrami K, Shi F, Zong X, et al. Reconstruction of 7T-like Images from 3 T MRI.IEEE Trans Med Imaging, 2016, 35(9): 2085-2097.

[13]Ronneberger O, Fischer P, Brox T. U-Net: convolutional networks for biomedicalimage segmentation//International Conference on Medical Image Computing andComputer-Assisted Intervention. Springer, Cham, 2015: 234-241.

[14]Glorot X, Bordes A, Bengio Y, et al. Deep sparse rectifier neural networks.Jmlr W & Cp, 2012, 15: 315-323.

[15]Lecun Y, Boser B, Denker JS, et al. Backpropagation applied to handwritten zipcode recognition. Neural Computation, 1989, 1(4): 541-551.

[16]Hore A, Ziou D. Image quality metrics: PSNR vs. SSIM//International Conferenceon Pattern Recognition. IEEE, 2010: 2366-2369.

[17]Ravishankar S, Bresler Y. MR image reconstruction from highly undersampledk-space data by dictionary learning. IEEE Trans Med Imaging, 2011, 30(5):1028-1041.

[18]Goldstein T, Osher S. The split bregman method for L1-regularized problems.Society for Industrial and Applied Mathematics, 2009, 2(2): 323-343.

[19]Lai Z, Qu X, Liu Y, et al. Image reconstruction of compressed sensing MRI usinggraph-based redundant wavelet transform. Med Image Anal, 2016, 27(1): 93-104.

为了培养磁共振诊断骨干力量，提高诊断水平，中国人民解放军总医院与《磁共振成像》杂志社将联合举办第三届全国磁共振三基训练学习班。此次学习班将于2018年10月23-27日（原定2018年8月9-12日）在北京市召开，讲座时间3.5天。本次学习班突出常见疾病磁共振临床实战，一讲一练，现场微信答题，让大家在轻松的氛围里学习301的诊断思维，力求“听得懂，记得住，用得上”。