首页
学习
活动
专区
工具
TVP
发布

深度重建:基于深度学习的图像重建

深度重建

上期来自四川大学的博导张意老师介绍了CT重建的基本原理和经典方法,

CT重建的原理和现状

。本期他将带我们学习他的最新的利用深度学习进行CT重建的IEEE TMI论文,背后的思想同样适合于其它计算成像领域。

深度学习小评

深度学习小评

深度学习是机器学习的一个分支,概念由Hiton等人在2006年提出,来源于1943年提出的人工神经网络的概念。自2006年之后,深度学习受到科研机构、工业界的高度关注。 深度学习的核心是特征学习,通过分层网络获取分层次的特征信息,来解决以往需要人工设计特征提取算子的重要难题。深度学习框架包括多个重要网络结构,主要有卷积神经网络 (Convolutional Neural Networks, CNN),自编码器(Auto Encoder),限制波尔兹曼机 (Restricted Boltzmann Machine, DBM),深信度网络 (Deep Belief Networks, DBM),递归神经网络(Recurrent neural Network, RNN)等。

就大脑视觉来说,大脑的可视皮层是分级的。如图1,人眼观测到图像,会先提取一些边缘特征,接着会将这些边缘组合成局部特征,到大脑的最上层,会将这些局部特征整合为总体特征,从而使人类能够准确地区分不同物体。

图1.:大脑视觉处理过程

CNN网络正是借鉴了人类处理信息的过程,通过多层卷积网络来提取图像特征。在浅层网络,卷积核只能提取一些浅层的边缘特征,随着网络层数加深,这些边缘特征将会被慢慢组合成高层特征,可以很好地被用来进行识别工作。CNN不仅可以实现局部感受野,模仿人类对信息接收和处理的模式,并且减少了参数数量,降低了网络的复杂度,因此被广泛用于图像问题中。

深度重建(DeepRecon)

在基于深度学习的CT图像重建问题中,已经有若干个工作被刊载。下面将主要介绍两个我们课题组关于深度重建的论文。他们分别是将深度学习用于低剂量CT图像去噪的后处理方法以及将稀疏角CT迭代重建进行网络展开的方法。

第一种架构: RED-CNN

自编码器

自编码器 (Auto-Encoder, AE)是深度学习框架的一类,用于学习图像的压缩特征,使得输出等于输入。它由两部分组成,分别是编码器(Encoder)和解码器(Decoder)。我们的第一个工作就是将自编码器和残差(Residual)卷积网络结合起来,用来处理低剂量CT图像。

架构和原理

图2是我们的网络模型,我们称作Residual Encoder-Decoder Convolutional Neural Network (RED-CNN)。该网络是端到端的网络,输入为低剂量CT图像,相对应的标签是正常剂量CT图像。该网络总共由10层组成,其中前五层为编码层,每一层都由卷积层和ReLU层构成,后五层为解码层,每一层由反卷积层和ReLU层构成,为了避免细节的丢失,我们没有加入池化层。在10层网络中,我们加入了3个跳跃连接,这样整个网络就类似残差网络的结构,这样可以避免梯度消失或梯度爆炸等问题,使得训练过程变得更加稳定。可以注意到,在3个跳跃连接中,我们先将学习到的残差和跳跃单元求和,再通过ReLU层,这样取消了残差的非负约束,使得恢复的图像更加精确。

图2.:RED-CNN架构

效果

在论文中我们做了大量的对比实验,这里只显示一组胸腔数据的重建结果,如图3可以看到,相对于正常剂量的CT图像,低剂量CT图像中有大量的噪声,所有方法都能够有效去除低剂量CT图像中的噪声。蓝色箭头标记的是一些血管的细节,RED-CNN获得的图像很好地将这些细节修复了,而其他方法重建得到的图像在该处的细节都被或多多或少有所丢失。而在红色箭头标记的地方,对比方法KAIST-Net获得的结果出现了一些伪结构,是正常剂量图像中所没有的。

图3.:效果比对

第二种架构:LEARN

idea

相比后处理的方法,迭代重建方法因为在迭代过程中会用到真实的投影数据,因此重建结果在理论上将会更精确。因此我们的另一个工作是将深度学习和迭代重建方法结合起来。在传统的稀疏CT重建中,由于问题的病态特性,需要人为的引入正则项。为了构造好的正则项,往往需要特征工程和先验知识。同时,这类方法需要人为设置正则项的权重参数,而不同图像的参数可能不同,使得这类方法的普适性不是很强。我们的idea是用神经网络来同时学习这些正则项和参数,通过训练,根据数据得到正则项和参数。我们固定迭代次数,然后将在每一次迭代进行网络展开,可以得到图4所示的LEARN(Learned Experts’ Assessment-BasedReconstruction Network)网络框架。

图4.:LEARN 架构

效果

我们使用了来自Mayo Dataset 10个病人的数据,每个病人25张图像,共250张图像。其中8个病人的数据作训练集,2个病人的数据作测试集。训练过程中,迭代Block设置为50个,每个Block里面包含一个三层CNN,共计150层网络。卷积核的尺寸设置为5*5,前两层网络的卷积核数量为48个,第三层网络的卷积核数量为1个。训练使用的损失函数为MSE,使用Adam算法进行优化。 为了对比网络性能,选用ASD-POCS,Dual Dictionary learning (Dual-DL),Total Generalized Variation based Penalized Weighted Lease-Squares (PWLS-TGV),Gamma Regularization以及FBPConvNet作为对比方法。前4种方法为迭代重建方法,FBPConvNet为基于后处理的深度学习方法。

图5显示了一组腹腔数据重建结果的局部放大,其中 (a) 是正常剂量的CT图像。(b) 时FBP算法得到的结果,(c) - (g) 依次是5个对比方法得到的图像,(h) 是LEARN所重建的结果。图中红色箭头标记的区域为增强后的血管,蓝色箭头指向一个疑似病灶。我们可以看到,LEARN方法所得到的结果相对于其他方法,结构更加清晰。

图5.:LEARN的效果比对

总结

本文主要介绍了我们课题组的深度重建工作。从结果可以看出,基于深度学习的CT图像重建方法在图像质量上要优于传统的重建算法。因此,在未来,深度学习和医学图像重建的联系将会越来越紧密。在今后的工作中,我们也会致力于推进深度学习和CT图像领域的结合,引入深度学习发展的最新技术,将基于深度学习的方法引入临床应用上,并且尝试解决其他的医学图像问题,加快医学图像领域的发展进程。

[参考文献]

[1] Hu Chen, Yi Zhang*, Mannudeep K. Kalra, Feng Lin, Yang Chen, Peixi Liao, Jiliu Zhou, andGe Wang. Low-dose CT with a residual encoder-decoder convolutional neuralnetwork. IEEE Transactions on Medical Imaging, pp. 2524-2535, vol. 36,no. 12, 2017.

[2] Hu Chen, Yi Zhang*, Yunjin Chen, Junfeng Chen, Weihua Zhang, Huaiqiang Sun, Yang Lv, PeixiLiao, Jiliu Zhou, and Ge Wang. LEARN: Learned experts’ assessment-based reconstructionnetwork for sparse-data CT. IEEE Transactions on Medical Imaging,pp. 1333-1347, vol. 37, no. 6, 2018.

欢迎关注我们

微信公众号:

纯真学者出神入化

这是一群致力于科研传播的faculty & PhD记录分享点滴思考的平台,这里有我们在各自领域(机器学习,医疗影像,材料科学,凝聚态物理)涉猎研究的点滴感悟,有我们在国内,海外求学工作奋斗的酸甜苦辣,亦有偶尔的风月和我们的诗与远方。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180910G067T400?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券