深度学习在医学影像上的应用（二）——图像重建及后处理，标注，回归，配准，图像超分辨率

上一篇给大家介绍了深度学习在医学影像上分类的应用案例，这一篇我将分享深度学习在医学影像上关于图像重建及后处理，图像标注，图像配准，图像超分辨率和回归的应用。

一、图像重建及后处理

（1）《A Deep Cascade of Convolutional Neural Networks for Dynamic MR Image Reconstruction》-2017年

摘要：受深度学习近期进展的启发，我们提出了一种框架，可利用深层级卷积神经网络（CNN）来重建欠采样的2D心脏磁共振（MR）图像的动态序列数据，实现加速数据采集过程。特别是，我们解决了笛卡尔欠采样获取数据的情况。首先，我们表明，在重建误差和重建速度方面，当每个二维图像帧独立重建时，所提出的方法优于目前最先进的二维压缩感知方法，如基于字典学习的MR图像重建方法。其次，当联合重构序列帧时，我们证明CNN可以通过结合卷积和数据共享方法来有效地学习时空相关性。我们表明，提出的方法始终胜过最先进的方法，并能够更真实地保留解剖结构高达11倍欠采样。此外，重建速度非常快：每个完整的动态序列可以在10秒内重建，对于2D情况，每个图像帧可以在23ms内重建，从而实现实时应用。

论文地址：https://arxiv.org/abs/1704.02422

（2）《Deep Generative Adversarial Networks for Compressed Sensing Automates MRI》-2017年

摘要：磁共振成像（MRI）重建是一个严重病态线性逆向任务，需要时间和资源密集型计算，在实时成像中因为速度大大降低准确性。另外，最先进的压缩感测（CS）分析不能识别诊断级别的图像。为了应对这些挑战，我们提出了一种新型CS框架，它利用生成对抗网络（GAN）的益处来训练历史患者的（低维）多种诊断质量MR图像。利用最小二乘（LS）GAN和逐像素L1代价的混合，将具有跳跃连接的深度残差网络作为生成器来进行训练，通过投影到流形上来学习消除混叠伪影。LSGAN学习纹理细节，而L1控制高频噪声。然后基于诊断质量的图像联合训练多层卷积神经网络以区分投影质量。测试阶段在生成器网络上执行前馈传播，计算开销非常低。对儿科患者对比增强MR数据集进行评估。具体而言，以专家放射科医师评级的图像为基准，GANCS相对于传统的CS和像素方案具有更详细纹理的高对比度图像。此外，它在几毫秒内就可以重建，比现有技术的CS-MRI方案快两个数量级。

论文地址：https://arxiv.org/abs/1706.00051

（3）《Deep convolutional neural networks for accelerated dynamic magnetic resonance imaging》-2017年

摘要：使用压缩感知（CS）重建方法可以加速动态磁共振成像（MRI）扫描，可以从欠采样数据中生成诊断质量图像。不幸的是，CS重建是耗时的，在动态MRI扫描和图像可诊断之间需要数小时。在这项工作中，我们训练卷积神经网络（CNN）来快速重建严重欠采样的动态心脏MRI数据，并探索将CNNs用于进一步加速动态MRI扫描时间上的效用。与最先进的CS重建技术相比，我们的CNN实现提高150倍重建速度，而且图像质量没有明显损失。此外，初步结果表明CNN可能比CS允许的扫描时间快两倍。

论文地址：http://cs231n.stanford.edu/reports/2017/pdfs/513.pdf

（4）《deep residual learning for compressed sensing MRI》-2017年

摘要：压缩感测（CS）可以显着减少MR采集时间并能保证性能。但是，CS计算复杂度通常很高。为了解决这个问题，我们在这里提出了一种新的深度残差学习算法来实现从稀疏采样的k空间数据来重建MR图像。特别是，下降采样数据的相干混叠伪影具有比原始图像数据拓扑结构更简单的结构，我们将CS问题制定为残余回归问题，并提出深度卷积神经网络（CNN）来学习混叠伪影。使用单通道和多通道MR数据的实验结果表明，所提出的深度残差学习优于现有的CS和并行成像算法。而且，计算时间在几个数量级上更快。

论文地址：http://ieeexplore.ieee.org/document/7950457/

二、图像标注

（1）《Suggestive Annotation A Deep Active Learning Framework for Biomedical Image Segmentation》-2017年

摘要：图像分割在生物医学图像分析中是一个基本问题。深度学习最新进展已经在许多生物医学图像分割基准上取得了不错的结果。但是由于生物医学图像（不同模态，图像参数设置，对象，噪声等）的巨大差异，通常需要一组新的训练数据才能在新应用中使用深度学习。由于只有生物医学专家才能有效地进行标注，并且通常图像中有太多实例（例如细胞）需要标注，这会导致大量的标注工作和成本代价。在本文中，我们旨在解决以下问题：通过有限工作（例如，时间）来标注，应该标注哪些实例以此来获得最佳性能？我们提出了一个深度主动学习框架，它结合全卷积网络（FCN）和主动学习，通过在有效标注区域上提出合理的建议来显着减少标注工作量。我们利用FCN提供的不确定性和相似性信息，制定最大集合覆盖问题的广义版本来确定最具代表性和不确定性的标注区域。通过使用2015 MICCAI腺体挑战数据集和淋巴结超声图像分割数据集，进行大量实验，结果表明使用我们方法的标注建议，只使用50％的训练数据即可实现最优的分割性能。

论文地址：https://arxiv.org/abs/1706.04737

（2）《AggNet: Deep Learning From Crowds for Mitosis Detection in Breast Cancer Histology Images》-2016年

摘要：缺乏公开可用的ground-truth数据被认为是将深度学习的最近发展转移到生物医学影像领域的主要挑战。虽然众包（从一广泛群体，特别是在线社区，获取所需想法，服务或内容贡献的实践）能够标注大规模真实世界图像的数据，但用于生物医学上还需要更深的理解，还需要更精确地定义实际标注任务。事实上当专家任务外包给非专家用户时，这可能会因为用户之间分歧的引入而导致嘈杂的标注。尽管众包是学习标注模型的宝贵资源，但传统机器学习方法在训练过程中可能难以处理嘈杂的标注。在这篇论文中，我们提出了一个新的概念，通过额外众包层（AggNet）直接作为卷积神经网络（CNN）学习过程的一部分来对处理数据聚合的人群进行学习。此外，我们还提出了一个关于向人群学习的实验性研究，旨在回答以下问题。 1）深度CNN可以使用众包收集的数据来进行训练吗？ 2）如何调整CNN来训练多种类型的数据集标注（ground truth和基于人群）？ 3）标注和聚合的选择是如何影响准确性的？我们的实验设置涉及Annot8，基于Crowdflower API实现的Web平台，实现了公开可用的生物医学影像数据库的图像标注任务。我们的研究结果为从人群标注到深度CNN学习的功能提供了有价值的见解，并证明了数据聚合集成的必要性。

论文地址：http://ieeexplore.ieee.org/document/7405343/

（3）《Deep learning of feature representation with multiple instance learning for medical image analysis》-2014年

摘要：本文研究的是用最少的手工标注和好的医学影像特征表达来有效完成高级任务。在医学图像分析中，像细胞对象是有显著临床特征的。之前开发的特征，例如SIFT和HARR，都是无法全面表达这些对象。因此，特征表达是非常重要的。在论文中，我们研究通过深度学习（DNN）来自动提取特征表达。此外，对象的详细标注往往是一个模棱两可并且有挑战的任务。我们在基于深度学习特征的分类训练中使用多实例学习（MIL）框架。从我们的工作中可以得出几个有趣的结论：（1）自动特征学习优于手动特征; （2）无监督方法可以获得接近完全监督的方法的表现：93.56％vs94.52％）;（3）在监督深度学习特征中，粗标签的MIL表现（96.30％）超过了精细标签的的监督表现（95.40％）。

论文地址：http://ieeexplore.ieee.org/document/6853873/

三 、 图像配准

（1）《An Artificial Agent for Robust Image Registration》-2016年

摘要：在各种医学应用中，包括对齐两个或更多图像的三维图像配准是从诊断到治疗的关键步骤。图像配准通常将图像匹配度量优化做为代价函数来执行。然而，在合理的配准参数空间下，匹配度量非凸性质以及用于稳健优化的方法不足，所以此任务具有挑战性。因此，目前的方法通常是针对特定问题而定制的，并且对图像质量和伪影敏感。在本文中，我们提出了一种完全不同的图像配准方法，灵感来源于专家执行任务。我们首先将图像配准问题称为“策略学习”过程，其目标是找出产生图像对齐的最佳运动序列（例如上，下等）。在这种方法中，学习人工智能体，使用深度卷积神经网络来建模，以三维原始图像数据为输入，以下一个最佳动作作为输出。为了解决问题的维度，我们提出了一个贪婪监督方法，用于端到端的培训，再加上注意驱动的分层策略。由此产生配准方法固定编码数据驱动的匹配度量和最优匹配策略。我们在两个3-D / 3-D医学图像配准示例中展示了不同挑战性质的人工智能体，在准确性和鲁棒性方面大大优于几种最先进的配准方法。

论文地址：https://arxiv.org/abs/1611.10336

四 、图像超分辨率

（1）《Convolutional Neural Network for Reconstruction of 7T-like Images from 3T MRI Using Appearance and Anatomical Features》-2016年

摘要：先进的7特斯拉（7T）磁共振成像（MRI）扫描仪可以提供比3T MRI扫描仪更高分辨率的图像，从而有助于早期脑部疾病诊断。然而，与3T核磁共振成像扫描仪相比，7T核磁共振成像扫描仪不易使用。这激励我们从3T MRI来重建7T图像。我们提出了一种卷积神经网络（CNN）的深层架构，它使用表面（强度）和解剖（脑组织标签）特征作为输入，以非线性方式将3T MRI映射到7T MRI。在训练步骤中，我们通过输入3TPatch表面和解剖特征来训练CNN。输出相应7TPatch的中心体素的强度。在测试步骤中，我们用训练好的CNN将每个输入3T图像patch映射到7T图像patch。我们在15个受试者上进行表现评估，每个都有3T和7T MR图像。视觉和数值结果都表明我们的方法优于常规方法。

论文地址：https://link.springer.com/chapter/10.1007/978-3-319-46976-8_5

五、回归

（1）《Automated anatomical landmark detection ondistal femur surface using convolutional neural network》-2015年

摘要：在3D医学图像中，在股骨远端骨骼上解剖标记的精确定位对膝关节手术规划和生物力学分析是非常重要。然而，标记识别过程通常是手动或使用嵌入辅助物来实现的，这种方式是耗时且缺乏准确性的。在本文中，提出了一种自动定位方法来确定三维MR图像中股骨表面初始几何标记位置。基于卷积神经网络（CNN）分类器和形状统计的结果，我们使用窄带图割进行优化来获得股骨表面三维分割。最后，根据表面网格的几何隐射，解剖标记位于股骨上。实验表明，所提出的方法在分割股骨和定位解剖标记是有效的，高效的，可靠的。

论文地址：http://ieeexplore.ieee.org/document/7163806/

（2）《q-Space Deep Learning: Twelve-Fold Shorter and Model-Free Diffusion MRI》-2016年

摘要：许多科学领域依赖于复杂但部分不理想的数据处理流水线。一个例子是扩散磁共振成像（扩散磁共振成像），这是一种在神经影像学领域具有突出应用的无创微观结构评估方法。先进的扩散模型提供准确的微观结构表示，至今还需要很长的采集时间，因此不适用于不合作，不舒服或不适的儿童和成人。我们表明，长的扫描时间需求主要是因为经典数据处理的缺点。我们展示了如何应用深度学习，即基于人工神经网络领域最新进展的一组算法，减少扩散MRI数据处理到单个优化步骤。这种修改允许从12倍缩短扫描时间高级模型中获得标量测量值，并在不使用扩散模型的情况下检测异常。我们仅从12个数据点估计扩散峰度度量和仅来自8个数据点的神经突方向弥散度和密度度量来设置新技术。这允许空前快速和强大的方案，来促进临床常规并说明如何通过深度学习来简化经典数据处理。

论文地址：http://ieeexplore.ieee.org/document/7448418/