深度学习在医学影像上的应用（四）——检测

上一篇给大家介绍了深度学习在医学影像上分割的应用，这一篇我将分享深度学习在医学影像上检测应用。

（1）《3D Deep Learning for Efficient and Robust Landmark Detection in Volumetric Data》-2015年

摘要：最近，深度学习在计算机视觉方面取得了巨大成功，具有从大型训练集中学习强大的图像特征能力。然而，大部分公开的工作都局限于解决2D问题，只有少数案例将3D空间视为2D正交平面的组合。与2D相比，3D深度学习的挑战源于更大的输入向量，这大大增加了计算时间和过度拟合发生，特别是在只有有限训练样本（数百到数千）时，医学影像就是很典型的。为了应对这一挑战，我们提出了一种高效且健壮的深度学习算法，能够在体积数据中进行全面的3D检测。采用两步法进行有效检测。一个浅层网络（只有一个隐藏层）用于所有体素的初始测试，以此获得少量的预期候选，然后通过深层网络进行更准确的分类。另外，我们提出了两种方法，即可分离滤波器分解和网络稀疏化，以加速对网络的评估。为了缓解过度拟合问题，从而提高检测鲁棒性，我们从多分辨率金字塔图像中提取小3Dpathc。深度学习到图像特征进一步与Haar小波特征来相结合来提高检测精度。所提出的方法已经在455名患者头颈CT数据集上针对颈动脉分叉检测进行了定量评估。与现有技术相比，平均误差减少了一半以上，从5.97 mm降至2.64 mm，且检测速度小于1 s /体积。

论文地址：https://link.springer.com/chapter/10.1007/978-3-319-24553-9_69

（2）《Standard Plane Localization in Fetal Ultrasound via Domain Transferred Deep Neural Networks》-2015年

摘要：在超声（US）视频中，包含复杂解剖结构的标准平面，这对自动定位仍然是个挑战性问题。在本文中，我们提出了一种基于学习的方法定位超声视频中的胎儿腹部标准平面（FASP），该方法通过构建域转移深卷积神经网络（CNN）来实现。与之前基于低级特征的方法相比，我们的方法能够表达出复杂FASP特征，从而实现更好的分类性能。更重要的是，为了减少由少量训练样本引起的过拟合问题，我们提出了一种转移学习策略，从大型自然图像数据库中训练得到基础CNN的浅层知识转移到我们特定任务的CNN上。大量实验表明，我们的方法优于FASP目前最先进方法，而且CNN仅在有限的超声训样本上训练的。所提出的方法可以很容易地扩展到其他类似的医学图像计算问题，在利用深度CNN表达高级特征时，往往会受到训练样本不足的困扰。

论文地址：http://ieeexplore.ieee.org/document/7090943/

（3）《Automated anatomical landmark detection ondistal femur surface using convolutional neural network》-2015年

摘要：在3D医学图像中，在股骨远端骨骼上解剖标记的精确定位对膝关节手术规划和生物力学分析是非常重要。然而，标记识别过程通常是手动或使用嵌入辅助物来实现的，这种方式是耗时且缺乏准确性的。在本文中，提出了一种自动定位方法来确定三维MR图像中股骨表面初始几何标记位置。基于卷积神经网络（CNN）分类器和形状统计的结果，我们使用窄带图割进行优化来获得股骨表面三维分割。最后，根据表面网格的几何隐射，解剖标记位于股骨上。实验表明，所提出的方法在分割股骨和定位解剖标记是有效的，高效的，可靠的。

论文地址：http://ieeexplore.ieee.org/document/7163806/

（4）《Automatic Fetal Ultrasound Standard Plane Detection Using Knowledge Transferred Recurrent Neural Networks》-2015年

摘要：准确采集胎儿超声（US）的标准平面是产科诊断中最关键的步骤之一。标准平面采集的传统方式需要全面了解胎儿解剖结构和强度大的人为劳动。因此，自动方法在临床实践中非常需要。然而，由于标准平面内部类别的高度差异，自动检测含有超声视频关键解剖结构的标准平面上仍然是个挑战性的问题。不像以前研究根据不同的解剖标准平面来开发了相应方法，我们提出了一个通用框架来自动检测超声视频中标准平面。我们的框架不使用手工视觉特征，而是使用新的知识转移循环神经网络（T-RNN）来学习时间-空间特征，其中包含深层视觉特征提取器和时间序列学习模型。为了有效地提取视觉特征，我们提出了一个使用多任务进行知识转移的联合学习框架，以解决训练数据不足问题。在数百个视频中对不同超声标准平面进行广泛的实验证实，我们的方法可以取得非常不错的结果，其性能优于最先进的方法。

论文地址：https://link.springer.com/chapter/10.1007/978-3-319-24553-9_62

（5）《Regressing Heatmaps for Multiple Landmark Localization using CNNs》-2016年

摘要：我们探讨了深度卷积神经网络（CNNs）在医学图像数据中的多标记定位的适用性。利用个体标记位置来回归热图的方法，我们通过端对端方式对它们进行训练，研究了几种全卷积2D和3D CNN结构。我们进一步提出了一种新颖的SpatialConfiguration-Net结构，可有效地将精确的局部表现响应与模拟解剖异样空间标记的配置相结合。我们在二维和三维手图像数据集上对不同结构进行评估，结果表明基于CNN的热图回归获得了跟最先进的标记定位一样的性能，即使在有限的训练数据量情况下，SpatialConfiguration-Net也非常鲁棒。

论文地址：https://link.springer.com/chapter/10.1007/978-3-319-46723-8_27

（6）《An artificial agent for anatomical landmark detection in medical images》-2016年

摘要：快速、鲁棒性对解剖结构或病理的检测是医学图像分析中的一项基本任务。然而，大多数当前的解决方案通过学习表现模型和详尽地扫描参数空间来检测特定的解剖结构，结果是不理想、受限制的。另外，与表现模型或搜索策略有关典型特征的计算或元参数估计是基于局部标准或预定义的近似方案。我们提出了一种新的学习方法，遵循一种根本不同的规范，即将对象表现和参数搜索策略同时进行建模做为人工代理的统一行为任务。该方法将基于强化学习的行为学习的优点与通过基于深度学习的有效分层特征提取相结合。我们表明，只提供一些带标注的图像，代理可以自动并策略性地学习最优路径，去聚合寻求解剖标记位置，而不是完全扫描整个解空间。该方法在二维磁共振图像，二维超声和三维CT图像的准确性和速度上均优于最先进的机器学习和深度学习方法，取得了1到2个像素的平均检测误差，同时还识别图像中缺失的目标。

论文地址：https://link.springer.com/chapter/10.1007/978-3-319-46726-9_27

（7）《Real-time Standard Scan Plane Detection and Localisation in Fetal Ultrasound using Fully Convolutional Neural Networks》-2016年

摘要：通常根据固定的方案对中期胎儿进行扫描。精确的异常检测和正确的生理统计测量依赖于清晰定义标准扫描平面的正确采集。定位这些标准平面需要高水平的专业知识。但是，世界范围内缺乏超声科医师专家。在本文中，我们考虑一个基于卷积神经网络的全自动化系统，它可以检测12个标准扫描平面，由英国胎儿异常检查程序所定义的。网络设计允许实时推断，并且可以自然延伸以提供图像中胎儿解剖结构的近似定位。这样的框架可以用于自动化或辅助扫描平面的选择，或用于从记录的视频中回顾检索扫描平面。该方法在1003名中期妊娠志愿者扫描的数据库上进行评估。我们展示了在临床情景中获得的标准平面的精确度和召回率分别为69％和80％，这优于目前的最新水平。此外，我们表明它可以回顾性地检索正确扫描平面，在心脏视图上准确率为71％，非心脏视图上准确率为81％。

论文地址：https://link.springer.com/chapter/10.1007/978-3-319-46723-8_24

（8）《Recognizing end-diastole and end-systole frames via deep temporal regression network》-2016年

摘要：准确测量左心室容积和MRI射血分数对评估心血管功能是至关重要，但通常需要经过训练的专家很费力并乏味地来解释它们。为了促进这一过程，提出了很多计算机辅助诊断（CAD）方法和工具，其中大多数关注于左心室或右心室分割。然而，在很大程度上忽略了对心脏序列ES和ED帧的识别，这是自动化流程中的关键步骤。由于高精度需求（精确地识别序列中特定帧）和连续帧之间的细微差异，这个看起来容易的任务却相当具有挑战性。最近，随着标注数据的快速增长和计算能力的增加，深度学习方法在医学图像分析中得到了广泛的应用。在本文中，通过将卷积神经网络（CNN）与循环神经网络（RNN）集成，提出了一种新的深度学习结构，称为时间回归网络（TempReg-Net），用于准确识别MRI序列中的特定帧。具体而言，CNN编码心脏序列的空间信息，而RNN解码时间信息。另外，我们在网络中设计了一个新的损失函数来约束预测标签的结构，进一步提高了性能。我们的方法经过数千个心脏序列的广泛验证，平均差值仅为0.4帧，与以前的系统相比有明显优势。

论文地址：https://link.springer.com/chapter/10.1007/978-3-319-46726-9_31

（9）《Improving Computer-Aided Detection Using Convolutional Neural Networks and Random View Aggregation Neural Networks》-2016年

摘要：医学影像中自动计算机辅助检测（CADe）一直是临床实践和研究中的重要工具。最先进的方法通常表现出高灵敏性，但是以每个患者的高假阳性（FP）为代价。我们设计了一个两级粗放级联框架，首先在灵敏度为100％但FP水平高的情况下运行候选生成系统。通过现有的CAD系统，在此步骤中生成病灶候选区域或感兴趣区域（ROI或VOI）的坐标，并作为第二层的输入，这是本研究的重点。在第二阶段，通过对每个ROI的质心坐标进行缩放变换，随机平移和旋转采样生成N个2D（二维）或2.5D视图。这些随机视图用于训练深度卷积神经网络（ConvNet）分类器。在测试中，训练后的ConvNets被用于为一组新的N个随机视图分配类别（例如，病变，病理）概率，然后在每个ROI对其进行平均，计算最终的每个候选分类概率。第二层作用是一个高度选择性的过程，在保留高敏感度的同时降低假阳。方法在三组不同数量的患者中进行评估：59例硬化转移检测患者，176例淋巴结检测患者和1186例结肠息肉检测患者。实验结果显示了ConvNets在不同的医疗成像CADe应用上通用能力，并可扩展到各种数据集。我们提出的方法在所有情况下都提高CADe性能。对于硬化性转移瘤，淋巴结和结肠息肉，每个患者有3个FP的CADe敏感性分别从57％增加到70％，从43％增加到77％，从58％增加到75％。

论文地址：https://arxiv.org/abs/1505.03046

（10）《Automated detection of pulmonary nodules in PET/CT images: Ensemble false-positive reduction using a convolutional neural network technique Neural Networks》-2016年

摘要：

目的：

使用正电子发射断层扫描（PET）和计算机断层扫描（CT）图像来自动检测孤立肺结节表现出良好的敏感性;然而，检测与正常器官接触的结节是困难的，并且需要额外的努力才能使得假阳性（FP）的数量进一步减少。在本文中，作者提出了一种改进的FP降低方法，该方法基于卷积神经网络（CNN），用于检测PET / CT图像中的肺结节。

方法：

整体方案使用CT和PET图像检测肺结节。在CT图像中，首先使用活动轮廓滤波器来检测大量区域，所述活动轮廓滤波器是具有可变形核形状的对比度增强滤波器。随后，PET图像检测到的高吸收区域与由CT图像检测区域合并。使用集合方法消除FP候选者;它由两个特征提取组成，一个是形状/代谢特征分析，另一个是CNN，后面是两步分类器，一个是基于规则的，另一个是基于支持向量机的。

结果：

作者使用癌症筛查计划收集到的104个PET / CT图像评估检测性能。在初始阶段检测候选人的敏感度为97.2％，每个案例有72.8FPs。在执行所提出的FP减少法之后，检测灵敏度为90.1％，每个案例为4.9FPs ;所提出的方法消除了先前研究中存在的大约一半的FP。

结论：

开发了基于CNN技术的改进FP减少方案，以此来检测PET / CT图像中的肺结节。集成FP减少方法消除了93％的FP;他们提出基于CNN技术的方法消除了以前研究中大约一半的FP。这些结果表明，在用PET / CT图像进行计算机辅助检测肺结节时，他们的方法可能是有用的。

论文地址：https://www.ncbi.nlm.nih.gov/pubmed/27277030

（11）《Automatic Detection of Cerebral Microbleeds From MR Images via 3D Convolutional Neural Networks》-2016年

摘要：脑微出血（CMBs）是血管附近的少量出血。它们被认为是许多脑血管疾病和认知功能障碍的重要诊断性生物标志物。目前临床常规中，放射科医生手动标记CMBs，但这种方法费时费力且容易出错。在本文中，我们提出了一种利用三维卷积神经网络（CNN）从磁共振（MR）图像中检测CMB的新颖自动方法。与先前使用低级手工描述特征或2D CNN的方法相比，我们的方法可以充分利用MR体积中空间环境信息，来提取更具代表性的CMB高级特征，从而获得更好的检测准确性。为了进一步提高检测性能，同时降低计算成本，我们在3D CNNs下提出了一个级联框架，用于CMB检测任务。我们首先利用3D全卷积网络（FCN）策略来检索CMBs高概率的候选CMB，然后应用训练好的3D CNN判别模型来区分候选CMB。与传统的滑动窗口策略相比，所提出的3DFCN策略可以消除大量的冗余计算，大大加快了检测过程。我们构建了一个包含320个体积MR扫描的大型数据集，并进行了大量实验来验证所提出的方法，该方法获得了93.16％的高灵敏度，平均每个受试者假阳为2.74次，相比于先前使用低特征描述器或2D CNNs的方法有了很大的提高。原则上，所提出的方法可以适用于来自3D医学数据的其他生物标记检测任务。

论文地址：http://ieeexplore.ieee.org/document/7403984/

（12）《Self-Transfer Learning for Fully Weakly Supervised Lesion Localization》-2016年

摘要：深度学习的最新进展在各种挑战行的计算机视觉任务中取得了显着的成绩。特别是在目标定位方面，深度卷积神经网络优于基于提取数据/任务驱动特征而不是手工特征的传统方法。尽管感兴趣区域（ROI）的位置信息在目标定位方面提供了很好的优先权，但它需要人力资源去进行大量标注。因此引入了一个弱监督的目标定位框架。术语“弱”意味着该框架仅使用图像级标注数据集来训练网络。采用预训练网络权重参数的迁移学习，目标定位的弱监督学习框架表现良好，因为预训练网络已经具有训练好的类别特征。但是，这些方法不能应用于没有预先训练好的网络或局部大规模图像。医学图像分析是这些应用中的代表，因为不可能获得预先训练好的网络。在这项工作中，我们提出了一个“完全”弱监督的目标定位框架（“半”-弱方法，使用预训练过的滤波器进行弱监督定位）命名为自我迁移学习（STL）。它会同时优化分类和定位网络。通过控制监督定位网络水平，STL可帮助目标网络专注于正确ROIs，而无需任何先验。我们使用两个医学图像数据集，胸部X射和乳房X线来评估所提出的STL框架，并且与之前弱监督方法相比，明显获得了更好的定位效果。

论文地址：https://arxiv.org/abs/1602.01625

（13）《Fast Convolutional Neural Network Training Using Selective Data Sampling: Application to Hemorrhage Detection in Color Fundus Images》-2016年

摘要：卷积神经网络（CNN）是深度学习网络结构，它推动了一系列计算机视觉应用的最新技术发展，并且在医学图像分析中越来越受欢迎。但是，CNN训练是费时且具有挑战性。在医学图像分析任务中，大多数训练实例很容易分类，因此对CNN学习过程影响不大。在本文中，我们提出了一种通过在训练时动态选择错分负样本来改进和加速在医学图像分析任务中CNN训练方法。训练样本是根据CNN当前状态分类进行启发式采样。权重分配给训练样本，信息样本更可能包含在下一次CNN训练迭代中。我们评估和比较了我们提出的方法，通过使用有（SeS）和没有（NSeS）的选择性抽样方法来训练CNN。我们专注于彩色眼底图像中的出血检测。训练时间从170个迭代减少到60个迭代，与两位专家一样有相媲美的性能，在两个数据集上的接收器操作特性曲线下面积为0.894和0.972。SeS CNN在独立测试集上统计性能优于NSeS CNN。

论文地址：http://ieeexplore.ieee.org/document/7401052/

（14）《Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery》-2017年

摘要：获取与疾病进展和治疗监测相关的成像标记的捕获模型是有挑战性。模型通常基于大量数据，并带有已知标签的标注案例，以实现自动检测。高标注工作和有限的已知标注词汇，这限制了这些方法。在这里，我们进行无监督学习，以识别成像数据中的异常，以此作为标记的候选。我们提出了AnoGAN，一种深度卷积生成对抗网络，用于学习正常解剖变异的歧管，是基于从图像空间到潜在空间映射的新异常评分方案。应用于新数据时，模型会标记异常，并对图像patch进行评分，表明它们适合学习的分布。视网膜光学相干断层扫描图像的结果表明，该方法正确地识别异常图像，例如包含视网膜液或高反射灶的图像。

论文地址：https://arxiv.org/abs/1703.05921

（15）《CathNets: Detection and Single-View Depth Prediction of Catheter Electrodes》-2016年

摘要：最近，卷积神经网络在许多计算机视觉任务中的成功意味着，这些应用对于心脏电生理学过程中的视觉任务也是有益的，所述心脏电生理学过程通常在C形臂透视的指导下进行。已经做了很多导管检测和重建的工作，但特别是对X射线图像中导管实时检测仍然没有完全解决。我们提出了两种新方法，用于（i）在X射线图像中的全自动电生理学导管电极检测和（ii）基于卷积神经网络的电极单视图深度估计。对于（i），在24个不同的荧光检查序列（1650个X射线图像）上进行实验，产生大于 99％的检测率。我们对（ii）使用20个具有深度信息的图像进行深度预测，实验显示，我们能够以侧向视图估计导管尖端的深度，具有6.08±4.666.08±4.66mm的平均误差。

论文地址：https://link.springer.com/chapter/10.1007/978-3-319-43775-0_4

（16）《DeepLung: Deep 3D Dual Path Nets for Automated Pulmonary Nodule Detection and Classification》-2018年

摘要：在这项工作中，我们提出了一个全自动肺部计算机断层扫描（CT）癌症诊断系统DeepLung。DeepLung由两部分组成，结节检测（确定候选结节的位置）和分类（将候选结节分类为良性或恶性）。考虑到肺部CT数据的三维属性和双通道网络（DPN）的紧凑性，分别设计了两个深度三维DPN用于结节检测和分类。具体而言，设计了3D快速区域卷积神经网络（R-CNN），它利用3D双通道模块和类似Unet的编码器—解码器结构来检测结节并有效地学习结节特征。对于结节分类，提出了具有3D双通道网络特征的梯度提升机（GBM）。结节分类子网络在公共数据集LIDC-IDRI上进行验证，在该数据集上，其性能优于最先进的方法，并且超过了基于图像形态的有经验医生的表现。在DeepLung系统内，结节检测子网络首先检测候选结节，结节诊断由分类子网络进行。广泛的实验结果表明DeepLung系统跟经验丰富的医生有相同的表现，它既可用于LIDC-IDRI数据集的结节上也可以应用在患者诊断上。

论文地址：https://arxiv.org/abs/1801.09555

到现在为止，我已经分享了深度学习在医学影像上的大部分应用。在后续的篇章中，我会分享一些实际医学影像案例应用，并会将相应深度学习学习心得分享给大家。敬请期待。