深度学习在医学影像上的应用（一）——分类
目前人工智能是最火热的领域，而深度学习是人工智能中最璀璨的分支，已经在自然图像上取得了阶段性进展。今天我将分享深度学习在医学影像上的应用最近进展，这一篇主要说一下从2015年到现在深度学习在医学影像分类相关的情况。
（1）《DeepLung: Deep 3D Dual Path Nets for Automated Pulmonary Nodule Detection and Classification》-2018年
摘要：在这项工作中，我们提出了一个全自动肺部计算机断层扫描（CT）癌症诊断系统DeepLung。DeepLung由两部分组成，结节检测（确定候选结节的位置）和分类（将候选结节分类为良性或恶性）。考虑到肺部CT数据的三维属性和双通道网络（DPN）的紧凑性，分别设计了两个深度三维DPN用于结节检测和分类。具体而言，设计了3D快速区域卷积神经网络（R-CNN），它利用3D双通道模块和类似Unet的编码器—解码器结构来检测结节并有效地学习结节特征。对于结节分类，提出了具有3D双通道网络特征的梯度提升机（GBM）。结节分类子网络在公共数据集LIDC-IDRI上进行验证，在该数据集上，其性能优于最先进的方法，并且超过了基于图像形态的有经验医生的表现。在DeepLung系统内，结节检测子网络首先检测候选结节，结节诊断由分类子网络进行。广泛的实验结果表明DeepLung系统跟经验丰富的医生有相同的表现，它既可用于LIDC-IDRI数据集的结节上也可以应用在患者诊断上。
论文地址：https://arxiv.org/abs/1801.09555
（2）《Deep multi-instance networks with sparse label assignment for whole mammogram classification》-2017年
摘要：乳房X线分类与乳腺癌的辅助诊断直接相关。传统方法需要花费很大的精力来标注训练数据，具体通过昂贵的手动打标签并在测试期间用专门的计算模型来检测标注。受深度卷积特征用于自然图像分析和多实例学习以标注一组实例/patch的成功启发，我们提出了端到端训练深度多实例网络，用于整体乳房X线图像进行分类，这没有上述昂贵的标注训练数据。我们探索三种不同的方案来构建整个乳房X线图像分类的深度多实例网络。在INbreast数据集上实验结果证明了所提出的深度网络与之前在训练中使用分割和检测标注相比具有更鲁棒性。
论文地址：https://arxiv.org/abs/1612.05968
（3）《Spectral Graph Convolutions for Population-based Disease Prediction》-2017年
摘要：利用丰富的成像和非成像信息进行疾病预测任务需要能够同时表达个体特征和潜在大量受试者之间数据相关联的模型。图形为这些任务提供了一个自然的框架，然而之前基于图形方法关注的是成对相似性，而没有对主体的个体特征和特征进行建模。另一方面，仅仅依靠主体特定的成像特征向量是不能模拟主体之间的相互作用和相似性的，这可能会降低性能。在本文中，我们结合了成像和非成像数据，并介绍了用于人脑分析的图形卷积网络（GCN）的新概念。我们将人口表达为稀疏图，其顶点与基于图像的特征向量和边缘编码表型的信息相关联。该结构在部分标记图上训练GCN模型，旨在从节点特征和主体之间的配对关联中推断出未标记节点的类别。我们证明了该方法在很有挑战性的ADNI和ABIDE数据库上的潜力，证明了将情境信息整合到分类任务中的好处的概念。这对预测的质量有明显的影响，导致ABIDE的准确率为69.5％（优于66.8％的现有技术水平），ADNI预测MCI转换率为77％，明显优于标准线性分类器，标准线性分类器只有个体特征被考虑。
论文地址：https://arxiv.org/abs/1703.03020
（4）《Dermatologist-level classification of skin cancer with deep neural networks》-2017年
摘要：皮肤癌是最常见的人类恶性肿瘤，主要通过视觉进行诊断，首先进行初步临床筛查，然后进行皮肤镜分析，活检和组织病理学检查。用图像对皮肤病灶进行自动分类是很有挑战性，因为皮肤病变的外观是细微变化的。深度卷积神经网络（CNN）在一般和高度可变的许多细粒度对象类别任务中具有很大潜力。在这里，我们使用单个CNN来对皮肤病灶进行分类，直接端到端上的图像训练，仅使用像素和疾病标签作为输入。我们使用129450张临床图像数据集对CNN进行训练，比之前的数据集大了两个数量级，由2032种不同的疾病组成。我们测试在活检证实的临床图像21委员会认证的皮肤科性能的两个关键二元分类案例上的表现：角质形成细胞癌与良性脂溢性角化病;和恶性黑素瘤与良性痣。第一个案例是最常见的癌症的鉴定，第二个是鉴定最致命的皮肤癌。在这两项任务中，所有测试专家的表现和CNN获得一样的表现，这表明人工智能在皮肤癌分类能力上已经达到皮肤科医生水平。配备了深度神经网络，移动设备可能不仅仅在诊所进行使用，可以用到更多领域中去。预计到2021年将有63亿智能手机用户，因此可能提供低成本的通用诊断护理。
论文地址：https://www.nature.com/articles/nature21056
（5）《SurvivalNet: Predicting patient survival from diffusion weighted magnetic resonance images using cascaded fully convolutional and 3D convolutional neural networks》-2017年
摘要：自动无创评估肝细胞癌（HCC）恶性肿瘤有可能大大增强HCC患者肿瘤治疗策略。在这项工作中，我们提出了一个新的框架来自动表征DWI图像中HCC病变的恶性程度。我们分两步预测HCC恶性肿瘤：第一步，我们使用级联全卷积神经网络（CFCN）自动分割HCC肿瘤病灶。然后，3D神经网络（SurvivalNet）预测HCC肿瘤分割中HCC病变的恶性程度。我们将这个任务作为一个分类问题来制定，分类问题以“低风险”和“高风险”为表示先比中间生存时间而言存活时间长和短。在31例HCC患者DWI上，我们评估我们的方法。我们提出的框架实现了65％的端对端准确率，自动病灶分割的Dice评分为69％，基于专家标注的肿瘤恶性分类准确率为68％。我们将SurvivalNet与直方图和Haralick等经典手工特征进行了比较，并通过实验显示在HCC恶性分类中SurvivalNet优于的手工特征。基于我们提出的全自动框架的肿瘤恶性肿瘤端对端评估和基于专家标注的高评估评估（p> 0.95）可相媲美。
论文地址：https://arxiv.org/abs/1702.05941
（6）《Quantifying Radiographic Knee Osteoarthritis Severity using Deep Convolutional Neural Networks》-2016年
摘要：本文提出了一种使用深度卷积神经网络（CNN）来自动量化X光片中膝关节骨性关节炎（OA）严重程度的新方法。临床上，膝关节OA的严重程度采用Kellgren\& Lawrence（KL）分级进行评估，这是一个五分制。以前关于自动预测X光片图像KL分级的工作是基于使用各种手工设计特征来训练浅分类器。我们证明使用在ImageNet上预先训练的深卷积神经网络模型并在膝OA图像上进行微调，这可以显着提高分类精度。此外，我们认为，使用连续的基于距离的评估指标（如均方误差）自动预测膝OA的严重程度的准确性要比使用分类准确性更准确。这导致将KL分级预测视为回归问题并且进一步提高了准确度。在X射线图像数据集和骨关节炎倡议（OAI）的KL分级上的结果表明，与当前最先进的技术相比，这是相当大的改进。
论文地址：https://arxiv.org/abs/1609.02469
（7）《A Deep Semantic Mobile Application for Thyroid Cytopathology》-2016年
摘要：细胞病理学是在细胞水平上的疾病研究，常被用作癌症筛查工具。甲状腺细胞病理学是研究甲状腺病变和疾病诊断病理学的一个分支。病理学家认为细胞图像由于不同的解剖结构和病理特征而具有较高的视觉变化。为了帮助医生识别和搜索图像，我们提出了一个深度语义的移动应用程序。我们的工作增加了了在病理学和机器学习上的数字化方面的最新进展，这儿有很多让计算机协助病理学家的转型机会。我们的系统使用自定义甲状腺本体，可以使用深度机器学习技术从图像中提取多媒体元数据。我们描述了一种特定的方法，深卷积神经网络，应用到细胞病理学分类。我们的方法能够利用在数百万通用图像上训练过的网络，应用在仅有数百或数千图像的医疗场景。我们通过定量和定性结果表明了我们框架的优势。
论文地址：http://spie.org/Publications/Proceedings/Paper/
10.1117/12.2216468
（8）《Alzheimer's Disease Diagnostics by a Deeply Supervised Adaptable 3D Convolutional Network》-2016年
摘要：早期诊断对预防阿尔茨海默病（AD）有重要作用。本文提出用深度三维卷积神经网络（3D-CNN）来改善AD的预测，可显示从脑图像提取的AD生物标志物的一般特征，适应不同的领域数据集，并通过改进的微调方法来精确分类。 3D-CNN建立在卷积自动编码器上，该自编码器经过预先训练来提取在脑部结构性MRI扫描源域的解剖形状变化。然后针对在目标域中每个特定任务AD分类来微调3D-CNN上的全连接层。本文采用深度监督算法来提高已经提出的3D自适应CNN的性能。在没有颅骨剥离预处理的ADNI MRI数据集上的实验已经表明，所提出的3D深度监督的自适应CNN在准确性和鲁棒性上优于几种提出的方法，包括3D-CNN模型，其他基于CNN的方法和常规分类器。所提出的网络能够概括所学习的特征并适应其他领域的能力已经在CADDementia数据集上得到验证。
论文地址：https://arxiv.org/abs/1607.00556
（9）《Multi-resolution-tract CNN with hybrid pretrained and skin-lesion trained layers》-2016年
摘要：皮肤病变的正确分类是治疗的第一步。我们提出了一种用于皮肤病变分类的新型卷积神经网络（CNN）结构，旨在基于多个分辨率图像信息并同时利用预训练CNN模型来进行学习。虽然传统的CNN通常是在单个分辨率图像上进行训练，但我们的CNN由多个管道组成，其中每个管道以不同分辨率同时分析图像，并使用相同的视野来学习多分辨率图像之间的交互。我们将训练好的单分辨率CNN转换为多分辨率输入。整个网络进行微调，通过损失函数以端到端的优化方式来进行充分学习。我们展示了我们提出的新型多管道网络如何产生更高的分类准确率，在公开皮肤病变数据集上的性能优于最先进的多尺度方法。
论文地址：http://www.cs.sfu.ca/~hamarneh/ecopy/miccai_mlmi
2016a.pdf
（10）《Towards Automated Melanoma Screening: Exploring Transfer Learning Schemes》-2016年
摘要：在图像分类上深度学习方法是一种赌博。它需要大量标注的数据，这限制了它在医学影像领域的应用。在这种情况下，迁移学习是切实可行解决方案。在本论文中，我们旨在阐明转移学习方案是如何影响分类结果。自动黑素瘤筛查是我们特别关注的问题，这是一种医学成像案例，其中迁移学习仍未得到广泛应用。在一般和特定数据集中，我们探讨了迁移中是否使用微调，顺序迁移以及使用预先训练模型。虽然有些问题仍然存在，但我们的发现可能会推动未来的研究。
论文地址：https://arxiv.org/pdf/1609.01228.pdf
（11）《Pulmonary Nodule Detection in CT Images: False Positive Reduction Using Multi-View Convolutional Networks》-2016年
摘要：通过使用多视角卷积网络（ConvNets），我们提出了一种新颖的肺结节计算机辅助检测（CAD）系统，从训练数据中自动学习判别特征。通过结合三个候选检测器，专门设计用于实体，亚实体和大结节检测的，来获得的候选结节并输入到该网络中。对于每个候选结节，从不同方向上的平面来提取一组2DPatch。所提出的结构包括多个2DConvNet流，因此使用专用融合方法将输出结合起来得到最终分类结果。使用数据增强和droupout技术来避免过拟合。在公开可用的LIDC-IDRI数据集的888个扫描病例上，我们的方法分别在每个扫描病例上1个和4个假阳性上检测灵敏度分别高达85.4％和90.1％。此外还对ANODE09挑战和DLCST的独立数据集进行额外评估。我们表明，提出的多视角ConvNets非常适合用于CAD系统的假阳性的减少。
论文地址：http://ieeexplore.ieee.org/document/7422783/
（12）《3D Deep Learning for Multi-modal Imaging-Guided Survival Time Prediction of Brain Tumor Patients》-2016年
摘要：高级别胶质瘤是最具侵袭性和严重性的脑肿瘤，在1-2年内导致将近50％的患者死亡。因此，胶质瘤患者精确预后，它为治疗计划提供了基本指导。常规生存预测通常利用磁共振图像（MRI）的临床信息和有限的手工特征来实现的，这通常是耗时的，费力的和主观的。在本文中，我们提出使用深度学习框架来自动提取高级别胶质瘤患者的多模式术前脑图像（例如T1MRI，fMRI和DTI）的特征。具体而言，我们采用三维卷积神经网络（CNN），并提出了一种使用多通道数据和学习监督特征的新网络结构。伴随着关键的临床特征，我们最终通过支持向量机的训练来预测患者是否具有长或短的总生存（OS）时间。实验结果表明，我们的方法可以实现高达89.9％的准确性。我们还发现从fMRI和DTI中学习的特征，在准确预测OS时间方面发挥更重要的作用，这为功能性神经肿瘤学应用提供了有价值的见解。
论文地址：https://www.ncbi.nlm.nih.gov/pubmed/28149967
（13）《Computer-Aided Diagnosis with Deep Learning Architecture: Applications to Breast Lesions in US Images and Pulmonary Nodules in CT Scans》-2016年
摘要：本文对基于深度学习的计算机辅助诊断（CADx）进行了综合研究，该诊断通过避免潜在错误（因不准确图像处理结果（例如边界分割）和在大多数常规CADx算法中不强大的特征集带来的分类偏差）来鉴别诊断良性和恶性结节病变。具体而言，层叠去噪自编码器（SDAE）在两个CADx应用中用于区分乳房超声病灶和肺CT结节。SDAE结构配备了自动特征搜索机制和噪声容限优势，因此可适用于处理各种成像模式医学图像数据的固有噪声。为了展示基于SDAE的CADx优于常规方案的性能，实现两种最新的常规CADx算法并进行比较。进行10次10倍交叉验证说明基于SDAE的CADx算法的有效性。实验结果表明，基于SDAE的CADx算法比两种常规方法有显著提高，这表明深度学习技术可以潜在地改变CADx系统的设计范例，而无需显式设计和选择面向问题的特征。
论文地址：https://www.ncbi.nlm.nih.gov/pubmed/27079888
（14）《Unsupervised deep learning applied to breast density segmentation and mammographic risk scoring》-2016年
摘要：乳房X射线风险评分通常是自动化的，通过从乳房X线图像中提取一组手工特征，并直接或间接与乳腺癌风险相关联。我们提出一种从未标记数据中学习特征层级方法。当学习特征被用作简单分类器的输入时，可以解决两个不同的任务：i）乳房密度分割，以及ii）乳房X线纹理的评分。所提出的模型是在多个尺度上学习特征的。为了控制模型的容量，加入新颖的稀疏正规化，它包含了寿命和普遍稀疏性。我们在三种不同的临床数据集上评估我们的方法。我们最先进的结果显示，学到的乳房密度分数与手工乳房密度分数有非常强的正相关性，并且学到的纹理分数可预测乳腺癌。该模型易于应用，并推广到许多其他分割和评分问题。
论文地址：http://ieeexplore.ieee.org/document/7412749/
（15）《Multi-scale Convolutional Neural Networks for Lung Nodule Classification》-2015年
摘要：我们研究通过胸部计算机断层扫描（CT）筛查来诊断肺结节分类问题。与依靠结节分割进行区域分析的传统方法不同的是我们解决了在没有任何预先定义结节形态学的情况下直接对原始结节patch建模的挑战性问题。我们提出了一种分层学习框架——多尺度卷积神经网络（MCNN）——通过从交替堆叠层中提取判别特征来捕捉肺结节的异质性。具体而言，为了充分量化结节特征，我们的框架通过利用多尺度结节patch来学习一组特定类特征，这些特征是通过连接来自每个输入尺度的最后一层的响应神经元激活获得的。我们在肺图像数据库联盟和图像数据库资源倡议（LIDC-IDRI）的CT图像上来对提出的方法进行评估，这两大数据集都提供了肺部结节筛查和结节标注结果。实验结果表明我们的方法对在没分割结节的情况下对恶性和良性结节分类的有效性。
论文地址：https://link.springer.com/chapter/10.1007/978-3-319-19992-4_46
（16）《Predicting Alzheimer's disease: a neuroimaging study with 3D convolutional neural networks》-2015年
摘要：近年来，使用神经影像学数据诊断阿尔茨海默病的模式识别方法一直是广泛研究的课题。在本文中，我们使用深度学习方法，特别是稀疏自编码网络和三维卷积神经网络，基于大脑的MRI扫描，构建可以预测患者疾病状态的算法。我们使用具有2265次历史扫描的ADNI数据集来进行实验。我们证明了3D卷积神经网络结果优于文献中报道中其他几个分类器，并产生了最新的结果。
论文地址：https://arxiv.org/pdf/1502.02506.pdf
（17）《Automatic Feature Learning to Grade Nuclear Cataracts Based on Deep Learning》-2015年
摘要：目标：白内障是晶状体混浊的，它是全球失明的主要原因。评估白内障的存在和严重程度对诊断和监测是至关重要的，并且有助于临床研究和疾病管理。方法：现有用于白内障分级的自动方法是利用预定义的一组图像特征，其可以提供不完整，冗余或甚至噪声表达。在这项研究中，我们提出了一个系统来自动学习特征来对裂隙灯图像核性白内障的严重性进行分级。局部滤波器首先通过来自同一分级中镜片的图像块聚类来获得。学习滤波器被送入到卷积神经网络，然后是一组递归神经网络，进一步提取更高阶的特征。有了这些功能，支持向量回归可以用于确定白内障分级。结果：所提出的系统是在5378张图像的大样本数据集上进行验证，其超过了现有技术水平，对临床分级产生了0.304的平均绝对误差（ε），70.7％的确切整体符合率（R0），88.4％小数分级误差≤0.5（Re0.5），99.0％小数分级误差≤1.0（Re1.0）。意义：在大量筛查的情况下，所提出的方法有助于帮助和改善疾病的临床管理，并且可能应用于其他眼部疾病。
论文地址：http://ieeexplore.ieee.org/document/7122265/