通过深度多任务多通道学习的联合分类和回归用于阿尔茨海默病的诊断

通过深度多任务多通道学习的联合分类和回归用于阿尔茨海默病的诊断

摘要：

前人缺点：然而，传统的联合学习方法很少将此类人口统计信息纳入学习模型。

工作：为此，我们提出了一个深度多任务多通道学习 (DM2L) 框架，用于同时进行脑疾病分类和临床评分回归，使用 MRI 数据和受试者的人口统计信息。

步骤：1、具体来说，我们首先以数据驱动的方式从 MR 图像中识别有区别的解剖标志，然后在这些检测到的标志周围提取多个图像块。2、然后，我们为了联合分类和回归提出了多任务多通道的卷积神经网络（DM2L）<Multi-Task Multi-Channel Learning >Double M Learning。3、我们提出的DM2L框架(作用)不仅可以自动的学习MRI图像中的易区分特征，还可以在学习过程中明确的结合样本的人口统计信息。

数据集：我们在 1984 名受试者的四个大型多中心队列上评估了所提出的方法。

结果：实验结果表明，DM2L 在疾病分类和临床评分回归任务中均优于几种最先进的联合学习方法。

单词：Anatomical landmark 解剖标志

引言

第一段：MRI成像

MRI成像作用：brain形态测量模式分析作用---从结构磁共振成像 (MRI) 中识别疾病相关的成像生物标志物，有助于AD的早期诊断（轻度认知障碍MCI）

MRI成像优点：与其他广泛使用的生物标志物相比（例如，氟脱氧葡萄糖正电子发射断层扫描和脑脊液）MRI 提供了一种非侵入性解决方案，可以更灵敏地识别异常的大脑结构变化

MRI成像用于2分类和多分类阿尔兹海默症

第二段：前人的缺点和自己的改进：

前人的缺点和自己的改进：然而，由于 MRI 的特征提取过程独立于分类/回归模型训练，使用的特征和学习的模型不一定能很好地相互协调，导致学习性能欠佳。因此，非常需要一个用于同时进行特征提取和模型训练的统一学习框架。

第三段：人口统计学信息

人口统计信息表示本研究中受试者的年龄、性别和教育信息

前人研究中，处理人口统计信息的常用策略是根据特定的人口统计因素将受试者分成不同的组。

前人缺点：然而，使用传统方法通常在多种人口统计因素中不可能同时匹配不同临床组。作者的改进：另一种方法是将有意义的人口统计信息视为混杂因素confounding factors ？？？（查）18+19，其中通常使用这些因素建立回归模型，以消除测量特征的混杂影响（消除噪音）。然而，这种方法本身增加了几个工程预处理步骤，这些步骤以定向和工程化的方式修改特征向量。直观地说，它可以通过考虑 AD 诊断系统中的人口统计信息来进一步提高学习性能。

混杂因素confounding factors ？？？（查）18+19

混杂因素亦称混杂因子或外来因素，是指与研究因素（自变量）和研究疾病（应变量）均有关的因素，若在比较的人群组中分布不匀，可以歪曲(掩盖或夸大)研究因素与疾病之间真正联系。混杂因素的定义是很严谨的，很多人认为混杂因素就是回归方程中自变量以外的控制变量，其实这并不严谨。实际上，混杂因素是自变量和应变量的共同原因

混杂因素亦称混杂因子或外来因素，是指与研究因素和研究疾病均有关，若在比较的人群组中分布不匀，可以歪曲（掩盖或夸大）因素与疾病之间真正联系的因素。如患病的概率 男>女，年龄也影响患病，那么性别分布不均匀会歪曲性别和疾病直接的真实联系。

如何解决混杂因素

多因素分析能够同时分析多个因素对结局的影响，一定程度比分层分析能更有效地控制混杂。最常使用的三种回归模型为：多重线性回归、logistic 回归及 Cox 回归。

第四段：DM2L介绍

DM2L 避免手动标注

 DM2L 可以明确地将人口统计信息（即年龄、性别和教育）纳入学习模型，从而可以带来更多关于主题的先验信息。

图 1 展示了我们的 DM2L 框架的示意图。、

具体来说，我们首先处理 MR 图像并通过数据驱动算法识别解剖标志。然后，我们根据识别的标志从 MR 图像中提取图像块。使用图像块和人口统计因素（即年龄、性别和教育）作为输入数据，我们进一步开发了一个深度多任务多通道卷积神经网络（CNN）来联合执行分类和回归任务。

第五段：贡献

1）在两个额外的数据集上验证所提出的方法，2）描述我们方法的计算成本，3）分析三个人口因素的影响，4）研究两个主要参数的影响，5) 将我们的方法与联合分类和回归的最新学习方法进行比较，6) 提供所提出的 CNN 模型的收敛性分析， 7) 对我们的方法进行统计显着性分析竞争方法

第六段：本文的主要贡献可总结如下

首先，我们建议基于以数据驱动方式识别的解剖标志，从 MR 图像中自动提取有区别的图像块。其次，我们为基于 MRI 的 AD/MCI 诊断开发了一个通用的联合分类和回归学习框架，其中特征提取和分类/回归模型训练的过程都被合并到一个统一的深度卷积神经网络中，而不使用 MRI 的任何手工特征。最后，我们可以通过所提出的框架利用研究对象的多个人口统计因素，将人口统计信息（即年龄、性别和教育）嵌入模型训练过程中。

在计算机系统中, 经验通常是以数据的形式存在. 我们将提供给计算机每个类别的许多实例(examples), 它们组成了训练集(training set), 利用学习算法(learning algorithms)从训练集中产生分类器(classifier)}或模型(model). 在面对新情况时(例如看到一张以前未出现的图像), 模型会提供相应的判断. 这个过程, 叫做数据驱动过程。

第七段：本文的其余部分安排如下

我们在第二部分简要介绍了最相关的研究

在第三节中，我们描述了本研究中使用的数据并详细介绍了我们的方法

我们在第四节中介绍了竞争方法、实验设置和实验结果，我们进一步将我们的方法与以前的研究进行比较，分析参数和计算成本的影响

第五节中介绍我们方法的局限性

我们在第六节结束本文。

相关工作

A. 基于 MRI 的 AD/MCI 诊断

B. 分类和回归学习

重点！！！基于 MRI 的 AD/MCI 诊断

用于 AD/MCI 诊断的基于 MRI 的计算机辅助系统的一个关键组件是确定如何从 MRI 中提取信息特征。一般来说，现有的用于 AD/MCI 诊断的 MRI 表示可以大致分为三类，包括

1）基于体素的特征 voxel-based features

在第一类中，基于体素的特征以体素方式测量大脑的局部组织（例如，白质、灰质和脑脊液）密度，因此独立于任何关于大脑结构的假设。 22]-[24]。由于通常有数百万个体素和非常有限的（例如数百个）主题，基于体素的方法的主要挑战是小样本问题[25]。

2）基于感兴趣区域（ROI）的特征 region-of-interest (ROI) based features

在第二类中，基于 ROI 的表示通常依赖于从结构/功能角度来看关于大脑异常区域的特定假设。例如，许多研究采用区域（1）皮质厚度 [5]、[6]、[26]、[27]、（2）海马体积 [3]、[4]、[28]、[29] 和（3）灰质体积 [22] , [30], [31]) 作为 MR 图像的表示。然而，关于 ROI 的假设需要专家知识来定义与疾病相关的大脑异常区域 [32]。

3）基于整体图像的特征whole-image-based features

在第三类中，通常将 MR 图像视为一个整体 [33]，而不考虑大脑的局部结构信息。由于大脑 MR 图像的全局相似性，这些表示无法识别由痴呆引起的大脑结构的细微变化。最近，一些研究为 MR 图像 [34]、[35] 开发了基于补丁的表示，其中一些依赖于深度卷积神经网络 [36]、[37] 进行特征学习。然而，从 3D MR 图像（包含数万个图像块）中选择信息丰富的图像块仍然是一个具有挑战性的问题。

分类和回归学习

总：与以往的研究只关注脑疾病分类任务[12]、[31]或临床评分回归任务[38]不同，也有人努力在一个统一的框架内共同解决这两个任务[11]， [13]。例如，张等人。

分:[11]提出了一种用于疾病诊断和临床评分预测的多模态多任务 (M3T) 方法，并表明用于这些任务的特征高度相关。在这项工作中，他们计算了预定义 ROI 中的灰质 (GM) 组织体积作为 MR 图像的特征表示，并建立了一个多任务特征选择模型。

分：遵循这一研究路线，Jie 等人。 [12] 提出了一种流形正则化多任务特征 (M2TF) 学习方法，首先执行特征选择，然后进行多任务分类，每个任务关注每个数据模态。同样，他们采用预定义 ROI 中的 GM 组织体积作为 MRI 的表示。

分：朱等人。 [13] 进一步开发了一种基于矩阵相似性的联合学习 (MSJL) 方法，用于跨两个任务（即类别标签和临床评分的预测）进行特征选择，其中 ROI 中的 GM 组织体积用作 MRI 的表示。然而，这些方法高度依赖于关于大脑感兴趣区域的特定假设。特别是，由于特征提取和模型训练是独立执行的，因此特征和学习模型可能无法很好地相互协调。

总：因此，非常需要开发一个用于同时进行特征提取和模型训练的统一框架。

此外，受试者的人口统计信息（即年龄、性别和教育程度）可能会对主要生物标志物产生影响，从而影响 AD/MCI 诊断中的分类/回归性能 [9]、[16]、[17] .处理人口统计信息的直接策略是匹配不同组中的主题。然而，在多个人口因素上同时匹配不同的临床组是非常具有挑战性的。作为另一种策略，人们也可以将人口统计信息视为混淆因素，也就是说，这些方法通常通过消除受试者测量特征的混杂效应来构建基于这些因素的回归模型。这种策略的主要缺点是对象的原始表示将被修改，因为这种策略以定向和工程化的方式增加了工程预处理的几个步骤。-------为此，我们通过基于 MR 图像和三个人口统计因素（即年龄、性别和教育）的深度多任务多通道卷积神经网络提出了一个联合分类和回归框架。三个大规模队列的实验结果表明，所提出的方法在 AD/MCI 分类和临床评分回归的任务中都优于最先进的方法。

材料和方法

A. 材料和图像处理

B. 解剖标记识别

C. 基于标记的补丁（标记块）提取

D. 多任务多通道卷积神经网络

材料和图像处理

数据集：

本研究使用了包含 1,984 名受试者的四个公共数据集，包括

1) 阿尔茨海默病神经影像学倡议-1 (ADNI-1)

2) ADNI-2

3)  MIRIAD（阿尔茨海默病的最小间隔共振成像）(Minimal Interval Resonance Imaging in Alzheimer’s Disease

4) 澳大利亚影像、生物标志物和生活方式老龄化旗舰研究 (AIBL)。Australian Imaging, Biomarker & Lifestyle Flagship Study of Ageing (AIBL).

值得注意的是，本研究中使用的受试者数量大于之前的许多研究，由于许多受试者同时参加了 ADNI-1 和 ADNI-2，我们只需将这些受试者从 ADNI-2 中删除以进行独立测试。基线 ADNI-1 数据集中的受试者具有 1.5 T T1 加权结构 MRI 数据（1.5T核磁共振成像），而基线 ADNI-2 中的受试者具有 3.0 T T1 加权结构 MRI 数据（3.0T核磁共振成像）。

可以明显看出，同样的扫描时间，3.0T扫描的血管无论是亮度（信噪比），还是显示小分支（分辨率）都高于1.5T

基线 ADNI-1 数据集包含 181 个 AD、226 个正常对照 (NC)、165 个进行性 MCI (pMCI) 和 225 个稳定 MCI (sMCI) 受试者。在基线 ADNI-2 数据集中，有 143 名 AD、185 名 NC、37 名 pMCI 和 234 名 sMCI 受试者。

ADNI-1 和 ADNI-2 中的受试者采用四种类型的临床评分，包括临床痴呆评分框总和 (CDRSB)、经典(ADAS-Cog) 有 11 个项目 (ADAS11)，修改ADAS-Cog 有 13 个项目 (ADAS13) 和简易精神状态检查 (MMSE)。

基线 MIRIAD 数据集包含来自 46 名 AD 和 23 名 NC 受试者的 1.5 T T1 加权结构 MRI。请注意，在这个 MIRIAD 数据集中，只有 MMSE 评分、年龄和性别信息可用于所有 69 名受试者，而其他临床评分（例如，CDRSB）不适用于所有受试者。

因此，我们在实验中仅使用 MMSE 和两个人口统计因素（例如年龄和性别）。在基线 AIBL 数据集中，共有 519 名受试者具有 1.5 T 或 3.0 T T1 加权结构 MRI 数据，包括 72 名 AD 和 447 名 NC 受试者。

与 MIRIAD 数据集类似，AIBL 中的所有受试者都可以使用两个人口统计因素（例如年龄和性别）以及 MMSE 分数。所有研究对象的人口统计学和临床信息列于表 I。

对图像的处理：

对于所有研究过的 MR 图像，我们使用标准管道对其进行预处理。具体来说，我们首先使1用 MIPAV 软件进行前连合 (AC)-后连合 (PC) 校正

2并对每张图像重新采样（调整大小），使其具有相同的 256 × 256 × 256 分辨率

3然后我们采用 N3 算法 [41 ] 来纠正那些强度的不均匀性图片---一种自动校正 MRI 数据中强度不均匀性的非参数方法

4我们进一步进行颅骨剥离以去除颅骨和硬脑膜。头骨剥离是脑组织分割过程中的关键环节。

5最后通过将标记模板扭曲到每个颅骨剥离图像来移除小脑。

医学图像预处理：MIPAV做脑smri前连合后联合（AC-PC）

前连合-后联合目的：（AC-PC）

AC-PC:为前联合(anterior commissure, AC)后缘中点至后联合(posterior commissure, PC)前缘中点的连线，又称AC-PC线。脑立体定向手术和X-刀、Y-刀治疗多以此线为准，故脑立体定位断层解剖研究多以此线为基线。

首先我们要知道立体定向脑图谱与其他解剖学脑图谱的不同点。我们都知道，在地理学上，两座山峰高低的比较是以海平面为基础的。那么人脑的比较的基础又是什么呢？立体定向脑图谱是以前连合与后连合的连线（AC-PC）为基准的，因为研究已经表明不同人脑的AC-PC没有显著性差异。以AC-PC中点为原点我们可以建立三维坐标系，在这个三维空间中获得的不同人脑的数据就可以进行比较了。因此，立体定向脑图谱——以AC-PC线为基准线获得的脑图谱被称作是标准的脑图谱。

最后，做这一步的另一原因就是：如果不做这一步的话，直接做下一步分割的时候会出错。

以上引自：https://blog.csdn.net/yufei0413/article/details/105220142

解剖标记识别

为了准确测量早期病理变化，基于 MRI 的 AD/MCI 诊断研究的一个关键步骤是定位大脑中与疾病相关的结构。大多数现有研究仅关注经验 ROI [3]-[6]、[22]、[26]-[31]。然而，由于对 AD 的结论性知识有限，这些 ROI 可能无法涵盖大脑中可能出现萎缩的所有可能位置。（ROI 有缺陷）报告生物标志物（例如解剖标志）的研究非常有限，这些生物标志物可以模拟大脑 MR 图像的局部（ROI）和全局（即整个图像级）信息。（使用ROI和整个图像）一个主要原因是由于在 3D MRI 中识别有区别的解剖标志的巨大挑战。为此，我们提出了一种基于标志的补丁提取策略用于 AD/MCI 诊断。

具体来说，为了从 MRI 中提取信息丰富的图像块，首先通过数据驱动的界标检测算法从 MRI 中识别出多个解剖界标。该算法旨在识别在局部脑结构中 AD 患者和 NC 受试者之间具有统计学显着组差异的界标。

具体来说，首先使用 Colin27 模板（真实人脑模板）对 ADNI-1 数据集中的所有训练 MR 图像执行线性和非线性配准过程。基于非线性配准的变形场，可以构建模板中的体素与每个线性对齐图像之间的对应关系。对于模板中的每个体素（3维叫体素，二维叫像素），形态特征是从所有线性对齐训练图像中的相应体素中提取的，这些训练图像包括 ADNI-1 中的 AD 和 NC 对象。

然后，使用多元统计检验在 AD 组和 NC 组之间进行体素组比较，从而可以获得模板空间中每个体素的 p 值。

最后，在模板空间中获得的 p 值图中的局部最小值被定义为有区别的解剖标志的位置。

如图 2 所示，在 ADNI-1 中从 AD 和 NC 受试者中识别出大约 1700 个解剖标志，这些标志按其相应的 p 值排序。值得注意的是，较小的 p 值表示相应标志在区分 AD 患者和 NC 受试者方面的区分能力更高，反之亦然。

这样识别出了ROI

对于新的测试 MR 图像，可以首先将其线性对齐到模板空间，然后使用预训练的界标检测器（在训练数据上学习）来预测该测试图像中的界标位置，更多详细信息请参见 [ 20]。

在这项研究中，我们假设 AD 和 NC 受试者之间具有组差异的解剖标志是 MCI 受试者的脑 MR 图像中的潜在萎缩位置，因为 MCI 是 AD 的前驱阶段。也就是说，pMCI 和 sMCI 受试者与 ADNI-1 中的 AD 和 NC 组识别的标志相同。

基于标志的补丁提取（点外取块）

缺点：基于这些识别的地标，我们从每个 MR 图像中提取多个补丁用于特征学习和分类器/回归器构建。由于从 AD 和 NC 受试者中识别出大约 1,700 个地标，如果我们直接从这些地标位置提取图像块会带来大量的负担。另一方面，如图 2 所示，一些地标彼此非常接近，因此从这些地标位置提取的块会有很大的重叠。

解决方案：在这种情况下，重叠较大的补丁将提供关于大脑固有结构的有限信息，因为它们包含大量冗余信息。为了解决这个问题，除了考虑这些地标的 p 值外，我们还定义了一个空间欧几里德距离阈值（即我们实验中的 20）来控制相邻地标之间的距离，以减少图像块之间的重叠。更多细节可以在补充材料的第六节中找到。

欧几里得距离或欧几里得度量是欧几里得空间中两点间“普通”（即直线）距离，它是一个纯数值。在欧几里得度量下，两点之间线段最短。

欧几里得距离，又称欧氏距离，是最常见的距离度量，衡量的是多维空间中各个点之间的绝对距离。在计算相似度(比如人脸识别)的场景下，欧几里得距离是比较直观、比较常见的一种相似度算法。欧氏距离越小，相似度越大；欧氏距离越大，相似度越小。

在图 3 中，我们绘制了那些选择的 top L = 50 个标志，从中我们可以看到许多标志位于双侧海马、双侧海马旁和双侧梭形区域。

给定 L 个界标，我们可以从 MR 图像中获得 L 个局部块来表示一个主题。为了抑制配准错误的影响并增加训练集，我们进一步随机采样以每个地标位置为中心的不同补丁，其位移在 5 × 5 × 5 立方（步长为 1）内。也就是说，我们可以生成以每个地标位置为中心的 125 的补丁。最后，我们将 L 个补丁的组合视为训练样本，每个补丁都是从特定的地标位置提取的。因此，我们理论上可以根据每个 MRI 的 L 个地标的不同补丁组合生成 125L 个样本。更多细节可以在补充材料的图 S2 中找到。

多任务多通道卷积神经网络

使用从 MR 图像中提取的图像块，我们通过多任务多通道卷积神经网络联合执行两种类型的任务（即分类和回归）（CNN）。所提出的 CNN 模型的示意图如图 4 所示，它允许学习模型隐式地提取输入图像块的特征表示。

如图 4 所示，所提出的 CNN 模型的输出包含类别标签和四个临床评分（即 CDRSB、ADAS11、ADAS13 和 MMSE）。

由于大脑 MRI 的外观在正常对照组和患病受试者的人群中通常全局相似但局部不同，因此全局和局部结构信息对于学习任务都很重要。为了对 MRI 的局部结构信息进行建模，我们首先开发了 L 通道并行子 CNN 架构。在每个通道子 CNN 中，有 6 个卷积层和 2 个全连接 (FC) 层（即 FC7 和 FC8）的序列。每个卷积层之后是一个整流线性单元 (ReLU) 激活函数，而 Conv2、Conv4 和 Conv6 之后是 2 × 2 × 2 最大池化操作用于下采样。注意每个通道包含相同数量的卷积层和参数，而它们的权重是独立优化和更新的。为了对 MRI 的全局信息进行建模，我们连接了 L 个 FC8 层的输出，并进一步向网络添加了两个额外的 FC 层（即 FC9 和 FC10）。此外，我们将包含 FC10 的输出和三个人口统计因素（即年龄、性别和教育）的连接表示馈送到两个 FC 层（即 FC11 和 FC12）。最后，两个 FC13 层分别用于预测类别概率（通过 soft-max）和估计临床分数。所提出的网络也可以在下面进行数学描述。

所提出的 CNN 模型的优势在于它不仅可以从 MR 图像中自动提取局部到全局的特征表示，而且还可以将人口统计信息明确地纳入学习过程。我们通过随机梯度下降 (SGD) 方法 [47] 结合反向传播算法来计算网络梯度来解决这个优化问题。 SGD 的动量系数和学习率分别根据经验设置为 0.9 和 10-2。所提出的 CNN 模型的实现基于 Tensorflow [48]，我们在实验中使用的计算机包含单个 GPU（即 NVIDIA GTX TITAN 12 GB）。

反向传播算法作用：旨在得到最优的全局参数矩阵，进而将多层神经网络应用到分类或者回归任务中去。

前向传递输入信号直至输出产生误差，反向传播误差信息更新权重矩阵。

至于为什么会提出反向传播算法，我直接应用梯度下降（Gradient Descent）不行吗？想必大家肯定有过这样的疑问。答案肯定是不行的，纵然梯度下降神通广大，但却不是万能的。梯度下降可以应对带有明确求导函数的情况，或者说可以应对那些可以求出误差的情况，比如逻辑回归（Logistic Regression），我们可以把它看做没有隐层的网络；但对于多隐层的神经网络，输出层可以直接求出误差来更新参数，但其中隐层的误差是不存在的，因此不能对它直接应用梯度下降，而是先将误差反向传播至隐层，然后再应用梯度下降，其中将误差从末层往前传递的过程需要链式法则（Chain Rule）的帮助，因此反向传播算法可以说是梯度下降在链式法则中的应用。

CSDN上的内容

Joint Classification and Regression via Deep Multi-Task Multi-Channel Learning for Alzheimer’s Disease Diagnosis

Mingxia Liu, Jun Zhang, Ehsan Adeli, Dinggang Sheny, Fellow, IEEE

可作为医学数据处理的入门文章，偏向于综述类的论文。文章的主要贡献在于提出了一个多任务多通道的卷积神经网络，进行阿尔兹海默症的诊断。数据集（ADNI）为受试者的MRI（磁共振图像）和人口统计信息，将单个MRI图像通过既定的模版分为若干patch，每个patch即作为CNN的一个通道，CNN则完成分类和回归两个任务（即疾病诊断和临床评分的回归）。

Abstract

提出了一种深度的多任务多通道学习（DM2L）,使用MRI图像、人口统计信息进行脑病分类和临床评分回归。以数据驱动的方式从MRI中提取Landmark，然后以Landmark为中心提取patch，将patch作为DCNN的输入，并将人口统计信息纳入学习过程（age，gender，education）进行疾病分类（AD,pMCI,sMCI，NC）和临床评分回归（CDRSB ，ADAS11，ADAS13 ，MMSE）。

DM2L有什么优势呢？

联合两个任务的好处是因为脑疾病的分类和临床评分回归是高度相关的。可以理解为，被诊断为AD患者的受试者，他的临床评分也会比NC受试者高。因此，联合两个任务学习将取得更好的学习效果。

另一个好处就是此方法可以自动从MRI中学习特征，而无需任何专业知识来定义MRI特征（后面将进行对比和介绍），特别是将人口统计信息纳入了模型，从而可提供更多有关对象的先验信息。

对比其他提取MRI特征的方法

从MRI中提取特征，根据MRI对AD/MCI的现有表现形式可分为三类：1-基于voxel（体素）的特征；2-基于ROI（感兴趣区域）的特征；3-基于whole-image（全图像）的特征。三者是通过不同的“视野”来体现特征的，可以理解为越来越宏观。

在voxel中，以体素的形式测量大脑中的局部组织（如白质、灰质和脑脊液）的密度，从而独立于任何关于大脑结构的假说，也就是说体素所观察到的太细微了，并不能体现大脑机构的特征。同时，通常有millions of voxels和非常有限的hundreds of subjects，此方法面临小样本问题。

在ROI中，依赖于结构和功能的角度看大脑异常区域，例如，区域皮质厚度、海马体积、灰质体积等作为MRI特征表示。此方法最大的局限性在于需要专家根据医学专业知识去手工标注特征，又由于人类对于大脑的认知依然十分有限，所以此方法有可能遗漏有用的特征。

在whole-image中，MRI被视为一个整体，而不考虑大脑的局部信息。由于AD所引起的脑结构变化是非常细微的，所以脑部MRI数据有goal相似而local不同的特点，因此将整个图像作为输入无法识别脑部MRI非常细微的变化。

基于patch的方法

不同于以上三种方法，本文采用基于patch的特征表示方法，从MRI中提取若干patch作为特征。

该方法是data-driven的，我们不需要专业的医学知识，仅仅通过NC和AD受试者MRI数据，用统计学的方法找出二者的不同点，以此作为Landmark，又以Landmark为中心提取固定size的patch。具体操作如下：

对MRI进行预处理，用MIPAV软件进行前连合（AC）-后连合（PC）校正，并重新采样图像以具有相同的256×256×256分辨率，然后采用N3算法来校正那些图像的强度不均匀性，进一步进行头骨剥离以去除头骨和硬脑膜，最后，通过将标记模版翘曲到每个颅骨剥离图像来移除小脑。

配准,使用Colin27模版，首先对数据集中的所以训练MRI执行线性和非线性配准，对训练集中的NC和AD受试者的MRI的每个体素线性对齐。

对NC和AD受试者的数据进行统计学上的Hotelling T2测试（p-test），从而可以在模版空间中为每个像素获取p-value，某一个体素的p值就代表了NC和AD受试者向对应体素的差异（越小的p值表示差异越大）。

按p值对体素由小到大进行排名（即差异性由大到小），排名靠前的体素即为潜在的Landmark。

两个Landmark之间距离可能很近，为了避免提取到的patch重叠，加入了欧氏距离限制条件，Landmark之间距离阈值为20。

选取排名第一的体素作为Landmark，去除这个体素以欧氏距离为20的圆内的所有体素；对剩下的体素重新排名，选取排名第二的体素作为Landmark。。。。。。以此类推，选取50个Landmark（实验得出）。

以每个Landmark为中心，16×16×16为size（实验得出），提取patch，这样就得到了50个patch作为MRI的特征表示。

Multi-task Multi-Channel Convolutional Neural Network

提出的CNN为很基本的CNN模型，将所提取的patch作为CNN的输入，每一个patch为一个通道，中间加入三个人口统计信息，CNN执行分类（AD,PMCI,SMCI,NC）和回归(CDRSB ，ADAS11，ADAS13 ，MMSE)两个任务。

patch作为CNN输入，又经过了全连接层的融合，这样即学习到了patch所代表的细节特征又学习到了patch组合起来的goal的特征。以下是网络的Loss function：

Loss function由两部分组成：分类的交叉熵损失和回归的均方误差损失。

实验

实验分为两部分，都用ADNI-1作为训练集，对比了其他特征表示的方法和多任务的方法以及本文方法的变形。由于对于AD诊断的复杂性，所以实验准确率并不高，但和对比方法相比有了很大的提高。

Future Work

研究一种模型适应策略以减少分布差异的负面影响。

将Landmark检测融合到学习过程中，变成统一框架（端到端）。

对网络进行微调，提升心能。

在实际环境中，分类和回归两个任务不是同等重要的，因此应为二者分配不同权值。