Multi-Stage Prediction Networks for Data Harmonization

论文题目：Multi-Stage Prediction Networks for Data Harmonization (MICCAI19)

背景

由于图像采集缺乏标准化，数据协调（data harmonization）的目的是为了消除因扫描仪，中心或采集协议的规格而引起的差异。现有的方法往往针对每个设备训练一个单一网络，由于数据集比较少，所以往往会导致过拟合，而且未能充分利用多个预测任务之间的协同作用，因为这些预测任务通常是紧密相关的。而多任务学习允许模型集成来自多个平台的数据信息，为DH训练数据缺乏提供了一个强大的解决方案。

主要贡献

本文第一次将多任务学习引入数据协调,其目标是在不同的采集平台和站点之间协调图像，整合不同数据信息，提高模型的预测性能和学习效率。作者提出了一种多阶段预测（MSP）网络，即一个多任务学习框架，该框架将不同结构的神经网络（针对不同的个体采集平台进行训练）整合到一个统一的架构中。MSP将预训练好的单任务网络的高层次（high-level）特征作为额外网络的输入来指导最后的预测，用任务之间的冗余来充分利用有限的训练数据。

数据集

协调的数据由10位志愿者在三台不同的扫描仪上得到，分别为3T General Electric scanner，Prisma scanner，Connectom scanner，并有两种不同的协议（standard (st) protocol，state-of-the-art (sa) protocol），得到以下四种不同的数据，单目标网络将ge_st作为输入，分别预测其他三组图像。

数据预处理

对于得到的raw data先进行配准和归一化操作，随后从归一化数据信号中估计得到的6阶 real-and-symmetric SH deconvolution的28个系数作为分离的通道（不知道怎么翻译，给出原文We employed [17,18] where the 28 coefficients of the 6th order real-and-symmetric SH deconvolution were estimated from the normalized raw signal considered as separate channels of our data.）

网络结构

把预测图像记为\(I_{ij},i=1,\dots,P-1,j=1,\dots,N\),输入图像记为\(I_{0j}\),其中N为图像数量，P为不同的设备数，\(T\in {1,\dots,P-1}\)为目标输出。文中的网络以\(P=4,T=1\)为例来说明。从上图的左半部分可以看到，对于单任务来说，要训练P-1个网络\(\hat{y}_{T}=N_T(x)\)。右半部分，先选择了P-1个最先进（SOAT）的预训练好的单一网络，作为多阶段网络（MSP）的第一阶段预测，即\(\hat{y}_{T}^1=N_i(x),i=1,\dots,T\)。若\(i \neq T\)，把网络\(N_i\)的最后一个feature map记为\(z_i\)，并构造新的网络\(N_{iT}\)，第二阶段将\(z_i\)作为输入（利用其他平台的信息），再与第一阶段得到的\(\hat{y}_{T}^1\)进行线性结合来预测目标设备T的最终结果，即：

损失函数也分为两阶段，文中用的是MSE，分别为：

实验结果

文中作者分别对比了一些有代表性的单任务网络与多任务网络，如下：

总结

这篇论文中，作者主要运用了多任务学习的方法，如多阶段预测MSP如何提高DH中深度学习的预测能力，以及如何改进目前最先进的单一网络方法。