ANHIR2019——自动非刚性组织学图像配准之AI形变场配准方法

今天将分享自动非刚性组织学图像配准之AI形变场配准方法完整实现版本，为了方便大家学习理解整个流程，将整个流程步骤进行了整理，并给出详细的步骤结果。感兴趣的朋友赶紧动手试一试吧。

一、ANHIR2019介绍

在数字病理学中，最简单但最有用的功能之一是直观地比较连续的组织切片（切片），这需要将图像对齐。需要图像对齐的其他相关应用包括3D重建、图像融合等。图像对齐使病理学家能够评估患者在单个区域中的多个标记物的组织学和表达。此外，由于组织处理和预分析步骤，切片可能会遭受非线性变形。也就是说，它们会在各个部分之间拉伸并改变形状。目前，只有少数自动对齐工具能够以足够的精度和合理的处理时间处理大图像。

ANHIR2019挑战重点是比较自动非线性配准方法对来自相同组织样本但用不同生物标记物染色的一组大图像的准确性和速度。在ANHIR2019挑战中，使用手动注释的地标来评估配准准确性。还将通过计算执行的配准改善最终图像对齐的次数来估计方法的鲁棒性。作为辅助标准，还将测量计算时间。要求所有方法完全自动运行，没有交互，也没有图像特定的参数（例如为某些特殊图像放置关键点或调整参数）。

由于影响组织样本的非线性变形、每个染色的不同外观、重复的纹理以及整个幻灯片图像的大尺寸，该任务非常困难。

二、ANHIR2019任务

对用不同染料染色的组织病理学组织样本的二维显微图像进行自动非线性图像配准。

三、ANHIR2019数据集

获取不同类型组织（病变、肺叶、乳腺）的高分辨率（高达 40 倍放大倍数）全切片图像-图像的原始尺寸各不相同，从 15k x 15k 到约 50k x 50k 像素。获取的图像被组织成连续的组织切片组，其中每个切片都用不同的染料染色。总共有50多个组织学集。每组均由整个载玻片图像形成，每个载玻片图像对应于用不同染料染色的相同组织的切片。为了方便起见，提供原始尺寸100%、50%、25%、10% 和 5%的图像缩小版本。任务是在它们之间注册集合内的所有图像。这形成了有意义的注册对的集合。

该数据集中呈现的特定组织样本的简短描述。

病变组织 - 从块上切下未染色的相邻 3μm 福尔马林固定石蜡包埋切片，并用苏木精和伊红 (H&E) 染色，或使用 CD31、proSPC、CC10 或 Ki67 的特异性抗体进行免疫组织化学染色。使用配备干式 Plan Apochromat 物镜（数值孔径 NA=0.95，放大倍数 40×，像素大小 0.174 μm）的 Zeiss Axio Imager M1 显微镜（Carl Zeiss，耶拿，德国）获取三只小鼠肺部病变（腺瘤或腺癌）的图像。/像素）。

肺叶-四个完整小鼠肺叶的图像对应于与病变组织相同的一组组织学样本。它们还使用配备干 EC Plan-Neofluar 物镜（NA=0.30，放大倍数 10×，像素尺寸 1.274 μm/像素）的 Zeiss Axio Imager M1 显微镜（Carl Zeiss，耶拿，德国）采集。

乳腺 - 切片是从两个乳腺块上切下的，用 H&E（偶数切片）或抗雌激素受体 (ER)、孕激素受体 (PR) 或 Her2-neu（奇数切片）的抗体染色。使用与小鼠肺叶相同的显微镜和采集参数组采集图像。它们还使用配备干 EC Plan-Neofluar 物镜（NA=0.30，放大倍数 10×，像素尺寸 2.294 μm/像素）的 Zeiss Axio Imager M1 显微镜（Carl Zeiss，耶拿，德国）采集。

COAD - COlon ADenocarcinoma (COAD) 套件汇集了结肠癌样本的一系列组织学切片，使用 3DHistec Pannoramic MIDI II 扫描仪以 10 倍放大倍率进行扫描，分辨率为 0.468 微米/像素，白平衡设置为自动。每个系列由一个 H&E 组织病理学切片（第一次切割）组成，随后是数量不定（4-7）的免疫组织病理学切片，并带有免疫反应（包括 CD4、CD68）和缺氧染色。由于技术原因（例如，某些污渍需要重新处理），无法保证切片的顺序。然而，这些切片来自小体积的组织块。

小鼠肾脏组织 - 该组由切除的健康小鼠肾脏组成，与人类肾脏高度相似。我们使用了九个连续的具有相似组织结构的完整幻灯片图像。使用 NanoZoomer 2.0HT 扫描仪（Hamamatsu）和 20× 物镜对整个载玻片进行数字化。每张图像的大小大约为 37k × 30k 像素。每张图像均使用三种染色剂（PAS、SMA 或 CD31）中的一种进行染色，这样每张备用载玻片都是PAS图像。

胃粘膜和胃腺癌组织 - 来自经组织学验证诊断（胃腺癌）的患者的手术材料用于苏木精和曙红 (H&E) 常规染色或用于免疫表型分析。LMP-1 蛋白（Dako，克隆 CS.1-4）的 IHC 染色用于 Epstein-Barr 病毒 (EBV) 鉴定。通过对标记物 CD4（克隆 4B12）、CD8（克隆 C8/144B）、CD68（克隆 PG-M1）和 CD1a（克隆 O10）进行免疫组织化学染色来研究肿瘤组织浸润的细胞组成。使用 Thermo Dewax 和 HIER Bufer L、pH6 缓冲液进行脱蜡和抗原回收。两名独立研究人员使用 Leica DM LB2 显微镜对制剂进行了研究。

乳腺组织 - 从块上切下未染色的相邻 3μm 福尔马林固定石蜡包埋切片，并用苏木精和曙红 (H&E) 染色，并使用抗雌激素受体 (ER)、孕激素受体 (PR) 的抗体进行免疫组织化学 (IHC)、 和 Her2-neu。

肾脏组织 - 从肾小球病块上切下未染色的相邻 3μm 福尔马林固定石蜡包埋切片，并用苏木精和伊红 (H&E) 以及 PAS、Masson 和乌洛托品染色。

数据下载：

https://anhir.grand-challenge.org/Download/

评价指标：相对目标配准误差（rTRE）来评估配准性能，该误差代表目标图像帧中目标和扭曲地标之间的几何精度。

四、技术路线

1、加载target图像作为参考图像和标签，加载source图像作为待配准图像。

2、然后将source图像和target图像采样到2048x2048大小，并使用最大最小值归一化处理图像，并将数据划分成训练集和验证集。

3、搭建VNet2d网络来计算形变场，然后根据形变场通过空间变换网络对待配准图像进行变换计算得到配准图像结果，使用AdamW优化器，学习率是0.001，batchsize是8，epoch是1000，损失函数：相似性损失（配准图像和参考图像），可以使用归一化相关系数NCC或均方误差MSE；平滑损失（形变场xy两个方向上梯度平滑），可以使用L1或L2。

4、训练结果和验证结果。

5、source图像配准到target图像结果。