ECCV2018｜DCAN论文详解domain adaptation语义分割

论文： DCAN: Dual Channel-wise Alignment Networks for Unsupervised Scene Adaptation

会议：ECCV

架构：

挑战：

（1）DCNN在语义分割上获得进展依赖于大量的耗费人工的标注；

（2）若是可以利用生成数据和它易获取的标签进行训练，在真实数据集上进行迁移测试，这样则可以解决标注的问题，但是这样的方式又有新的问题；

（3）训练模型的泛化能力以及域间差异domain shift限制了分割的准确性

目前，很多工作都在尽力减小domain shift

方法：

（1）通过在low-level和high-level上进行channel-wise alignment，从而减小domain difference

（2）channel-wise alignment：对齐特征的同时，保留了图片的空间结构和语义信息，可应用于分割

网络详解：

（1）Channel-wise Feature Alignment

1）数据分布的均值和方差表示图片的style;

2）使用adaptive instance normalization方法，对齐source domain和target domain中图片每个channel map的特征。

3）Channel-wise Feature Alignment针对channel 对齐图片信息，确保语义信息编码在不同的channel中，两个网络均使用了这个方式。

（2）Dual Channel-wise Alignment Networks

Image generator:

（1）输入source image和target image，通过encoder-decoder生成具有source image 内容和target image 风格的图片。

（2）encoder:

具体结构：

如图中所示，source image和target image输入encoder,得到编码的特征，在这里根据target image的特征的均值和方差对source image特征的均值和方差进行channel-wise对齐，通过decoder生成内容上与source image相似，而风格上与target image 相似的图片。

Loss:

Segmentation Network:

网络：Deeplab,FCN,SegNet等前3个stage为encoder，后2个stage为decoder

分割网络使用生成图片和label作为数据集，使用target图片作为提供channel-wise feature aligment的图片，对segmentation network进行训练。

Loss:多类交叉熵函数

（3）Optimization：

（1）target domain中的每一张图片均代表一种style,但是若将source imsge与每一张target image进行训练，则太耗费计算资源

（2）使用source image和target domain中的随机一张图片进行训练

最终损失函数：

测试：

仅使用Segmentation Network,输入target image 输出分割map

分割结果：