self-training | MICCAI2021 | BN层的source free的迁移

• 文章转自微信公众号：机器学习炼丹术
• 论文名称：Adapting Off-the-Shelf Source Segmenter for Target Medical Image Segmentation
• 作者：炼丹兄（欢迎交流共同进步）
• 论文链接：https://arxiv.org/abs/2109.09735

【前言】：Source-free的论文被拒之后，reviewer给出了很好的意见，并且给出了一些相关的论文。之前的文献整理阶段没有做完善，对比试验比较少，所以被拒是预期之内的。现在来好好整理一下白嫖的review的论文。

0 摘要

“Source-Free Domain Adaptive Fundus Image Segmentation with Denoised Pseudo-Labeling”这一篇论文以及之前的source-free的模型，大多是pseudo label的denoise上做文章。有各种各样的办法，有用聚类的、有用dropout波动性的、有用classwise的平衡的等等，而这一篇：“Adapting Off-the-Shelf Source Segmenter for Target Medical Image Segmentation”则是属于另外一个分支的，在BatchNorm上做处理的。

总所周知，BatchNorm的参数均衡和方法是特别针对某一个数据集的参数，所以当source model使用了BN层的话，那么在target domain上一定会有性能的下滑。所以这个方面的工作是合理的。

1 Method

很多的研究都表明，low-order的batch statistics，像是均值和方差，是domain-specific。此外也有研究表明， brute-forcing的使用原来的mean和方差，是会有很大的影响的。并且这个研究指出，当low-order的均值和方法的变量减小了domain discrepancy后，high-order的变量，例如scale和shift是可以共享的（\gamma and \beta）！

上面的就是low-order的adaption的办法。下面我们来看high-order的办法。

上图中的\alpha是一个计算的常数，用来均衡不同通道之间的平衡。

❝Accordingly, we would expect that the channels with higher transferability contribute more to the adaptation. In order to quantify the domain discrepancy in each channel, a possible solution is to measure the difference between batch statistics.文中说我们希望通道有着更高的迁移属性，为了定量每一个通道之间的域差异，提出了方法。

通过这样的方法，来计算每一个通道之间的迁移距离。可以看出来，当均值和标准差的比值变化大的时候，意味着这个通道的在target和source domain上的差异大。所以d就会大。（这里有问题，为什么用均值和标准差的比值？这个在统计上有什么含义吗？） 然后从这个d，可以计算\alpha上述的就是所有关于BN层迁移的方法。

此外，这个论文也用了minimum entropy的方法：

minimun entropy是常见的方法，所以不再赘述