【每周CV论文推荐】GAN如何用于图像分割模型提升性能？

欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。

生成对抗网络诞生至今已经有很多领域中展现出强大的能力，它不仅可以单独用于图像生成、图像翻译等方向，也可以作为一项技术添加到其他方向中，提升模型的性能，本次我们给大家推荐将GAN添加到图像分割模型中用于提升性能值得阅读的一些方向。

作者&编辑 | 言有三

1 基本框架SegGAN与AlphaGAN

对于语义分割任务来说，保持分割目标的轮廓完整性和平滑性往往是必要的，而原始的分割框架有时候可能难以保证这一点，我们可以利用GAN优良的图像生成能力来进行对抗学习，增强分割掩膜的质量。类似的原理也可以迁移到Image Matting问题。

文章引用量：700+

推荐指数：✦✦✦✦✧

[1] Luc P, Couprie C, Chintala S, et al. Semantic segmentation using adversarial networks[J]. arXiv preprint arXiv:1611.08408, 2016.

[2] Lutz S, Amplianitis K, Smolic A. Alphagan: Generative adversarial networks for natural image matting[J]. arXiv preprint arXiv:1807.10088, 2018.

2 半监督框架Semi-SegGAN

Semi-SegGAN将对抗机制引入到语义分割模型中，基于判别器的预测结果，提出了一个半监督损失，将其与分类交叉熵损失和对抗损失融合起来，得到了半监督的语义分割框架。半监督图像分割是一个比较重要的学术研究方向，GAN在其中可有一番作为。

文章引用量：300+

推荐指数：✦✦✦✦✧

[3] Hung W C, Tsai Y H, Liou Y T, et al. Adversarial learning for semi-supervised semantic segmentation[J]. arXiv preprint arXiv:1802.07934, 2018.

3 遮挡目标分割SeGAN

二维图像中的语义目标经常会被遮挡，有时候我们需要分割出整个的目标所在，这对于很多应用场景是有用的，这不仅是一个分割问题，也是一个对遮挡区域的修复问题，SeGAN就是这样的一个框架，实现遮挡物体分割与补全。

文章引用量：100+

推荐指数：✦✦✦✧✧

[4] Ehsani K, Mottaghi R, Farhadi A. Segan: Segmenting and generating the invisible[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 6144-6153.

4 域自适应分割GAN

由于图像分割具有较高的标注成本，而应用场景的变化非常复杂，如自动驾驶场景的各种光照和天气、城市环境，难以完全覆盖，非常考验分割模型在未知域下的泛化能力，另外我们还会经常使用仿真的数据来训练模型，研究具有不同域自适应能力的分割框架非常有意义。一些在特征空间进行对齐[5-6]与直接在输出像素空间进行对齐的框架[7]都被提出过，这是当前GAN用于图像分割领域最值得被关注的方向。

文章引用量：2000+

推荐指数：✦✦✦✦✦

[5] Chen Y H, Chen W Y, Chen Y T, et al. No more discrimination: Cross city adaptation of road scene segmenters[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 1992-2001.

[6] Hoffman J, Wang D, Yu F, et al. Fcns in the wild: Pixel-level adversarial and constraint-based adaptation[J]. arXiv preprint arXiv:1612.02649, 2016.

[7] Tsai Y H, Hung W C, Schulter S, et al. Learning to adapt structured output space for semantic segmentation[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 7472-7481.

5 如何进行实战

为了帮助大家掌握基于图像分割相关的理论与实战！我们推出了相关的专栏课程《深度学习之图像分割：理论与实践》，感兴趣可以进一步阅读：

【视频课】CV必学，超10小时，3大模块，4大案例，循序渐进地搞懂图像分割！

总结

本次我们介绍了基于GAN的图像分割的一些方向，由于GAN具有优良的图像生成能力，将其用于图像分割有助于改进分割结果，增强模型的泛化能力，从事分割相关研究方向的朋友可以通过阅读这些文章进行初步了解。