【每周CV论文推荐】初学模型可视化分析有哪些值得阅读的论文？

欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。

模型的可视化分析是模型可解释领域里非常重要的方向，通过可视化可以直接得分析模型的性能，让初学者更好地理解模型，本次我们来介绍初入该领域值得阅读的文章。

作者&编辑 | 言有三

1 基于梯度法的输入可视化

Dumitru Erhan和Yoshua Bengio等人在2009年提出从DBN网络的输出，进行从顶到底的计算来得到输入的样本，用于可视化激活模式，后来在2013年Karen Simonyan等人则首次将其应用到深层图像分类网络的可视化中，这是一类输入可视化方法，用于分析模型对什么样的输入感兴趣，后续还有一系列的改进方法。

文章引用量：5000+

推荐指数：✦✦✦✦✦

[1] Simonyan K, Vedaldi A, Zisserman A. Deep inside convolutional networks: Visualising image classification models and saliency maps[J]. arXiv preprint arXiv:1312.6034, 2013.

2 基于反卷积的特征可视化

反卷积可视化方法是一个非常经典又独特的方法，它与梯度计算法不同，其核心思想是利用上采样从特征空间逐步恢复到图像空间，必须要使用真实的输入数据进行前向和反向传播。而可视化的结果则类似，也是一些特定的激活输入模式。

文章引用量：16000+

推荐指数：✦✦✦✦✦

[2] Zeiler M D, Fergus R. Visualizing and understanding convolutional networks[C]//European conference on computer vision. Springer, Cham, 2014: 818-833.

3 反向传播梯度可视化

当前的神经网络基本上都是基于反向传播来进行优化，通过计算各个输入单元的梯度，其实也可以将其作为输入单元的重要性。在进行可视化的时候，通常使用图像*梯度。这一类方法称之为基于反向传播的梯度可视化方法，或者简称为梯度计算法，包含了一系列改进。

文章引用量：3000+

推荐指数：✦✦✦✦✦

[3] Sundararajan M, Taly A, Yan Q. Axiomatic attribution for deep networks[C]//International conference on machine learning. PMLR, 2017: 3319-3328.

4 热图可视化方法

输入图片中包含了很多的像素，但前景和背景对神经网络的重要性显然是不一样的，即使前景的各个像素也是不一样。通过对输入中各个元素的重要性进行量化和分析，能够帮助大家理解是什么样的内容影响了模型的输出，其中最成熟的方法就是激活热图可视化方法，主要是原生的CAM和Grad-CAM。

文章引用量：16000+

推荐指数：✦✦✦✦✦

[4] Zhou B , Khosla A , Lapedriza A , et al. Learning Deep Features for Discriminative Localization[C]// CVPR. IEEE Computer Society, 2016.

[5] Selvaraju R R , Cogswell M , Das A , et al. Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization[J]. International Journal of Computer Vision, 2020, 128(2):336-359.

5 模型可视化的一些工具

当前有一些研究者开发了一些模型可视化的基础工具，可以对网络的输入信号，输出结果，中间的特征图进行直观的查看，类似的工具非常多，比较典型的如3D可视化工具Zetane Engine，CNN EXPLAINER等，大家可以去搜索相关工具进行尝试。

[6] Wang Z J, Turko R, Shaikh O, et al. CNN explainer: learning convolutional neural networks with interactive visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2020, 27(2): 1396-1406.

[7] https://github.com/poloclub/cnn-explainer

6 如何进行实战

为了帮助大家掌握一些模型可视化分析的重要方法，我们推出了相关的专栏课程《深度学习之模型分析：理论实践篇》，可以进一步阅读：

【模型分析】不满足于盲目地调参，那关于看懂模型，你掌握了多少技能呢？

总结

本次我们简单介绍了模型可视化分析的一些重要内容，这是模型可解释性研究领域里非常重要的内容，对于理解复杂的深度学习模型是必备的知识，值得所有从业者掌握。

有三AI秋季划-模型算法组