深度学习模型的可解释能力在大气环境领域的应用

bugsuse

发布于 2022-09-23 14:25:10

5610

发布于 2022-09-23 14:25:10

文章被收录于专栏：气象杂货铺

近日，我院晏星老师联合李占清教授、赵传峰教授及其合作者在深度学习模型的可解释性研究中取得重要进展。作为人工智能模型的一种，深度学习模型一直被认为是“暗箱”算法，尽管它精度很高，但其可解释性与其它模型相比是最差的（图1）。

图1. 模型精度VS模型可解释性

我们能否即保证深度学习模型的准确性，同时再提高它的可解释性呢？带着这个问题，研究团队经过多年攻关，在以下3个方面取得进展：

1）打开“黑箱”，让深度学习模型自动提取数据的时空特征

结合嵌入层(embedding)和UMAP（uniform manifold approximation and projection）投影技术，提出了具备可解释能力的EntityDenseNet深度学习模型。该模型可对近地面PM2.5浓度进行实时遥感反演，在获取反演结果的同时，EntityDenseNet可自动挖掘PM2.5的时空特征信息（图2）。

此项研究以“New Interpretable Deep Learning Model to Monitor Real-Time PM2.5 Concentrations from Satellite Data”为题发表在期刊Environment International，原文链接：https://doi.org/10.1016/j.envint.2020.106060）

图2. EntityDenseNet对PM2.5时空特征的自动提取

2）既“深”又 “宽”的深度学习模型进一步提高可解释性

深度学习模型不仅能做“深”同时也能够做“宽”。在EntityDenseNet的基础上，加入了“宽”的部分，而宽的这部分我们使用具有很强解释能力的一般线性模型联合构成SIDLM。如图3所示，SIDLM融入了线性模型和非线性模型相结合的思想，“深”的部分为深度学习模型-描述了数据的非线性关系，“宽”的部分是线性模型-描述了数据的线性关系，两部分采用联合训练的方式对数据进行建模。利用SIDLM，团队刻画了区域尺度（3KM和10KM）和城市尺度(250m)的PM2.5空间分布，并在城市尺度解译了PM2.5的时空特征。

此项研究以“A Spatial-Temporal Interpretable Deep Learning Model for Improving Interpretability and Predictive Accuracy of Satellite-based PM2.5”为题发表在期刊Environmental Pollution，原文链接：https://doi.org/10.1016/j.envpol.2021.116459。

图3. SIDLM模型架构与解译结果

3）利用神经网络造棵“树”，实现树模型的可解释性

如图1所示，随机森林这种“树”结构的机器学习模型具有一定的解释能力，但计算精度不如深度神经网络模型。那么，能不能利用深度神经网络去造一颗“树”呢，让它即保证了精度，又具备了“树”模型的可解释性？带着这个问题，团队结合注意力机制，利用神经网络实现了“树”模型的功能，并解译分析了全球尺度细模态气溶胶近10年来时空变化的影响因素(图4)。通过模型提取的特征重要性，研究发现O3与细模态气溶胶光学厚度(fAOD)以及细模态气溶胶比例(FMF)都存在显著的相关关系。

此项研究以“Understanding global changes in fine-mode aerosols during 2008–2017 using statistical methods and deep learning approach”为题发表在期刊Environment International，原文链接：https://doi.org/10.1016/j.envint.2021.106392。

图4. 深度学习模型挖掘全球尺度fAOD和FMF影响因子

以上所有研发的可解释性深度学习模型，团队已经上传到云上（http://8.141.49.119:8888/lab），欢迎各位师生使用，用于计算和解译其它数据。同时，云中的模型可自行设计相应架构和参数，仅通过5步即可实现模型的训练和应用（图5）。目前云已经过内部测试1年，只要数据格式能在随机森林模型中使用，就可适用于以上所有模型。由于目前云的计算能力有限，只能支持2-3名用户同时使用，需预约分时段使用(yanxing@bnu.edu.cn)。注：云的使用原则和MODIS数据使用原则一致，致谢即可。