干货 | 基于深度学习的生态保护红线和生态空间管控区域内开发建设活动识别

以下内容整理自2023年夏季学期大数据能力提升项目《大数据实践课》同学们所做的期末答辩汇报。

一、背景需求

本研究主要针对江苏省典型生态保护区域，通过计算机语义分割和变化检测的技术方法，以实现生态保护区内违法违规开发建设活动的智能监控。

项目的核心需求是实现两时相遥感图像变化检测，即能够有效地比较两个不同时间点的遥感图像，自动检测出其中的变化。这种变化通常包括土地利用和土地覆盖的变化、建筑物的增加或减少、自然灾害的影响、植被的生长或衰退等。

我们的交付需求是开发一个系统，能够自动化地、高效地检测这些变化，以替代传统的人工目译方法。

二、技术路线

技术路线核心是两种深度学习模型方法和配套的前后端开发，同时配合传统的土地利用类型，变化识别方法的对比。

三、传统方法

传统方法主要考虑卫星，针对不同种光谱的响应，有三个方面的方法：

第一类，基于GEE实现自动化近实时像素级的土地利用和覆盖类型的分类计算；

第二类，基于Google Drive跨平台的脚本驱动定时抓取计算的结果；

第三类，在本地进行个性化的数据分析和处理，多维度可视化的展示，分类的结果也可以上传至大系统中。

四、模型成果

面向更大规模的监测需求，传统方法会存在一些效率和限制，在我们的项目当中，更多尝试使用一些深度学习的方法，形成一套标准处理流程，主要包括预处理、模型预测以及结果优化几个部分。

本项目中，尝试从间接和直接两种路径引入深度学习方法。间接方法中，使用UNet、SegNet 等语义分割模型完成传统方法中人工目视解译的部分，对输入的两个时相遥感影像按指定类别进行分割并对两时相的结果作差得到变化的斑块。直接方法中，使用BIT-based Net、STANet等变化检测模型，对输入的两时相遥感影像直接端到端地给出变化区域。

在此基础上，对语义分割结果按照指定类别进行过滤，让检测结果更加符合不同应用场景的需求。另外，我们使用overlap 的方法有重叠地裁剪影像，或者在拼接时，对每张小图的预测结果进行置信度加权（中心高、边缘低）的拼合，再由大图得到概率最多的类别，可以使原本边缘部分的准确率提高且图像整体较为光滑。

具体到模型的训练部分，选取符合要求的训练数据集，对它进行加噪之类的增强处理，也通过一些标签归类的方法去提高数据集对建设活动的关注程度。这两种方法当中用到多种模型，在处理后的数据集上进行训练，对比它的效果。

在语义分割模型中，UNet 模型整体表现优于SegNet 模型，两个SegNet 模型具有不同的侧重点。

在变化检测模型中，会使用三种模型，通过一种时空的上下文建模，提高它对不同光谱以及空间尺度的鲁棒性，结果也可以看出边缘和结果会更加准确。

由于遥感卫星影像变化检测任务的特殊性，需要对一般的机器学习效果评价指标进行调整，以适应变化检测任务。实践过程中，通过对既有变化检测和语义分割相关前沿论文的系统研究，整合得出适用于遥感卫星影像变化检测的多个指标。

横向对比不同模型的各评价指标，可发现不同模型对遥感卫星变化检测任务的适用程度具有差异，通过不同指标的对比，可反映出不同模型的特质。

五、系统成果

主页分为五个子页面，首页显示系统名称，工具箱页面提供了语义分割和变化检测两个功能的入口。页面的可视化效果得益于多种技术和工具的共同作用。除了Element UI，我们运用CSS来精确控制页面的布局和外观，自定义颜色、字体、间距等样式属性，以确保页面视觉上保持整体一致性；我们还利用了jQuery提供的强大的DOM操作和事件处理功能，实现丰富的交互效果，例如动画、弹出窗口、数据加载等，有助于提高用户体验，使页面更加生动和互动。这些技术和工具的协同作用为我们的项目提供了出色的用户界面，使用户可以更轻松地浏览和与页面互动。

我们实现了以下核心功能，包括文件传输与交互、地物分类、变化检测、模型更新和结果下载。

总结展望

基于深度学习的生态保护红线和生态空间管控区域内开发建设活动识别项目于2023 年6 月初完成立项和组队，自6月26 日正式开始至8月18 日结束，历时八周，通过五位项目成员的努力，在清华大学软件学院和江苏省苏力环境科技有限责任公司的指导和支持下圆满完成。

在本项目中，我们致力于通过深度学习模型代替人工目译完成识别生态空间管控区域内的土地利用类型变化任务。在模型方面，我们采用了基于语义分割和直接变化检测的方法：对于语义分割，我们测试了UNet、SegNet 等模型；而在变化检测方面，我们尝试了BIT-based Net 和STANet 模型，还尝试了近期开源的达摩院AIEarth。为了训练这些模型，我们使用了昇腾杯、国丰慧眼杯等遥感竞赛的开源数据集，并总共训练了六个模型进行综合对比和评估。在系统方面，我们采用了Vue、OpenLayers 和Flask 技术栈进行系统开发并以部署在企业堡垒机上的网页形式交付，支持用户上传待分析的tif 格式文件并分析和计算，分析结果可以在线查看也可以按照需求将不同格式的结果下载到本地查看。

在项目实施过程中，我们面临了诸多挑战：如对遥感图像领域的探索、寻找合适的模型和训练数据集、系统开发时前后端分离开发和联调等，在这个过程中，企业导师给予我们了细致到位的支持与指导，课程导师也专程前来南京进行了线下的交流；同时由于本项目采用线上线下相结合的模式，对团队的协作模式也是不小的考验，我们通过每周例会和每日小会进行沟通和交流项目进展、探索遇到的问题。

项目也有一些不足之处。首先是由于目前数据集的缺乏，我们很难找到分辨率与实际使用需求相符的数据集，未来如果有更合适的数据集可以对这些模型进行复训并使用我们系统的模型更新功能；此外，由于堡垒机的显卡限制，系统目前还不支持多线程任务，未来如果有更优的计算资源可以进一步改进系统，支持并发任务。

在项目完成之际，感谢所有同学的辛勤工作和奉献，也再次感谢清华大学大数据能力提升项目和江苏省苏力环境科技有限责任公司提供的支持与指导。

编辑整理：陈龙

编辑：文婧

校对：林亦霖