如何通过简单处理估计植被表面

今天，我们将一起研究如何检测建筑物周围的植被表面。在这个过程中，我们将展示如何构建合适的数据集。植被检测是一种简单且实用的工具，来帮助我们判断人口稠密地区的生活质量。

我们决定以植被带的分割为主，这意味着图像中的像素被分为“植被”和“非植被”两种，我们需要预测出每个像素点属于哪一类。

简单的想法并不总会奏效

说到检测植被所在区域，我们的第一想法通常是对HSV值进行简单的阈值处理：

选择HSV轮和色调进行植被检测

例如，我们可以将色相介于40到160之间的像素视为植被（40和160这两个值由我们的经验得到），因为这个范围内包括黄绿色到蓝绿色之间所有颜色。由于场景的亮度和图像的饱和度也会对植被区的判断有一定的影响，因此我们还需要考虑像素的饱和度和亮度。我们的第一个模型包含3个维度的滤波器。我们使用标准形态运算符来平滑像素分类，以帮助我们规范空间上的检测。

测试图像，滤波后的色调，平滑的蒙版，图像和检测重叠

这是一个非常简单的方法，可以轻松处理整个区域。但是有很多原因会都导致这种方法的可靠下降，比如对阴影部分检测效果不佳。除此之外使用这种算法对像素进行归类，绿色屋顶、水中绿色倒影都会被判断为植被。因此这种算法肯定是行不通的！

通过色相值进行植被检测的失败案例

利用数据简化模型开发

通过飞机与卫星拍摄的图像，我们知道对地球成像有许多不同的模式[1]，其中之一是具有红外信息的多光谱图像。多光谱图像比简单的RGB图像具有更多的信息：红外波段非常有用，因为它们可以帮助我们计算出称为NDVI[2]（归一化植被指数）的值。NDVI是检测多光谱图像上植被的一种简单而有效的方法：

NDVI的计算公式，其中NIR和R分别为近红外和红色光谱反射率

当红色光谱反射率较低且近红外光谱反射率较高时，此值最大。因此它可以很好地表明植被的存在。NIR和R介于0和1（入射辐射的比率）之间，NDVI的值介于-1和1之间。

植被和非植被在不同光谱范围的反射率曲线

对于绿色植被茂盛的地区，R较低，而NIR较高（植被红色调很低，但是又可以很好地反射红外线），因此NDVI指数将非常接近1。对于干燥或自然带红色的植被R值较高，但NIR足够高以保持较高的NDVI值。

我们现在所面对的问题是：我们无法获得整个领土的高分辨率多光谱图像。由于我们只能访问有限范围的多光谱数据，因此我们提出了以下想法：利用此有限的数据来自动标记可以访问的航空影像，从而创建用于深度学习的训练集算法，这种算法的消耗也很低。

训练和推理流程

图像，NDVI蒙版和检测结果

我们决定使用U-Net架构[3]系列模型来完成此任务。我们选择U-Net架构的主要原因是：

• U-Net模型可以快速进行训练和推理。而且，FastAI框架已经有一个成功的案例，可以与它的单周期拟合功能协同工作。

• 我们的任务并没有那么复杂。植被相当好认，并且我们希望简单的深度学习模型能够成功完成此任务。

我们在训练细节上加以改进以提高运行速度，使用快速收敛[4]和周期性训练[5]的策略可以让我们在短时间内建立模型。

我们获得的总体准确度为85％和dice得分为73％ [6]。

虽然这些数据对于我们正在开发的算法而言似乎很低，但实际上是因为我们所使用的数据集存在一些问题。首先，训练数据并不完美，并且仍有一些像素带有错误的标签。毕竟，这是一个我们无法控制的半自动生成的数据集。即使是一个手工标记的数据集，可能会出现一些错误标记的情况。一些植被像素点未正确标记，因为它们的NDVI太低，例如它们的代表“干草”。而且航空和卫星图像地图并非同时采集。其次，也是最重要的一定，评估数据本身存在缺陷。作为我们创建的数据集的子集，标签错误的像素也存在于该集合中。并且评估也是一个很棘手的问题。

我们项目中另一个重要部分是检测不同植被不同大小和形状的包络。这意味着对该农作物的预测时将有非常大和非常小的图像，因此必须将图像调整为不同大小的正方形图像。由于我们的图片具有固定的分辨率，因此我们希望尽可能避免调整大小和调整其形状。我们知道像素始终代表地面上的同一表面（0.04平方米），所有我们决定将要预测的区域转换为地理空间图块。为了将区域划分为固定大小的正方形，我们使用了Slippy Map格式[7]。

在所有图块上进行预测后，我们将检测到的多边形融合到相连的植被表面中，结果相当不错，我们精确分割了植被。

我们在一副图像上进行最终植被检测，然后我们将这些检测结果整合到了Digital Twin中，使其他地区植被表面关联到它们。例如，该检测结果也是学校绿色的重要指标。

结论

这个项目的目标会很明确，开发一个模型，该模型在输入中获取整个地区的一个图像，并提供一组包含该地区上所有植被的多边形。

为了解决此任务，我们建立了一个具有可重复结果的模型，该模型几乎可以运用到所有存在航空影像的任何区域。该模型建立在不同的数据源，RGB航空和多光谱卫星图像上，混合数据类型比看起来容易，请尝试一下！