干货 | 利用手持摄像机图像通过卷积神经网络实时进行水稻检测（致敬袁老）

计算机视觉研究院专栏

作者：Edison_G

小农户在全球粮食供应中发挥着重要作用。随着智能手机越来越普及，它们使小农能够以非常低的低成本收集图像。 在此感谢袁隆平先生的贡献，让我们衣食无忧！

一、简要

在本研究中，研究者提出了一种有效的深度卷积神经网络(DCNN)结构，利用手持照相机拍摄的照片来检测水稻的生长阶段(DVS)。用不同的策略对DCNN模型进行了训练，并与传统的时间序列Green chromatic coordinate (time-series Gcc)方法和手工提取的特征组合支持向量机(MF-SVM)方法进行了比较。此外，还研究了不同角度的图像、模型训练策略和对DCNN模型预测的解释。利用所提出的两步微调策略训练的DCNN模型得到了最优结果，整体精度为0.913，低平均绝对误差为0.090。

结果表明，以大角度拍摄的图像包含更有价值的信息，使用多角度拍摄的图像可以进一步提高模型的性能。两步微调策略极大地提高了模型对视角随机性的鲁棒性。解释结果表明，从图像中提取生物气候学相关特征是可能的。本研究提供了一种生物气候学检测方法来实时利用手持照相机图像，并对在现实场景中使用深度学习有了一些重要的见解。

二、背景

本研究的假设是，作物表型的特征可以通过分析图像被机器学习捕捉到，而传统上可以通过观察被农业专家识别。然而，对作物生物气候学检测的深度学习研究仍然非常有限。Yalcin（Plant phenology recognition using deep learning: Deep-pheno. In 2017 The sixth international conference on agro-geoinformatics (pp. 1–5). https://doi.org/10.1109/Agro-Geoin formatics.2017.8046996）应用DCNN，使用固定角图像对生长阶段进行分类。Bai等人（Rice heading stage automatic observation by multi-classifier cascade based rice spike detection method. Agricultural and Forest Meteorology, 259, 21360–270. https://doi.org/10.1016/j.agrformet.2018.05.001）使用支持向量机和DCNN来区分水稻穗的图像斑块。检测到的穗状斑块的数量决定了水稻的走向阶段。

以上两项研究集中在固定的角度和位置的图像上，而小农户可以以随机的角度和位置拍摄图像。为了方便处理这些随机图像，有必要开发一种通用的方法。从多个角度拍摄的图像中提取最大的生物气候学信息将是很吸引人的。还需要一种通过降低图像视角不确定性的影响的训练策略来提高深度学习方法的性能。

三、研究地域

实验地域（23° 5′ 52″–23° 7′ 23″ N, 108° 57′ 7″–108° 58′ 34″ E）位于中国广西宾阳县。该地区的160公顷土地被划分为800多个地块，由当地农民管理。该地区的年平均降水量约为1600毫米，平均气温为21°C。随机选取70块地块，利用管理的12块地块进行分析。

四、研究框架

Data collection and processing

为了利用在不同视角度拍摄的图像进行现象学识别，选择了摄影方向和重力方向之间的四个垂直方向：0°(A)、20°(B)、40°(C)和60°(D)，如下图a。

在研究区域，大部分地块通过钻机移植。当在播种方向拍摄图像时，两排水稻之间的土壤会被很好地捕捉到，而在其他方向，图像捕捉到的土壤会较少。摄影方向和播种方向之间的三个水平方向（分别为0°(a)、45°(b)和90°(c)，以避免钻孔的影响（如图b)）。每次观察都拍摄了12张照片，并在距地面1.5米处大致手工控制视角。当地农民对70块地的图像采集被部署了7次。构建了一个具有622个观测结果的数据集，其中包含7464个图像，并使用其中7320个进行分析。其他的图像的质量很差，无法使用。根据DVS将610项观察结果分为10组，每组进一步分为训练（60%）、验证（20%）和测试（20%）组。

Data augmentation

数据增广的策略

The cropping scheme of three datasets

上图显示从原始图像裁剪的图像块。裁剪后，数据集的结果分布比原始分布更均匀。

Deep convolutional neural network approach

五、实验结果

上表是time-series-Gcc方法的ACC/MAE。

(a) Confusion matrix yielded by the Bb set; (b) confusion matrix yielded by the Dc set.

MF-SVM方法的ACC/MAE。

a–d are results yielded by18 features from one channel, 54 features from 3 channels, 108 features from 6 channels, and 270 features from 15 channels, respectively.

上图中的A, B, C, D分别表示0°, 20°, 40°和60°。

不同拍摄角度的照片比较

最终结果：