【论文分享】在NVIDIA Jetson NANO上使用深度神经网络进行实时草莓检测

背景

机器学习是人工智能领域的一个热门话题，是智能农业机械的关键技术。深度学习是机器学习发展的前沿，它在自然语言处理和计算机视觉等许多方面都取得了优异的成绩。深度卷积神经网络（DCNNs）在计算机视觉领域取得了重大进展，极大地提高了图像分类、分割和检测的性能。在目标检测方面，深度学习算法的准确率可以高于视觉识别，具有无与伦比的效率。在最新的研究结果中，深度学习算法在根茎特征的识别和定位方面取得了97%的准确率。

当前深度学习的发展有两个方向。一是向高精度方向发展，二是向高效率方向发展。Alexey AB在YOLOv3的基础上提出了精度更高的YOLOv4，改进了数据处理、网络结构和损失函数，以实现更好的检测精度。除了精度的提高，速度的提高也具有重要意义。Andrew提出了深度可分离卷积网络，并构建了轻量级网络MobileNet-v2，以大大降低网络参数。从结果来看，网络的准确度有一定程度的下降，而检测速度有了很大的提高，满足了特定场景的要求。Alexey A.B在YOLOv4网络的基础上提出了YOLOv4-微型轻量级网络，在GTX 1080 Ti的PC机上运行时，其速度可达371 FPS。此外，该模型还可以部署在嵌入式移动设备上，如Jetson Nano或移动智能手机。轻量级网络极大地促进了模型在边缘计算设备上的部署过程。

在智能农业机械中，许多任务需要在嵌入式系统等移动设备上快速执行，这使得研究人员开始关注边缘计算中轻量级深度神经网络的发展。深度学习算法已被用于识别农业中的作物、杂草和疾病。有开发人员使用无人机和RGB摄像机拍摄草莓地，并在分割后使用更快的RCNN算法检测目标。通过计算草莓和鲜花的数量来估计产量，准确率达到84.1%。这项研究有助于农民更有效地观察草莓地的生长周期。还有开发者开展了基于YOLOv3微型网络的研究，以提高目标检测速度并管理甜菜田杂草，满足速度和准确性的要求。有人也提出了一种基于MobileNetv2-YOLOv3模型的番茄叶斑早期识别方法，以实现番茄灰斑准确度和实时检测之间的良好平衡。

挑战

草莓口感好，营养价值丰富，如多种维生素和氨基酸。它深受全世界人民的喜爱。预计全球消费量将达到1150万吨。在所有生产国中，中国的产量和消费量最大。然而，这个行业非常劳动密集，尤其是在收获方面，这使得草莓的价格如此之高。草莓成熟后应尽快收获，但问题是，工作量太大，不可能在这么短的时间内完成收获。因此，利用自动化设备收获草莓是非常有意义的。从这个角度来看，减少劳动力确实可以带来显著的经济效益。智能采摘的一个关键技术是实时目标检测。

如何在保证草莓识别准确率的同时提高草莓的识别速度成为了本文工作的重点。实时检测算法在农业中具有重要的研究意义。在单一的农业场景中，对象的多样性远远低于一些公共数据集，如COCO数据集。在场景简单且对象类型较少的情况下，降低网络结构的复杂性如何影响对象检测的准确性和速度？在智能农业机械中，提高检测速度是很有价值的。虽然一些研究人员致力于在移动平台上部署深度神经网络的边缘计算方法，但很少有人致力于CNN结构以提高性能。深层神经网络由数百万个参数和复杂的神经结构组成。哪些参数可以减少，对效率的影响如何？这是构建DNN的一个大问题，因为某些更改可能会导致不良影响。

来自浙江科技大学机械工程与自动化学院和浙江大学生物系统工程与食品科学学院的研究团队发表论文，旨在找到一种改进轻量级深度神经网络性能的方法，并将其部署在嵌入式平台上。目标是找出可以对YOLOv4 tiny的内部结构做些什么，以便在不降低压缩精度的情况下提高速度。

系统设置

如图1所示，无人机用于在草莓地上快速收集数据。共标记了草莓、未成熟秸秆、浆果和花3个类别。在将数据集放入网络之前，需要对数据集进行预处理。在网络结构上，比较了8种网络的检测结果。其中4个是YOLOv3、YOLOv3-tiny、YOLOv4和YOLOv4-tiny，其余是改进的网络结构。通过对PC和Jetson纳米器件的推理，得到了相应的速度。同时，将PTH格式模型转换为TRT序列化格式模型，然后加载到Jetson Nano上，如图1所示。

数据收集和预处理

收集草莓数据集的无人机是DJI幻影4 Pro。由于草莓果实和花朵相对较小，因此选择3m高的图像采集，覆盖3行草莓。在用于目标定位和检测的包围盒标注中，使用不同颜色的矩形边界分别标记成熟草莓、未成熟草莓和花朵3个不同的对象。所有标签都是使用LabelImg软件手动创建的。将正图像分割成480×380像素的小矩形图像，提高了yolo模型的推理速度。

硬件选择

Jetson Nano是一款功能强大的小型计算机，用于边缘计算和机器人等嵌入式AI应用，由NVIDIA（美国NVIDIA公司）于2019年3月推出。凭借Qued核心ARM Cortex-A57 CPU和MAXwell architecture 128核GPU，它可以为汽车导航等人工智能应用带来足够的计算能力。由于NVIDIA为深度神经网络的高效实现提供了丰富的接口，Jetson Nano已成为边缘计算的理想嵌入式平台。它支持NVIDIA的CUDA、cuDNN和TensorRT软件库，以及一系列流行的AI框架和算法，如PyTorch、Caffe、MXNet等。NVIDIA管理的典型电源为4A@5V，满足培训模型的供电要求。Jetson Nano上提供CSI和USB摄像头，以支持计算机视觉任务。总之，Jetson Nano是一个优秀的嵌入式开发工具包，满足模型部署的硬件条件。

神经网络

在本研究中，团队提出了一种新的深层神经网络，称为RTSD网络，该网络基于最新的轻质YOLOv4 tiny，具有简化的层次和改进的结构，用于在田间条件下实时检测草莓。将原有的CSPNet替换为两种采用简化结构和简化参数设计的CSPNet，并结合这两种类型设计了4种新的网络结构。

主干网络结构示意图（A：YOLOv4 –tiny；B、C、D、E：改进的网络结构）：

对4个网络的性能进行了评估。观察到这4个网络的参数数量与模型的检测速度呈负相关。简化结构和减少参数有助于加快运行速度。最后一个被选中并命名为RTSD Net。与YOLOv4-tiny相比，RTSD网络的精度仅降低了0.62%，但速度提高了25FPS，比YOLOv4-tiny提高了25.93%。选择嵌入式系统Jetson Nano作为评估平台，评估RTSD网络的边缘计算性能。原始开放式神经网络交换（ONNX）模型加载到Jetson Nano上，RTSD网络速度为13.1FPS，比YOLOv4 tiny高19.0%。

经TensorRT方法加速后，转换后的模型速度达到25.20fps，是ONNX模型的两倍，比YOLOv4 tiny模型快15%。加速后，RTSD网络的效率足以用于基于计算机视觉的草莓检测和收获。综上所述，所提出的RTSD网络在智能草莓收获机械中具有良好的应用潜力，而重新设计神经网络结构和减少参数以提高深层神经网络的检测率的思想有望在边缘计算中得到很好的应用。

采用TensorRT格式的网络结构变换示意图：

结论：

在现有的四个YOLO网络中，YOLOv4 tiny是用于边缘计算的对象检测的最先进的深度神经网络，因为它与YOLOv3和YOLOv4基本相同，但比两个模型快得多。因此，本文选择了该方法作为本研究的基础，对其进行进一步的改进，以满足草莓实时检测的需要。通过逐步降低网络复杂度，减少了网络参数，提高了检测速度。在4个修正网络中，可以得出结论，模型的计算量与模型的速度呈负相关。计算量越小，模型速度越快。与YOLOv4-tiny相比，RTSD网络的精度仅降低了0.62%。然而，RTSD网络的检测速度大大提高。在PC机上运行时，RTSD网络的速度提高了35FPS，比YOLOv4 tiny提高了25.93%。PyTorch格式模型加载到Jetson Nano上，RTSD网络的速度预计为13.1FPS，比YOLOv4 tiny高19.0%。模型

RTSD网络转换为TensorRT模型，并加载到Jetson Nano上。TensorRT格式模型的速度为25.20fps，是PyTorch模型的两倍，比YOLOv4-tiny模型快15%。结合这两个方面，RTSD网络的精度仅略有下降，但无论设备类型和模型格式如何，速度都有显著提高。基于轻量级神经网络yolov4-tiny提出了RTSD网络，在精度下降较小的情况下提高了速度。这对于边缘计算具有很大的优势，可以实现内场收获机器人的实时控制。

RTSD-Net草莓检测结果示意图

论文标题：

Real-time strawberry detection using deep neural networks on embedded system (rtsd-net): An edge AI application

论文作者：

Yanchao Zhang a,b,*, Jiya Yu a, Yang Chen b,c, Wen Yang a, Wenbo Zhang a, Yong He b,* a School of Machinery Engineering and Automation, Zhejiang Sci-Tech University, Hangzhou, Zhejiang Province 310018, China b College of Biosystem Engineering and Food Science, Zhejiang University, Hangzhou, Zhejiang Province 310058, China c Zhejiang Lab, Hangzhou, Zhejiang Province 310018, China

论文来源：

https://www.sciencedirect.com/science/article/abs/pii/S0168169921006037?via%3Dihub