用于农业机器人和自动化的边缘人工智能（案例分享）

这是美国NVIDIA的讲座，我们一起看看讲了什么、

NVIDIA到底是一家什么样的公司？

（昨天Lady的群里，还有人惊呼，他发现NVIDIA从来不说自己是一家做芯片制造的公司，确实如此哟，早年，NVIDIA说自己是一家软件公司，现在说自己是一家AI计算平台公司）

针对AI计算平台，包括了NVIDIA DGX系列——

还有嵌入式Jetson系列

一个案例：

Oxford Nanopore Technologies 和 NVIDIA 今年正在合作，将 NVIDIA DGX Station A100 集成到 Oxford Nanopore 的超高通量测序系统 PromethION 中。将 NVIDIA A100 Tensor Core GPU 技术与 PromethION 设备合作旨在提供世界上最强大的测序仪，支持大规模实时分析，还可以分析任何长度的 DNA/RNA 片段。同时基于NVIDIA Jetson计算模组，推出实时快速便携式排序系统MinION。

使用加速计算和人工智能来快速准确地对 DNA 或 RNA 进行测序，支持越来越多的Nanopore测序数据向各种高通量用户提供。Oxford Nanopore 的技术越来越多地被科学研究人员用来分析数千个基因组，以更好地了解遗传多样性并发现新的变异。测序也越来越多地被用于在医疗保健环境、食品安全或环境分析中产生快速洞察力。

全球利用NVIDIA Jetson作为AI边缘计算驱动力的厂家：

NVIDIA Jetson家族：

NVIDIA Jetson是软件定义的AI平台：

（可参考此文：NVIDIA Jetson系列到底是怎样的产品？）

边缘AI的挑战：

1. 不断增长的神经网络的多样性和复杂性
2. 全栈加速
3. 大规模的部署和管理

创造AI模型的挑战：

1.  需要大量数据来准确训练开源模型
2. 缺乏来自开源模型Zoo 的高性能模型
3. 需要数据科学和深度学习专业知识才能使模型高效

引入NVIDIA TAO工具箱

• 简化企业 AI 应用程序的创建
• 跨各种领域的预训练模型
• AI 开发中的 10 倍 加速
• 在保护数据隐私的同时提高模型性能
• 使用Fleet  Command 从数据中心无缝部署到边缘

(可参考：AI开发人员选择NVIDIA TAO工具的5大理由）

NVIDIA RIVA

NVIDIA Riva 框架使企业能够根据自身所处行业、产品和客户的特点，使用视频和语音数据构建最为先进的定制化对话式AI服务。

随着居家办公、远程医疗和远程学习的快速兴起，对于能够保持人们工作效率和联系的客户支持、实时转录、视频通话摘要等定制化语言型AI服务的需求也随之激增。

Riva SDK 包括预先训练的对话 AI 模型、NVIDIA TAO 工具包以及针对语音、视觉和自然语言处理 (NLP) 任务优化的端到端技能。融合视觉、音频和其他传感器输入，同时在虚拟助理、多用户分类和呼叫中心助理等应用中提供多用户、多上下文对话等功能。基于 Riva 的应用程序已经过优化，以最大限度地提高云、数据中心和边缘 NVIDIA EGX™ 平台的性能。

NVIDIA Jetson软件包含了哪些？

一个自主检测系统案例：

Cognitive Pilot

Cognitive Pilot是俄罗斯顶级银行——俄罗斯联邦储蓄银行(Sberbank)与Cognitive Technologies Group成立的合资公司。公司开发用于农业和铁路机械领域的自动驾驶解决方案。

北半球的秋天不仅意味着南瓜味食品和饮料的回归；它还为农业机器人公司提供了展示技术进步的机会。Cognitive Pilot 表示，其 Cognitive Agro Pilot 系统已在俄罗斯 35 个地区收获了超过 720,000 吨作物。

Cognitive Agro Pilot 是一种基于人工智能的驱动系统，用于谷物联合收割机、拖拉机和喷雾机等农业设备，是一种智能农业机器人助手，通过利用人工智能的力量升级现有机械，使作物收获更快、更高效。该系统可以看到和了解它的环境，使其能够收获不同类型的作物，安全地避开障碍物并绘制需要收获的区域

HARVEST CROO

作为农业机器人开发商，HARVEST CROO旨在通过自动化彻底改变农业。该公司的机器人技术包括草莓采摘机和其他可用于收获过程的自动化设备，使农业行业能够节省时间和金钱并提高产量。

其特点：

1.全自动收割，日夜运行；

2.16 个独立工作的机器人在收割机下工作；

3. 检查每个浆果是否成熟并准备采摘；

4. 神经网络分析每个浆果的 360 度图像，并在 15 毫秒内将做成熟度分级。

（参考类似案例：利用NVIDIA Jetson 打造AI农业机器人）

ARUGGA

世界上有近 50 万英亩的温室番茄作物，面积约为曼哈顿的 35 倍。换句话说，很多西红柿。种植它们需要的不仅仅是土壤、水和阳光。这些植物是自花授粉的，但它们需要一点帮助才能让花粉落到花的雌性器官上并触发这一过程。

通常，这是大黄蜂的工作，它们通过跳动的飞行肌肉产生的振动使花粉松散。然而，以色列初创公司Arugga，可以让这种情况得到。该公司构建了人工智能机器人，这些机器人使用计算机视觉来确定哪些花可以进行授粉，然后向它们喷射空气脉冲以模仿大黄蜂的动作并开始授粉。

机器人的性能与大黄蜂不相上下，在某些情况下可提高多达 5%，并有可能执行其他任务并在此过程中收集和分析数据。

BEEWISE

蜜蜂正受到瓦罗寄生虫的围攻，它们摧毁了它们的蜂群。拯救世界上的蜜蜂数量不仅仅是蜂蜜。由于蜜蜂稀缺，现在各种农民都需要租用蜜蜂来为自己的作物授粉。

Beewise 是一家位于以色列的初创公司，它开发了具有计算机视觉功能的机器人蜂箱，具有侵扰识别和处理能力。Beewise 在成千上万的蜜蜂图像上训练了其神经网络。它的卷积神经网络正在进行有关图像分类的无监督学习，以识别正在部署的机器人蜂巢中携带瓦罗寄生虫的蜜蜂。一旦图像分类识别出已被感染的蜜蜂，循环神经网络将会确定最佳处理方案。这可能包括由机器人自动施用杀虫剂杀死感染蜜蜂，或将感染蜜蜂蜂巢架进行隔离。

Beewise 开发了装备多个摄像头的机器人蜂巢，使以上构想成为可能。这些原型蜂巢的图像被输入到NVIDIA Jetson 的紧凑型超级计算机中，以对其深度学习模型进行实时处理。

PLAINSIGHT 

总部位于旧金山的初创公司和Plainsight正在帮助肉类加工业改善其运营——从农场到餐桌。通过将 Plainsight 的视觉 AI 平台和 NVIDIA GPU 配对来开发视频分析应用程序，该公司的系统可以执行精确的牲畜计数和健康监测。详情请见：Plainsight 如何利用 NVIDIA AGX Xavier 数牛牛

GREENEYE

在特拉维夫创立的Greeneye公司，正在为美国市场开发用于精确喷洒农作物的人工智能，以帮助减少除草剂的使用。 

在NVIDIA Jetson边缘 AI 平台的驱动下，Greeneye 的系统可以在几毫秒内检测并精确喷出杂草，将除草剂的使用量减少多达 90%，并有助于减少水和土壤污染以及成本。Greeneye 专有的双喷雾器技术使农民能够将除草剂精确定位在个别杂草上，并根据需要施用残留除草剂。这种用于杂草识别和处理的毫秒级推理是通过利用NVIDIA JetPack SDK 中的TensorRT优化实现的。

BLUERIVER

随着耐除草剂杂草的兴起，有效的解决方案越来越少。世界各地的农民都需要一种控制杂草的新方法。BlueRiver就是这样一家致力于建造下一代智能农业设备的公司！他们的公司愿景就是希望农民使用这些智能工具来控制杂草并降低成本，从而促进农业的可持续发展。

BlueRiver的除草机器人集成了摄像头，计算机视觉，机器学习和机器人技术，以制造出智能喷雾器，该喷雾器可以在田间行驶，并可以快速瞄准并喷洒杂草，使农作物完好无损。详情请见：NVIDIA AGX Xavier赋能智慧农业

Bilberry

2016 年，巴黎国立高等艺术与工艺学院的学生创立了Bilberry。该公司今天开发了由NVIDIA Jetson 边缘人工智能平台提供支持的杂草识别，用于在玉米和小麦农场精确施用除草剂，将除草剂的使用量减少多达 92%。

Bilberry 在可以跨越美国足球场（约 160 英尺）的拖拉机吊臂上部署其 NVIDIA Jetson 驱动的杂草识别。它在 16 个 Jetson TX2 模块上运行 16 个摄像头，可以以 17 帧/秒的速度分析杂草，以在每小时 15 英里的速度行驶时分秒地喷出除草剂。

为了实现这种快速识别杂草的推理性能，Bilberry利用NVIDIA JetPack SDK对其算法进行TensorRT优化。Bilberry 利用了所谓的 INT8 权重量化，它可以更有效地应用深度学习模型，特别有助于内存和功率限制规则的紧凑型嵌入式系统。

DT42

你知道石虎是什么动物吗？他是一种台湾原生种野生猫科动物，体型就像常见的家猫大小，毛皮上有着美丽的斑纹图案，台湾目前总数量只剩下大约四百到六百只，为了保护石虎，台湾政府、动物保护组织、研究人员及人工智慧专家共同合作，致力于拯救它们。台湾深度学习新创公司DT42，以及一支由国立中兴大学机械工程学系助理教授蒋雅郁率领的研究团队，携手进行一项由台湾交通部公路总局发起的人工智慧研究案，协助在石虎靠近道路时进行侦测，让石虎不要靠近道路，远离伤害，减少路杀机会。

利用Amazon Web Services 开发出一个有着GPU 助力的易用云端平台，帮助中兴大学的研究人员训练能够辨识石虎的人工智慧模型。这个部署在NVIDIA Jetson TX2 边缘装置上的影像辨识模型，可以侦测野生动物出没热点里的石虎。其中一项装置发现有石虎太靠近道路时，便会利用机械发出警告声响，让石虎远离过往车辆。道路上闪烁的灯光也会吸引石虎的注意力，让它们不会走上道路。

NVIDIA AI技术中心

讲座Q&A

问：哪种 Jetson 硬件适合安装在无人机上以检测地面物体？请提供示例和资源

答： 硬件将取决于有效载荷能力和与无人机设计相关的其他因素。对于使用 SSD/YOLO 网络的简单物体检测，Nano 4Gb 应该能够以近乎实时的能力工作。根据其他系统的复杂性，可能要考虑 TX2 或 Jetson Xavier NX。这是一个链接：

https://developer.nvidia.com/blog/realtime-object-detection-in-10-lines-of-python-on-jetson-nano/ 

问：您采取了哪些预防措施来确保对抗性后门不会插入到您的公开可用模型中？ 

答：我们的模型由 Nvidia 监控并为预训练模型加密发布，这提供了一些安全性。如果有问题，客户倾向于使用他们自己的（源）模型并与他们合作。在这里也可以利用我们的工具和工作流程来实现最佳结果

问：您对有机农业、机器人技术和人工智能有什么看法或经验？ 

答:特别是对于有机农业，您希望管理和控制整个过程中使用的物质。机器人和人工智能系统是理想的选择。它们不仅可以用于优化工作流程，还可以自动跟踪和监控信息。数据可以集中存储并用于随着时间的推移验证质量和结果，比手动耕作方法容易得多.

更多NVIDIA讲座：

AI开发人员选择NVIDIA TAO工具的5大理由

如何在NVIDIA Jetson上利用Triton简化部署并最大化推理性能？

使用VPI 1.1加速计算机视觉和图像处理

打开NVIDIA Jetpack 4.6 隐藏功能