基于深度学习分析遮挡对3D点云估算苹果果实大小的影响

近日，西班牙学者Jordi Gen´e-Mola等在Comput. Electron. Agric.期刊上发表了题为“In-field apple size estimation using photogrammetry-derived 3D point clouds: Comparison of 4 different methods considering fruit occlusions“的文章，开发了一种可在田间自动估计苹果大小的新方法，基于深度学习使用运动结构(SfM)和多视角立体(MVS)生成点云进行苹果果实大小的估算，最大限度地减少遮挡带来的阴影误差，为田间果情监测提供了重要信息。

doi : 10.1016/j.compag.2021.106343

关键词：果实检测、果实大小、果实阴影、运动结构、多视角立体图、农用机器人

01

研究亮点

评估和比较了4种估计果实大小的算法。

提出了一种降低苹果遮挡面积的大小估算方法。

可识别和区分处于封闭环境的苹果果实。

汇总了一个使用运动结构(SfM)估计苹果大小的数据集。

图1：进行测量的富士苹果园示意图

02

实验室条件(Lab2020)测量的25组苹果，相机放置在相对于苹果约45厘米的位置，并朝向苹果中心，此时获得的结果不会受到扫描条件的影响。

图2：实验室苹果图像采集流程示意图

03

检测方法的最后一步涉及将图像检测投影到 3D 点云上，下图说明了估计苹果果实大小所遵循的各个程序，对各检测过程生成的苹果3D模型进行分析以估算出果实样品的大小。

图3：估计苹果果实大小所遵循的程序

04

基于R²、MAE、MAPE和RMSE评估了不同遮挡情况下对自动测量精度的影响，表明遮挡对结果影响较大。

图4: 测量所有苹果样品(615 个苹果)获得的线性相关性分布

图5: 不同能见度的地面实况（GT）测定果实直径的结果分布

05

结果表明在计算效率方面，最有效的方法是LS(最小二乘法)，它在 0.45 秒(每个苹果 0.0007 秒)内处理了所有果园数据集(615 个苹果)。与其他3D扫描系统相比，SfM-MVS技术可以生成高精度的点云分析。

图6：田间条件所有测试方法测定三个苹果样品的结果

图7：MSAC对野外采集的不同苹果果实样品的分析结果

此研究基于深度学习使用SfM-MVS对苹果图像进行3D建模，提出了一种可在田间自动估计果实大小的新方法，每个果实平均0.004秒可进行大小估算，结果表明MSAC是最准确的方法(能见度水平V>40%时，MAE=3.7、R²=0.91)，为田间果情监测提供了重要信息。