提升小水果检测效果：基于块技术的零样本RT-DETR与YOLO-WORLD

本文主要分成两个部分。首先，我们将深入研究RT-DETR和YOLO-WORLD模型。然后，我们将继续讨论基于补丁的技术，如SAHI和其他类似方法。最后，我将总结一下检测效果。

现在我们先来谈谈 RT-DETR 以及它为什么如此酷！

RT-DETR：实时端到端物体检测器

lyuwenyu/RT-DETR：[CVPR 2024] 官方 RT-DETR (RTDETR paddle pytorch)，实时检测变压器，DETR 在实时物体检测上击败 YOLO。🔥 🔥 🔥

https://github.com/lyuwenyu/RT-DETR?tab=readme-ov-file

创建 RT-DETR 的研究人员希望开发一种超快速的物体检测系统，能够非常准确地识别图像中的物体。他们研究了两种主要方法：

1. DETR模型——这些模型非常酷，因为它们可以检测物体而不需要非最大抑制等一系列额外步骤。但问题是它们的计算成本很高，因此运行速度很慢。

2. YOLO模型——以速度超快而闻名，但它们并不总是能获得最好的准确度。

因此，RT-DETR 团队想出了一些巧妙的想法，制作了一个基于 DETR 的模型，可以在速度和准确性上击败 YOLO ：

• 他们通过分离不同尺度的特征处理，使模型的编码器部分更加高效。这让它运行得更快。
• 他们还找到了一种巧妙的方法来选择输入到模型解码器部分的初始对象猜测。这提高了准确率。
• 另一个巧妙之处在于 RT-DETR 让您通过更改一个设置轻松调整速度，而无需重新训练整个模型。

YOLO-World：零样本物体检测

AILab-CVC/YOLO-World：[CVPR 2024] 实时开放词汇对象检测

https://github.com/AILab-CVC/YOLO-World

测试图像

无人机拍摄龙眼试验图像

使用YOLO-WORLD预测（不包括Patch-Based）

模型：yolov8x-worldv2.pt

预测结果跟原图一样：

使用YOLO-WORLD预测（使用SAHI）

模型：yolov8x-worldv2.pt（相同模型）

预测结果有改善，但还是很糟糕：

预测使用 RTDETR 和 RTDETR Patch-Based

基本RTDETR推理

RTDETR Patch-Based的推理(效果最佳)