首页
学习
活动
专区
圈层
工具
发布

【人工智能】Transformers之Pipeline(九):物体检测(object-detection)

2.2 技术原理 物体检测(object-detection)的默认模型为facebook/detr-resnet-50,全称为:DEtection TRansformer(DETR)-resnet-50...ResNet-50:ResNet-50是一种深度残差网络(Residual Network),是ResNet系列中的一种经典模型。...ResNet-50是一种迁移学习模型,迁移学习的核心思想是将源领域的知识迁移到目标领域中,可以采用样本迁移、特征迁移、模型迁移、关系迁移等手段。.../detr-resnet-50") output = detector("http://images.cocodataset.org/val2017/000000039769.jpg") print(output...坐标: ​ 2.5 模型排名 在huggingface上,我们将物体检测(object-detection)模型按下载量从高到低排序,可以发现除了table表格相关的模型,排在第一的就是本文中介绍的detr-resnet

80410
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    【人工智能】Transformers之Pipeline(概述):30w+大模型极简应用

    ​​​​一、引言 pipeline(管道)是huggingface transformers库中一种极简方式使用大模型推理的抽象,将所有大模型分为语音(Audio)、计算机视觉(Computer vision.../detr-resnet-50-panoptic", "fc15262")}}, "type": "multimodal", }, "image-to-text": {.../detr-resnet-50", "2729413")}}, "type": "multimodal", }, "zero-shot-object-detection"...可以登录https://huggingface.co/tasks查看 三、总结 本文为transformers之pipeline专栏的第0篇,后面会以每个task为一篇,共计讲述28+个tasks的用法...,通过28个tasks的pipeline使用学习,可以掌握语音、计算机视觉、自然语言处理、多模态乃至强化学习等30w+个huggingface上的开源大模型。

    1.6K10

    使用PyTorch实现目标检测新范式DETR(基于transformer)| 留言送书

    我们用Transformer 代替了整个复杂的手工物体检测管道,并用ResNet-50匹配了Faster R-CNN,使用一半的计算能力(FLOP)和相同数量的参数在COCO上获得了 42 AP 。...在PyTorch的50行中进行推断。 ? DETR 这是什么 与传统的计算机视觉技术不同,DETR将目标检测作为一个直接的集合预测问题来处理。...DETR的实现和试验非常简单,我们提供了一个[独立Colab笔记本](https://colab.research.google.com/github/facebook research/detr/blob...DETR R50,只需执行以下操作: model = torch.hub.load('facebookresearch/detr', 'detr_resnet50', pretrained=True)...://dl.fbaipublicfiles.com/detr/detr-r50-e632da11.pth --coco_path /path/to/coco 在gist上,我们提供所有DETR检测模型的结果

    4.6K30

    2025年计算机视觉基础任务:从物体检测到关键点定位

    在Huggingface等平台上,各种先进的计算机视觉模型不断涌现,为开发者和企业提供了强大的视觉AI工具。...2.4 Huggingface平台热门物体检测模型 2025年,Huggingface平台上已经涌现出了大量优秀的物体检测模型,这些模型在各种物体检测任务中展现出了优异的性能。...3.4 Huggingface平台热门关键点检测模型 2025年,Huggingface平台上已经涌现出了大量优秀的关键点检测模型,这些模型在各种关键点检测任务中展现出了优异的性能。.../detr-resnet-50", keypoint_detector_model="facebook/kpt2-101-multiperson"):...行动 关注计算机视觉基础任务的最新进展,探索在自己领域的应用场景,尝试使用Huggingface平台上的相关模型 不要错过2025年AI技术的风口 参考 来源 描述 Huggingface Model

    42610

    MaskFormer:将语义分割和实例分割作为同一任务进行训练

    并且它们可能无法充分处理相同类的对象重叠的情况,从而导致分类不一致。 本文中将介绍Facebook AI Research在21年发布的一种超越这些限制的实例分割方法MaskFormer。...对于边界清晰、定义明确的对象,逐像素分类可以非常准确。但是当感兴趣的对象具有复杂的形状,相互重叠或位于杂乱的背景中时,它可能会遇到困难,这可以解释为这些模型倾向于首先根据其空间边界来查看对象。...而DETR为这类问题提供了一个优雅的解决方案。DETR不是为每辆车生成掩码,而是预测一组固定的边界框和相关的类概率。这种“集合预测”方法允许DETR以惊人的效率处理涉及重叠对象的复杂场景。...这个主干可以是任何流行的CNN(卷积神经网络)架构,比如ResNet,它处理图像并提取一组特征,用F表示。...而maskformer的“编码器”是骨干网络(用于maskFormer的Resnet50),它处理输入图像并生成一组特征映射。

    90350

    最快ViT | FaceBook提出LeViT,0.077ms的单图处理速度却拥有ResNet50的精度(文末附论文与源码)

    作者单位:Facebook 1 简介 本文的工作利用了基于注意力体系结构中的最新发现,该体系结构在高度并行处理硬件上具有竞争力。...ResNet系列比VGG更高效的设计原则之一是在其前2个阶段使用相对较小的计算预算应用strong resolution reductions。...当激活映射到达ResNet的第3阶段时,其分辨率已经缩小到足以将卷积应用于小的激活映射,从而降低了计算成本。...作为比较,ResNet-18的前10层使用1042 MFLOPs执行相同的dimensionality reduction。 为什么在transformer组的输入上应用一个小卷积可以提高精度?...2.3 LeViT家族 3 实验 3.1 速度对比 ResNet50的精度,但是是起飞的速度。

    1.8K20

    2025年计算机视觉三驾马车:物体检测、关键点检测与掩码生成技术全解析

    YOLO、SSD 单阶段实时检测算法的兴起 2018 HRNet、Hourglass 高精度人体姿态估计算法 2020 DETR Transformer架构在物体检测中的应用 2023 SAM、DINOv2...,主要包括以下几个核心组件: 组件 功能 技术实现 骨干网络 提取图像特征 Vision Transformer、ResNet、EfficientNet等 特征金字塔网络 融合不同尺度的特征 FPN、PANet...Huggingface平台热门模型对比 3.1 模型概览 2025年,Huggingface平台上已经涌现出了大量优秀的计算机视觉模型,这些模型在各种视觉任务中展现出了优异的性能: 模型名称 开发者 主要功能...应用场景 DETRv4 Facebook AI 基于Transformer的物体检测 通用物体检测、密集场景检测 ViTDet Google 基于Vision Transformer的检测 高精度物体检测...要点 描述 行动 价值 三大视觉技术的协同应用,使计算机视觉系统在复杂场景下的准确率提升至95%以上 行动 关注计算机视觉技术的最新进展,探索在自己领域的应用场景,尝试使用Huggingface平台上的相关模型

    55510

    无人机拍叶片→AI找缺陷:CEA-DETR改进RT-DETR做风电叶片表面缺陷检测,mAP50达89.4%

    在自建的 4468 张风电叶片缺陷数据集上,CEA-DETR 的 mAP50 达到 89.4%,比基线提+3.1%;mAP50:95 达到 68.9%(+6.5%);同时参数量减少20%(19.9MB→...RT-DETR 本身是一个高效的实时检测Transformer,但直接应用于风电叶片场景时,其 mAP50 为 86.3%,mAP50:95 为 62.4%,在多尺度特征提取和边缘细节保留上存在改进空间...相比 ResNet18 基线,mAP50 提升 +1.9%,同时参数量从 19.9MB 降至 15.8MB。...相比参数量最大的 ResNet50(43.1MB),CSME 的 mAP50 仍高出 +1.3%,但参数量仅为其 36.7%。...这主要得益于 CSME 用轻量化设计替换了 ResNet18,以及 ASSA 中稀疏注意力分支减少了编码器的计算开销。

    11510

    RT-DETR优化改进:轻量级Backbone改进 | 支持Paddle轻量级 rtdetr-r18、rtdetr-r34、rtdetr-r50、rtdet

    本文独家改进: 支持百度飞浆resnet各个版本, rtdetr-r18、rtdetr-r34、rtdetr-r50、rtdetr-r101等 layers parameters gradients...RT-DETR-R50实现了53.1%的AP和108FPS,RT-DETR-R101实现了54.3%的AP和74FPS,在精度上超过了全部使用相同骨干网络的DETR检测器。 ​...实验结果: DETR类在COCO上常用的尺度都是800x1333,以往都是以Res50 backbone刷上45 mAP甚至50 mAP为目标,而RT-DETR在采用了YOLO风格的640x640尺度情况下...,也不需要熬时长训几百个epoch 就能轻松突破50mAP,精度也远高于所有DETR类模型。...1.1 resnet各个版本介绍 YOLOv8版本目前只支持rtdetr-l、rtdetr-x两个版本 ​ Paddle官方支持 rtdetr-r18、rtdetr-r34、rtdetr-r50、rtdetr-r101

    8.9K20

    【他山之石】SAM再进化|伦敦大学开源 Surgical-DeSAM,无需人工即可完成手术自动化

    Detr Surgical-DeSAM 如图1所示,作者提出了_Surgical-DeSAM_来自动化边界框提示,通过设计(i)Swin-DETR:将DETR中的ResNet50替换为Swin-transformer...Ablation Study 为了研究Swin-transformer [5] 主干网相较于ResNet50 [4] 的优势,作者进行了一项消融研究,重点关注单独的检测任务以及检测提示和分割任务。...在表2中,前两行展示了DETR-SwinB(使用Swin-transformer的DETR)与DETR-R50(使用ResNet50的DETR)相比在检测性能上的优势。...相反,接下来的几行比较了Surgical-DeSAM分别使用ResNet50和Swin-transformer主干网的结果。...为了获得更好的特征提取,作者用Swin-transformer替换了ResNet50进行器械检测。

    76800
    领券