专栏首页大数据智能实战基于openai_clip在零样本图像分类识别测试
原创

基于openai_clip在零样本图像分类识别测试

openai clip中自带了零样本图像分类识别,其官网介绍如下所示:

Zero-Shot Prediction

The code below performs zero-shot prediction using CLIP, as shown in Appendix B in the paper. This example takes an image from the CIFAR-100 dataset, and predicts the most likely labels among the 100 textual labels from the dataset.

import os
import clip
import torch
from torchvision.datasets import CIFAR100

# Load the model
device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load('ViT-B/32', device)

# Download the dataset
cifar100 = CIFAR100(root=os.path.expanduser("~/.cache"), download=True, train=False)

# Prepare the inputs
image, class_id = cifar100[3637]
image_input = preprocess(image).unsqueeze(0).to(device)
text_inputs = torch.cat([clip.tokenize(f"a photo of a {c}") for c in cifar100.classes]).to(device)

# Calculate features
with torch.no_grad():
    image_features = model.encode_image(image_input)
    text_features = model.encode_text(text_inputs)

# Pick the top 5 most similar labels for the image
image_features /= image_features.norm(dim=-1, keepdim=True)
text_features /= text_features.norm(dim=-1, keepdim=True)
similarity = (100.0 * image_features @ text_features.T).softmax(dim=-1)
values, indices = similarity[0].topk(5)

# Print the result
print("\nTop predictions:\n")
for value, index in zip(values, indices):
    print(f"{cifar100.classes[index]:>16s}: {100 * value.item():.2f}%")

因此,进行测试,其测试结果如下面几张图所示:

上面测试均是基于cifar100的,为了测试更大的图片,其测试结果如下所示:

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • AI角 | AI challenger零样本学习算法大赛报名开启,数据集开放

    大数据文摘
  • OpenAI推出CLIP:连接文本与图像,Cover所有视觉分类任务

    2020年,通用模型产生了经济价值,特别是GPT-3,它的出现证明了大型语言模型具有惊人的语言能力,并且在执行其他任务方面也毫不逊色。

    AI科技评论
  • AI的下一个台阶——识别未知分类(ZSL方法)

    摘要: 目前AI在图片分类方向已经做得非常优秀,有的甚至超过人类。但是,这仅仅限于模型经过已知样本的学习。令模型像人一样具有推理能力,通过已知样本可以对未知分类...

    代码医生工作室
  • 【CVPR 2018】牛津大学等联合提出通过让神经网络学会比较实现少样本学习

    【论文导读】 深度学习的爆炸式发展得益于海量数据+强大计算力+算法三个部分的巨大进展,我们通常需要大量的数据去驱动模型的训练,使其获得很好的效果。但是在很多领...

    张俊怡
  • 上海交大提出零样本语义分割:像素级别特征生成|已开源

    本文介绍的论文是刚被ACM MM 2020接收的一篇零样本语义分割论文《Context-aware Feature Generation for Zero-sh...

    AI科技评论
  • CVPR 19系列1 | 基于深度树学习的Zero-shot人脸检测识别(文末论文)

    【导读】今天我们主要讲解零次学习及深度树学习用于人脸检测识别。今天主要会讲解人脸检测的13种欺骗攻击中的ZSFA(Zero-Shot Face Anti-spo...

    计算机视觉研究院
  • 学界 | 旷视科技发布最大商品识别数据集,推动新零售自动收银场景落地

    近期,旷视科技南京研究院发布学术界内目前最大的商品识别数据集——RPC,其图像数量和类别数量皆是该领域之最。同时,该数据集针对新零售场景定义了一个新问题,即视觉...

    AI科技评论
  • CVPR 19系列 | 基于深度树学习的Zero-shot人脸检测识别(文末论文)

    【导读】今天我们主要讲解零次学习及深度树学习用于人脸检测识别。今天主要会讲解人脸检测的13种欺骗攻击中的ZSFA(Zero-Shot Face Anti-spo...

    计算机视觉研究院
  • 学界 | CVPR 2018论文解读:让神经网络学习比较来实现少样本学习

    方法非常简单通用,但效果很不错,在少样本学习及零样本学习的几个基准数据集上都取得了相当好的结果。

    AI科技评论
  • 胶囊网络升级新版本,推特2000+赞,图灵奖得主Hinton都说好

    图灵奖得主Geoffrey Hinton在2017年提出了这种全新的深度学习方法,以期挑战CNN“天命之子”的地位。

    量子位
  • CVPR2021佳作 | One-Shot都嫌多,Zero-Shot实例样本分割

    实例分割(Instance Segmentation)是视觉经典四个任务中相对最难的一个,它既具备语义分割(Semantic Segmentation)的特点,...

    计算机视觉研究院
  • 汉化视频 | Yann LeCun亲自上镜,三个视频解读人工智能

    大数据文摘
  • AAAI 2020 | 自动化所:基于对抗视觉特征残差的零样本学习方法

    本文对中科院自动化所胡占义团队完成,被AAAI-20录用的论文《Zero-Shot Learning from Adversarial FeatureResid...

    AI科技评论
  • 大会 | 智能感知与计算研究中心11篇论文被CVPR接收

    AI 科技评论按:本文作者郭瑞娥,首发于中科院自动化所「智能感知与计算研究中心」微信公众号,AI 科技评论获授权转载。 CVPR 是计算机视觉、模式识别和人工智...

    AI科技评论
  • 深度学习中的图像分割:方法和应用

    基于人工智能和深度学习方法的现代计算机视觉技术在过去10年里取得了显著进展。如今,它被用于图像分类、人脸识别、图像中物体的识别、视频分析和分类以及机器人和自动驾...

    OpenCV学堂
  • CVPR 2018 | 中国科学院大学Oral论文:使用鉴别性特征实现零样本识别

    选自arXiv 机器之心编译 参与:Panda 在将于今年六月举办的 CVPR 2018 会议上,中国科学院大学、英国邓迪大学和中国科学院脑科学与智能技术卓越创...

    机器之心
  • 探索新零售时代背后的技术变革

    随着线下场景布局的不断发展,以及线上技术的持续推进,一个真正属于新零售的时代已经来临。

    个推君
  • 迁移学习之零次学习最新研究综述 | 前沿

    最近看了一段时间零次学习系列的文章,这里介绍一些代表性的论文,算是对这段时间学习的一个总结,前方公式高能,有点长,为了阅读顺畅我会尽量减少一些公式并且尽量解释这...

    磐创AI
  • 获奖无数的深度残差学习,清华学霸的又一次No.1 | CVPR2016 最佳论文

    图像识别的深度残差学习————联合编译:李尊,陈圳、章敏 摘要 在现有基础下,想要进一步训练更深层次的神经网络是非常困难的。我们提出了一种减轻网络训练负担的残差...

    AI科技评论

扫码关注云+社区

领取腾讯云代金券