首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >英伟达开源数据增强和数据解码库,解决计算机视觉性能瓶颈

英伟达开源数据增强和数据解码库,解决计算机视觉性能瓶颈

作者头像
朱晓霞
发布2018-07-23 10:31:34
9510
发布2018-07-23 10:31:34
举报

来源:NVIDIA

编辑:肖琴

【新智元导读】在CVPR 2018大会上,英伟达开源了数据增强库DALI和数据解码库nvJPEG。

在CVPR 2018大会上,英伟达开源了数据增强和数据解码的两个新的库:

  • NVIDIA DALI:一个GPU加速的数据增强和图像加载库,用于优化深度学习框架的数据pipeline
  • NVIDIA nvJPEG:一个高性能的GPU加速的图像解码库

由深度学习驱动的计算机视觉应用程序包括复杂的、多阶段的预处理数据pipeline,包括计算密集型的步骤,例如从磁盘加载和提取数据、解码、裁剪和调整大小、颜色和空间变换以及格式转换。

通过使用GPU加速数据增强,NVIDIA DALI解决了当今计算机视觉深度学习应用程序中的性能瓶颈问题,这些应用程序包括复杂的多阶段数据增强步骤。借助DALI,深度学习研究人员可以通过MXNet、TensorFlow和PyTorch在AWS P3 8 GPU实例或Volta GPU的DGX-1系统上提高图像分类模型(比如ResNet-50)的训练性能。由于可以跨框架实现高性能的数据加载和增强,框架用户将能够减少代码重复。

DALI依赖于新的NVIDIA nvJPEG库进行高性能的GPU加速解码。

DALI的优势包括:

  • 能与MxNet,TensorFlow和PyTorch的框架直接集成
  • 具有支持多种数据格式(如JPEG,原始格式,LMDB,RecordIO和TFRecord)的便携式训练工作流
  • 具有可配置图形和自定义操作符的自定义数据pipeline
  • 使用nvJPEG进行高性能的单图像解码和批量JPEG解码

nvJPEG是一个用于JPEG解码的高性能GPU加速库。nvJPEG支持同时使用CPU和GPU对单个图像和批量图像进行解码、颜色空间转换、多相位解码,以及混合解码。与只使用CPU解码相比,使用nvJPEG进行解码的应用程序具有更高的吞吐量和更低的延迟。

nvJPEG为计算机视觉应用中常用的JPEG格式提供低延迟解码器,如图像分类、物体检测和图像分割等应用。对于深度学习训练应用,nvJPEG可以加速数据加载和预处理,如平移、缩小,放大,翻转等。对于需要低延迟深度学习推理的应用,nvJPEG可用于实时地进行JPEG解码和调整大小。

nvJPEG的优势包括:

  • 使用CPU和GPU进行混合解码
  • 可以进行单个图像解码和批量图像解码
  • 色彩空间可以转换为RGB,BGR,RGBI,BGRI和YUV
  • 单相位解码和多相位解码

DALI已经开源,可以从GitHub获取:

https://github.com/NVIDIA/dali

nvJPEG预发行版也已经可以免费下载,用于收集反馈和测试,今年晚些时候会作为CUDA工具包的一部分提供。

https://developer.nvidia.com/nvjpeg

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-06-27,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 目标检测和深度学习 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档