专栏首页机器之心英伟达深度学习推理引擎TensorRT,现在开源了

英伟达深度学习推理引擎TensorRT,现在开源了

机器之心报道

参与:李亚洲、李泽南、思

英伟达的深度学习推理引擎TensorRT是连接神经网络框架与GPU之间的桥梁,它支持所有种类的神经网络框架,近期也实现了容器化,目前的TensorRT是5.1版。6月17日,英伟达宣布了TensorRT的开源。

项目链接:https://github.com/NVIDIA/TensorRT

本次开源的内容是英伟达 TensorRT 的一部分,其中包括 TensorRT 的插件与一些解析器(Caffe 和 ONNX),以及演示 TensorRT 平台的使用和功能的示例应用程序。相信未来更多的内容也会持续开源。

TensorRT 是一个高性能深度学习推理平台,能够为在英伟达 GPU 上运行的语音、视频等 APP 提供更低地延迟、更高的吞吐量。TensorRT 包含输入模型的解析器、支持全新 ops 的插件以及在利用优化进行推理之前的层。

今日,英伟达宣布开源 TensorRT 中的解析器和插件部分,以便于深度学习社区能够做自定义、扩展组件,从而更好的利用 TensorRT 进行 app 优化。

TensorRT 的 GitHub 项目目前已经开放了,其包括贡献指南,它会告诉我们如何参与这一优秀工具的完善。英伟达表示他们将在新版本发布时,合并且发布最新的代码。

例如你可以贡献:

  • 针对 ONNX 格式和 Caffe 扩展解析器,用全新 ops 把模型输入到 TensorRT
  • 插件程序让你能够在 TensorRT 中运行自定义 ops。使用开源的插件作为参考,或者建立全新的插件从而支持新的层(layers)
  • 示例只是提供了一个起点,用户也可以贡献全新工作流和管道的示例。

英伟达的目标在于为社区提供更多的特性,并同时更方便地利于开发者对社区做出贡献。英伟达开发者博客介绍了如何开始使用 TensorRT,读者们也能从 TensorRT 的产品页面或这次新构建的 GitHub 项目获取它。

官方教程:如何使用 TensorRT 加速深度学习推断

地址:https://devblogs.nvidia.com/speed-up-inference-tensorrt/

最后,GitHub 项目中对于如何安装 TensorRT 开源软件及构建环境都有非常详细的描述,感兴趣的读者快来试试吧。

参考内容:

https://news.developer.nvidia.com/nvidia-open-sources-parsers-and-plugins-in-tensorrt/ https://github.com/NVIDIA/TensorRT

本文为机器之心报道,转载请联系本公众号获得授权。

✄------------------------------------------------

加入机器之心(全职记者 / 实习生):hr@jiqizhixin.com

投稿或寻求报道:content@jiqizhixin.com

广告 & 商务合作:bd@jiqizhixin.com

本文分享自微信公众号 - 机器之心(almosthuman2014)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-06-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 能耗换取灵活性,今天的 FPGA 走错路了?

    定义 1:FPGA 是一堆晶体管,你可以把它们连接(wire up)起来做出任何你想要的电路。它就像一个纳米级面包板。使用 FPGA 就像芯片流片,但是你只需要...

    机器之心
  • 政府AI合同遭抗议,微软终低头:号召全面限制人脸识别软件

    在一篇关于人脸识别的潜在用途和滥用的博客文章中,微软总裁 Bradford L. Smith 将该技术与受到全面监管的药品和汽车等产品进行了比较,并敦促美国国会...

    机器之心
  • 一家「仿生」上瘾的机器人公司,比波士顿动力大67岁:Festo最新仿生雨燕问世

    虽然 100 多年前人类就已经借助飞机飞上了天空,但这种硬邦邦的飞行器总让人觉得不够灵活。因此,在飞机出现之后的很长一段时间里,人们一直致力于做出一款真正像鸟一...

    机器之心
  • 深度学习算法优化系列十七 | TensorRT介绍,安装及如何使用?

    由于前期OpenVINO的分享已经基本做完了,笔者也可以成功的在CPU和Intel神经棒上完整的部署一些工作了,因此开始来学习TensorRT啦。先声明一下我使...

    BBuf
  • python itchat+机器人web api实现个人微信机器人

    程序员同行者
  • 【POI框架实战】——POI设置Excel单元格格式

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/huyuyang6688/article/...

    DannyHoo
  • golang的struct和interface

    struct 用来自定义复杂数据结构,可以包含多个字段(属性),可以嵌套;go中的struct类型理解为类,可以定义方法,和函数定义有些许区别;struct类型...

    黑光技术
  • 详解苏宁门店的人脸识别技术

    一个成熟的人脸识别系统通常由人脸检测、人脸最优照片选取、人脸对齐、特征提取、特征比对几个模块组成。

    CSDN技术头条
  • 《你不知道的 WeakMap》番外篇

    原文主要复习了“JavaScript垃圾回收机制”,“Map/WeakMap区别”和“WeakMap 属性和方法”。这很好弥补被我忽视的知识点。 另外,我们可以...

    pingan8787
  • Ceph调试开发环境搭建

    Lucien168

扫码关注云+社区

领取腾讯云代金券