前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >确认过的眼神:这是一份NVIDIA TensorRT 4.0的实战教程

确认过的眼神:这是一份NVIDIA TensorRT 4.0的实战教程

作者头像
GPUS Lady
发布2018-08-17 14:39:32
1.5K0
发布2018-08-17 14:39:32
举报
文章被收录于专栏:GPUS开发者GPUS开发者

NVIDIA TensorRT是一个高性能的深度学习推理优化器和runtime,为深度学习推理应用程序提供低延迟和高吞吐量。您可以从每个深度学习框架中导入经过训练的模型到TensorRT中,并轻松地创建可以集成到更大的应用程序和服务中的高效推理引擎。

本视频演示了使用NVIDIA TensorRT优化基于多层感知器的推荐系统(recommendation systems)的步骤,该系统是针对MovieLens数据集进行的。

这段视频中有五个要点:

  1. 在包含在TensorRT中的通用框架格式(UFF)工具包中,将经过训练的TensorFlow模型导入到TensorRT非常容易。
  2. 您可以向经过训练的模型添加一个额外的层,甚至再将其导入到TensorRT之后。
  3. 您可以将引擎序列化为一个内存块,然后您可以将其序列化到一个文件或流中。这消除了再次执行优化步骤的需要。
  4. 虽然模型的训练精度较高(FP32),但TensorRT提供了低精度推理的灵活性(FP16)。
  5. TensorRT 4包含了新的操作,如Concat、Constant和TopK,以及对多层感知器的优化,以加快推荐系统的推理性能。
视频内容
本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-08-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 GPUS开发者 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档