专栏首页吉浦迅科技NVIDIA Xavier性能没有达到预期怎么办?

NVIDIA Xavier性能没有达到预期怎么办?

最近遇到好些用户在使用NVIDIA Xavier 的时候遇到性能没达到预期的情况:

我们已经对NVIDIA Xavier做了很多次介绍:

关于Jetson AGX Xavier常见问题汇总

NVIDIA霸气放“价”,AGX Xavier让你打造更接地气的AI产品

用Matlab和NVIDIA AGX Xavier实现缺陷产品检测

知否,NVIDIA AGX Xavier显存到底多少?

其实对于Xavier的性能到底可以跑成什么样子,这里有一些文章:

NVIDIA Jetson Xavier性能到底有多强?这篇评测告诉你!

本篇想试图对于Xavier上的优化方式和技巧做一些探讨,希望能给大家一些启示。

1. 你的Xavier开启了火力全开模式了么?

参考:让NVIDIA Jetson AGX Xavier火力全开的秘密

2. 请记住每个产品都有自己的定位和用途的。我们必须要了解和掌握Xavier的特点,才能将其性能发挥到极致!

我们再来看一下Xavier的特性:

所以你看到Xavier是有很强的FP16和INT8的性能,而FP32的性能并没有优势。所以如果你用台式机的GPU FP32性能来跟Xavier相比,Xavier是比较吃亏的。

Xavier有Tensor Core。

Tensor Core有很多好处:

Intel为什么强调NVIDIA Tensor Core GPU非常适合推理

新年第一课:看NVIDIA大神们如何评价Tensor Core?

注意,NVIDIA 计算能力7.0、7.2和7.5的GPU卡都具备Tensor Core。其中7.0是第一代的TensorCore(只有FP16能力),比如Tesla V100; 7.2(Xavier)和7.5(现在的大量的Turing卡)是第二代的,有FP16,INT8,INT4加速.

Xavier 具备深度学习加速器 NVDLA,全称 NVIDIA DeepLearning Accelerator,以推动在定制硬件设计中采用高效的 AI 推理。在英伟达的开发套件 Jetson AGX Xavier 中,它能为 AI 模型提供 7.9 TOPS/W 的最佳峰值效率。

问题来了,我如何让Xavier发挥这些特定的优势呢?

TensorRT请了解一下!

我们之前也讲过了很多如何使用TensorRT

来份TensorRT的教程,要实战的哟!

边缘计算笔记(一): Jetson TX2上从TensorFlow 到TensorRT

边缘计算笔记(二): 从tensorflow生成tensorRT引擎的方法

边缘计算笔记(三):从Tensorflow生成TensorRT引擎的方法(完结篇)

也建议初学者可以在百度或者Google上搜索TensorRT,可以看到别人写的教程或者代码来学习。

以下资源,是我推荐给大家看的:

TensorRT Sample:

https://docs.nvidia.com/deeplearning/sdk/tensorrt-sample-support-guide/index.html

Trying out TensorRT on Jetson TX2

https://jkjung-avt.github.io/tensorrt-cats-dogs/

TensorFlow/TensorRT Models on Jetson TX2

https://jkjung-avt.github.io/tf-trt-models/

有人会问:用Jetpack刷机后TensorRT装在哪里了?

另外对于搞视频智能分析的用户,可以多了解一下Deepstream。我们自己用Xavier 跑 DeepStream, 用 int8 特性,一次给 9 个 H.265 高清 Video,每个都能跑到 15 fps 左右,总共帧数可以到 120+。

关于DeepStream我们也讲了很多了:

NVIDIA Deepstream 4.0笔记(五):仓储物流场景应用

NVIDIA Deepstream 4.0笔记(四):工业检测场景应用

NVIDIA Deepstream 4.0笔记(三):智能交通场景应用

NVIDIA Deepstream 4.0笔记(二):智能零售场景应用

本文分享自微信公众号 - 吉浦迅科技(gpusolution),作者:WhoseAI

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • NVIDIA Jetson AGX Xavier模块开始出货,Jetson全系列产品悉数亮相

    英伟达目前在深度学习和人工智能培训市场占据主导地位。事实上,前段时间,NVIDIA展示了其在DGX-2H超算系统上NVIDIA MLPerf v0.5强大的训练...

    GPUS Lady
  • NVIDIA发布新“掌中宝”开发套件:原来你是这样的Jetson Xavier

    GPUS Lady
  • 关于Jetson AGX Xavier常见问题汇总

    NVIDIA Jetson AGX Xavier是Jetson平台的高端产品,这是一台用于自主机器的人工智能计算机。在一个紧凑的100x87mm模块中,GPU的...

    GPUS Lady
  • 李开复:如何设计你的2015年度计划

    新的一年总有新的愿景与目标,也就是「年度计划」(New Year Resolution)。两个多月前,脸书的创办人扎克伯格(Mark Zuckerberg)到北...

    用户1756920
  • 解决linux端口被占用

    解决端口占用问题的最快捷方式就是杀死相关进程,以杀死占用22端口的ssh为例 查看进程 如图所示,对应的进程名为sshd 进程号为 55312 输入kill ...

    zhaoolee
  • 习题11:提问

    How old are you? 18 How tall are you? 180 How much do you weight? 130 So,you're ...

    用户2398817
  • 加权有向图----多源最短路径问题(Floyd算法)

    SuperHeroes
  • 什么是IPO、ICO、DAICO

    efonfighting
  • 微信移动端数据库组件 WCDB 系列:iOS 基础篇(一)

    WCDB 是微信官方的移动端数据库组件,致力于提供一个高效、易用、完整的移动端存储方案。

    微信终端开发团队
  • 代码审计 | HDWiki v6.0最新版referer注入漏洞

    近期在审计HDWiki 6.0最新版cms的时候发现由referer导致的sql注入问题。SQL注入我们知道是由于代码与数据没有严格区别限制分离而导致的问题,O...

    FB客服

扫码关注云+社区

领取腾讯云代金券