Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序，Get更优阅读体验！
立即前往
文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
文章/答案/技术大牛
发布
首页
学习
活动
专区
圈层
工具
返回腾讯云官网
社区首页 >专栏 >TensorRT8.4.x Python API安装配置与测试

TensorRT8.4.x Python API安装配置与测试

作者头像
OpenCV学堂
发布于 2022-04-18 03:48:04
发布于 2022-04-18 03:48:04
1.6K00
代码可运行
举报
文章被收录于专栏：贾志刚-OpenCV学堂贾志刚-OpenCV学堂
运行总次数：0
代码可运行
关联问题
换一批

点击上方蓝字关注我们

微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识

版本信息

首先必须要交代一下硬件跟依赖包的版本信息

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
-GPU -3050ti-Win10 x64-CUDA11.0.1-cuDNN8.2.x-TensorRT8.4.0.x-Python3.6.5-Pytorch1.7.1

然后我还下载了YOLOv5的最新版本，并测试通过如下：

Python API配置支持

我把tensorRT解压在D:\TensorRT-8.4.0.6

目录结果如下：

首先输入下面的命令行：

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
cd /d D:\TensorRT-8.4.0.6

到tensorRT文件夹下面，然后分别执行

安装tensorrt python sdk

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
cd pythonpython.exe -m pip install tensorrt-8.4.0.6-cp36-none-win_amd64.whl

注意：一定要跟安装跟你Python SDK对应版本的whl包。

安装onnx python sdk支持

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
cd..cd onnx_graphsurgeonpython.exe -m pip install onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl

安装ONNX格式模型文件读取支持

如果是tensorflow，下面两个也执行一波！

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
cd..cd graphsurgeonpython.exe -m pip install graphsurgeon-0.4.5-py2.py3-none-any.whlcd..cd uffpython.exe -m pip install uff-0.6.9-py2.py3-none-any.whl

这样就安装好啦，别着急，把tensorRT的lib目录配置到系统的环境变量中去：

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
D:\TensorRT-8.4.0.6\lib

然后重新启动cmd，输入如下命令行：

表明TensorRT Python API 已经完全安装成功啦！

测试YOLOv5加速

YOLOv5最新版本中首先使用下面的命令行导出一个tensorRT的engine文件，命令行如下：

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
python export.py --weights yolov5s.pt --include engine --device 0

然后使用导出的engine测试结果如下：

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
python detect.py --source data/images/Boogie_Up.mp4 --weights yolov5s.engine

运行结果如下：

从此我又相信TensorRT+YOLOv5了

扫码查看OpenCV+Pytorch系统化学习路线图

 推荐阅读 

CV全栈开发者说 - 从传统算法到深度学习怎么修炼

2022入坑深度学习，我选择Pytorch框架！

Pytorch轻松实现经典视觉任务

教程推荐 | Pytorch框架CV开发-从入门到实战

OpenCV4 C++学习 必备基础语法知识三

OpenCV4 C++学习 必备基础语法知识二

OpenCV4.5.4 人脸检测+五点landmark新功能测试

OpenCV4.5.4人脸识别详解与代码演示

OpenCV二值图象分析之Blob分析找圆

OpenCV4.5.x DNN + YOLOv5 C++推理

OpenCV4.5.4 直接支持YOLOv5 6.1版本模型推理

OpenVINO2021.4+YOLOX目标检测模型部署测试

比YOLOv5还厉害的YOLOX来了，官方支持OpenVINO推理

本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。
原始发表：2022-04-15，如有侵权请联系 cloudcommunity@tencent.com 删除
pytorch
c++
opencv
python
sdk

本文分享自 OpenCV学堂 微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ，欢迎热爱写作的你一起参与！

pytorch
c++
opencv
python
sdk
评论
登录后参与评论
暂无评论
登录 后参与评论
推荐阅读
编辑精选文章
换一批
万字详解高可用架构设计
1454
Go 开发者必备：Protocol Buffers 入门指南
705
10分钟带你彻底搞懂分布式链路跟踪
378
多租户的 4 种常用方案
850
亿级月活的社交 APP，陌陌如何做到 3 分钟定位故障？
635
60页PPT全解：DeepSeek系列论文技术要点整理
1309
YOLOv5模型部署TensorRT之 FP32、FP16、INT8推理
opencvc++深度学习pytorch
点击上方蓝字关注我们 微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 引言 YOLOv5最新版本的6.x已经支持直接导出engine文件并部署到TensorRT上了。 FP32推理TensorRT演示 可能很多人不知道YOLOv5新版本6.x中已经支持一键导出Tensor支持engine文件，而且只需要一条命令行就可以完成：演示如下： python export.py --weights yolov5s.pt --include onnx engine --device 0 其中on
OpenCV学堂
2022/09/23
6.2K0
YOLOv5模型部署TensorRT之 FP32、FP16、INT8推理
深度OpenCV开发之精准找圆
pytorchc++opencv深度学习
点击上方蓝字关注我们 微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 要求： 找到下图的螺丝圆心并测量它们之间的距离，本人通过一通OpenCV简单的基础操作完成了整个流程！原图如下： 整个流程图如下： 各步运行名称与运行结果对比： 扫码查看OpenCV+OpenVIO+Pytorch系统化学习路线图  推荐阅读  CV全栈开发者说 - 从传统算法到深度学习怎么修炼 2022入坑深度学习，我选择Pytorch框架！ Pytorch轻松实现经典视觉任务 教程推荐
OpenCV学堂
2022/06/06
8280
深度OpenCV开发之精准找圆
PyTorch 1.12发布，正式支持苹果M1芯片GPU加速，修复众多Bug
apiopencv机器学习神经网络人工智能
点击上方↑↑↑“OpenCV学堂”关注我来源：公众号 机器之心  授权 PyTorch 1.12 正式发布，还没有更新的小伙伴可以更新了。 距离 PyTorch 1.11 推出没几个月，PyTorch 1.12 就来了！此版本由 1.11 版本以来的 3124 多次 commits 组成，由 433 位贡献者完成。1.12 版本进行了重大改进，并修复了很多 Bug。 随着新版本的发布，大家讨论最多的可能就是 PyTorch 1.12 支持苹果 M1 芯片。 其实早在今年 5 月，PyTorch 官方就已经
OpenCV学堂
2022/07/04
9220
PyTorch 1.12发布，正式支持苹果M1芯片GPU加速，修复众多Bug
OpenVINO2022全新C++ SDK使用解析
sdkidec++深度学习pytorch
点击上方蓝字关注我们 微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 安装OpenVINO2022.1 2022版本的安装包跟之前的不一样地方包括： -OpenCV部分不在默认安装包中-Dev Tools 跟 Runtime安装方式不同-Dev Tools包模型转换器跟其它开发组件-Runtime主要负责模型推理，支持Python跟C++ 在intel官方下载页面选择如下： 下载之后点击安装，出现的第一个画面如下： 点击【Continue】 选择第一种，推荐安装方式，点击【
OpenCV学堂
2022/05/05
2K0
OpenVINO2022全新C++ SDK使用解析
轻松学Pytorch之torchscript使用！
pytorchc++opencv深度学习
点击上方蓝字关注我们 微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 TorchScript介绍 TorchScript是PyTorch模型推理部署的中间表示，可以在高性能环境libtorch（C ++）中直接加载，实现模型推理，而无需Pytorch训练框架依赖。torch.jit是torchscript Python语言包支持，支持pytorch模型快速，高效，无缝对接到libtorch运行时，实现高效推理。它是Pytorch中除了训练部分之外，开发者最需要掌握的Pytorch框架开发
OpenCV学堂
2022/05/12
2.9K0
轻松学Pytorch之torchscript使用！
大意了| ONNXRUNTIME C++ 版本推理部署踩坑记录
pytorchc++opencv打包深度学习
点击上方蓝字关注我们 微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 前言     之前我安装了CUDA10.0跟cuDnn7.6.5 然后我在VS2017中配置了包含路径、库路径跟连接器，把环境变量加上，重启一下就可以运行onnxruntime-1.4 gpu版本，用YOLOv5导出onnx格式模型，跑的很欢畅。 -VS2017-CUDA10.1-cuDnn7.6.5-onnxruntime-1.4-gpu Faster-RCNN转ONNX 周末的时候我想试试tensorRT+
OpenCV学堂
2022/03/29
7.4K1
OpenVINO +YOLOX最新版本推理演示
c++pytorchopencv深度学习
点击上方↑↑↑“OpenCV学堂”关注我 yolox 推理openvino与c++支持 YOLOX模型ONNX格式说明 我记得大概是在去年七月份的时候我写过一篇文章是介绍YOLOX+OpenVINO推理的，下载YOLOX的ONNX格式模型（github上可以下载） https://github.com/Megvii-BaseDetection/YOLOX/tree/main/demo/ONNXRuntimehttps://github.com/Megvii-BaseDetection/YOLOX/rel
OpenCV学堂
2022/04/13
8220
OpenVINO +YOLOX最新版本推理演示
超越CLIP的多模态模型，只需不到1%的训练数据！南加大最新研究来了
opencvtcp/ip深度学习pytorchc++
来源 | 公众号 量子位 火爆全网的AI绘画你玩了吗？ 女娲无限版、DALL·E2、Imagen……这些通过文字生成图像的AI绘画工具，背后的原理都是一个叫“CLIP”的模型，它是AI如何“理解”人类语义这一问题的关键。 CLIP（Contrastive Language–Image Pre-training），是一种基于对比的图片-文本学习的跨模态预训练模型，由OpenAI于去年1月发布。 它好用是好用，但一个大问题是数据需求太大：4亿个图像文本对、256个GPU，这对许多公司和个人都很不友好。 对此，
OpenCV学堂
2022/08/29
1.7K0
超越CLIP的多模态模型，只需不到1%的训练数据！南加大最新研究来了
编程语言大对决！Ruby和Python谁更可读？
rubypythonopencv
---- 点击上方↑↑↑“OpenCV学堂”关注我来源：公众号 新智元 授权 【导读】计算机编程语言Python和Ruby谁更易懂可读，网友们展开了激烈论战。 也许很多人认为，编程只要被计算机读懂就可以了。 但是对于调试人员，或者维护人员来说，也得需要易懂可读。 总之，越是容易理解和阅读的代码当然越好了。 这不，关于编程语言Python和Ruby谁更可读，网友都吵翻了。 很多网友站队Ruby，这是为什么呢？ Ruby大战Python 其实，Ruby和Python几乎没有区别。 如果一个Python程序员
OpenCV学堂
2022/07/26
5540
编程语言大对决！Ruby和Python谁更可读？
YOLOv5新版本6.x 自定义对象检测-从训练到部署
opencvc++腾讯云测试服务深度学习pytorch
点击上方蓝字关注我们 微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 安装与测试 最近YOLOv5最新更新升级到v6.x版本，工程简便性有提升了一大步，本教程教你基于YOLOv5框架如何训练一个自定义对象检测模型，首先需要下载对应版本： https://github.com/ultralytics/yolov5/releases/tag/v6.1 鼠标滚到最下面下载源码zip包： https://github.com/ultralytics/yolov5/archive/refs/t
OpenCV学堂
2022/09/20
1.5K0
YOLOv5新版本6.x 自定义对象检测-从训练到部署
【目标检测】使用TensorRT加速YOLOv5
深度学习https网络安全
今天是程序员节，当然是以程序员的方式来度过节日。 很早就听说TensorRT可以加速模型推理，但一直没时间去进行实践，今天就来把这个陈年旧坑填补一下。
zstar
2022/11/21
4.5K0
【目标检测】使用TensorRT加速YOLOv5
有坑 | PyQT多线程无法刷新，导致界面卡死
c++pytorch深度学习编程算法腾讯云测试服务
点击上方蓝字关注我们 微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 问题背景与描述 我这两天一直想把YOLOv5上加个训练的界面，把控制台的输出重定向到一个PyQT5写的界面上，然后我很顺序的写好了一个简单的测试，发现可以重定向了，一直实时获取输出了。代码如下： 然后我就写了个界面，让控制台显示到界面的texteditor中，我知道训练是一个长耗时的操作过程，所以我单独开启了一个QThread线程来完成，然后在线程中发送获取的控制台输出文本给界面主线程，完成界面刷新。以前我用QT C+
OpenCV学堂
2022/08/29
4.2K0
有坑 | PyQT多线程无法刷新，导致界面卡死
TensorRT + YOLOv5第六版C++部署全解
c++pytorchopencv深度学习
点击上方↑↑↑“OpenCV学堂”关注我 OpenCV单目相机标定，图像畸变校正 前言 之前对YOLOv5第六版分别在OpenCV DNN、OpenVINO、ONNXRUNTIME 上做了测试，因为版本兼容问题，一直无法在TensorRT上做测试，我当时跑CUDA11.0 + cuDNN8.4.x时候给我报的错误如下： Could not load library cudnn_cnn_infer64_8.dll. Error code 126Please make sure cudnn_cnn_infe
OpenCV学堂
2022/04/08
5.7K2
TensorRT + YOLOv5第六版C++部署全解
YOLOX在OpenVINO、ONNXRUNTIME、TensorRT上面推理部署与速度比较
c++pytorch图像识别opencv深度学习
点击上方蓝字关注我们 微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 YOLOX目标检测模型 旷视科技开源了内部目标检测模型-YOLOX，性能与速度全面超越YOLOv5早期版本！ 如此神奇原因在于模型结构的修改，下图说明了改了什么地方： 把原来的耦合头部，通过1x1卷积解耦成两个并行的分支，经过一系列处理之后最终取得精度与速度双提升。实验对比结果如下： 论文与代码模型下载地址： https://arxiv.org/pdf/2107.08430.pdfhttps://github
OpenCV学堂
2022/04/14
5.2K0
YOLOX在OpenVINO、ONNXRUNTIME、TensorRT上面推理部署与速度比较
OpenVINO2022 Dev Tools安装与使用
pytorchsdkc++python深度学习
点击上方蓝字关注我们 微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 引言 OpenVINO2022版本发布之后，对之前旧版本的功能做明确的划分，其中仍然通过exe方式安装程序的是runtime推理包，支持ONNX、IR、PADDLE等模型读取与推理。但是模型优化转换、模型库下载功能等其他功能被分在一个叫Dev Tool的部分。该部分可以通过pip方式直接安装，然后通过命令行直接直线，完成模型的转换，下载等操作，跟之前版本易用性有较大提升！做个对比如下： Dev Tools安装与使用
OpenCV学堂
2022/06/24
1.2K0
OpenVINO2022 Dev Tools安装与使用
YOLOv5，YOLOv6，YOLOv7在TensorRT推理速度比较
c++腾讯云测试服务深度学习pytorchopencv
点击上方蓝字关注我们 微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 引言 这个周末两天把YOLOv5，YOLOv6，YOLOv7从训练到部署测试了一波，YOLOv6堪称Bug之王，如果没有点代码能力跟工程能力用就崩溃，YOLOv7模型太多让人眼花缭乱，对比论文宣传的各种速度快过YOLOv5，实测一言难尽，到处都是坑！ 测试方式 我横向对比了 YOLOv5s、YOLOv6s、YOLOv7-tiny、YOLOv7 四个模型在TensorRT上的推理速度，首先当然是用各种官方的脚本导出ON
OpenCV学堂
2022/09/27
6.6K0
YOLOv5，YOLOv6，YOLOv7在TensorRT推理速度比较
OpenVINO + UNet模型部署，实现道路裂纹检测
c++pytorchopencvpython
点击上方蓝字关注我们 微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 UNet模型 这个模型来自我之前的文章，基于CrackForest数据集训练生成的模型，如何训练道理裂纹数据集，生成UNet模型并导出为ONNX看这里，这个系列文章就可以知道： 轻松学Pytorch – 构建UNet实现道路裂纹检测 https://mp.weixin.qq.com/s/xeUdW2l71RsHe1Zdzr5a7Q 然后我把模型转换ONNX格式了，然后我用OpenVINO+ONNX做个部署演示。之前
OpenCV学堂
2022/05/05
2.4K1
OpenVINO + UNet模型部署，实现道路裂纹检测
我只用半小时 | Python手写了个图像模板匹配算法
c++pytorchopencvpython
点击上方蓝字关注我们 微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 OpenCV中的模板匹配 OpenCV中的模板匹配是支持基于NCC相似度查找的，但是不是很好用，一个主要的原因是查找最大阈值，只能匹配一个，自己比对阈值，又导致无法正确设定阈值范围，所以问题很多。于是我重新写了纯Python版本的NCC图像模板匹配的代码实现了一个Python版本的，简单易用，支持多尺度，跟多进程并行！ 主要思想 主要是基于NCC实现的像素相似度计算，这个OpenCV官方的模板匹配也有这中方式像素相似度
OpenCV学堂
2022/05/12
1.4K0
我只用半小时 | Python手写了个图像模板匹配算法
YOLOv5最新6.1在OpenCV DNN、OpenVINO、ONNXRUNTIME上推理对比
c++python腾讯云测试服务opencv
点击上方蓝字关注我们 微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 引言 我把YOLOv5最新版本的模型分别用OpenCV DNN（Python、C++）部署、OpenVINO（Python、C++）部署、ONNXRUNTIME-GPU（Python、C++）部署，然后还测试了CPU/GPU不同平台上的运行速度比较。 软件版本与硬件规格 测试用的硬件与软件信息： GPU 1050TiCPU i7八代OS：Win10 64位OpenVINO2021.4ONNXRUNTI
OpenCV学堂
2022/03/14
3.7K0
OpenCV4.5.x 中SIFT特征匹配调用演示
深度学习c++pytorch打包opencv
点击上方蓝字关注我们 微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 OpenCV4.4版本以后已经把SIFT跟SURF特征提取又重新get回来了，可以不需要编译OpenCV源码，直接下载官方预编译版本的就可以直接使用了。但是很多人还以为必须要编译源码才能使用SIFT特征检测的函数！如果还不知道SIFT特征是什么，就看这里的这篇文章就好啦。 OpenCV SIFT特征算法详解与使用 01 创建SIFT特征提取器 下面就来验证一下是否真的可以了，请看步骤与过程，首先创建SIFT特征提取器
OpenCV学堂
2022/08/29
1.6K0
OpenCV4.5.x 中SIFT特征匹配调用演示
推荐阅读
编辑精选文章
万字详解高可用架构设计Go 开发者必备：Protocol Buffers 入门指南10分钟带你彻底搞懂分布式链路跟踪
相关讨论
ODL与OVS之间配置SSL安装连接？安装配置PHP是否成功与FTP服务有关吗？新建api测试不通过？
相关课程
AI绘画-StableDiffusion图像生成EdgeOne一站式玩转网站加速与防护实战营Python教程-Django框架快速入门到实战
YOLOv5模型部署TensorRT之 FP32、FP16、INT8推理
6.2K0
深度OpenCV开发之精准找圆
8280
PyTorch 1.12发布，正式支持苹果M1芯片GPU加速，修复众多Bug
9220
OpenVINO2022全新C++ SDK使用解析
2K0
轻松学Pytorch之torchscript使用！
2.9K0
大意了| ONNXRUNTIME C++ 版本推理部署踩坑记录
7.4K1
OpenVINO +YOLOX最新版本推理演示
8220
超越CLIP的多模态模型，只需不到1%的训练数据！南加大最新研究来了
1.7K0
编程语言大对决！Ruby和Python谁更可读？
5540
YOLOv5新版本6.x 自定义对象检测-从训练到部署
1.5K0
【目标检测】使用TensorRT加速YOLOv5
4.5K0
有坑 | PyQT多线程无法刷新，导致界面卡死
4.2K0
TensorRT + YOLOv5第六版C++部署全解
5.7K2
YOLOX在OpenVINO、ONNXRUNTIME、TensorRT上面推理部署与速度比较
5.2K0
OpenVINO2022 Dev Tools安装与使用
1.2K0
YOLOv5，YOLOv6，YOLOv7在TensorRT推理速度比较
6.6K0
OpenVINO + UNet模型部署，实现道路裂纹检测
2.4K1
我只用半小时 | Python手写了个图像模板匹配算法
1.4K0
YOLOv5最新6.1在OpenCV DNN、OpenVINO、ONNXRUNTIME上推理对比
3.7K0
OpenCV4.5.x 中SIFT特征匹配调用演示
1.6K0
相关推荐
YOLOv5模型部署TensorRT之 FP32、FP16、INT8推理
更多 >
OpenCV学堂0
LV.0
OpenCV开发专家计算机视觉开发
文章
874
获赞
2.6K
专栏
1
作者相关精选
换一批
加入讨论
的问答专区 >
西里国际站0
相关课程
一站式学习中心 >
云开发微搭低代码平台-一人构建企业级应用实战训练营
1870人在学
腾讯云微搭低代码
云开发
EdgeOne一站式玩转网站加速与防护实战营
1278人在学
EdgeOne
Python教程-Django框架快速入门到实战
941人在学
对象存储
python
开源框架
领券

腾讯云开发者

扫码关注腾讯云开发者

扫码关注腾讯云开发者

领取腾讯云代金券

热门产品

热门推荐

更多推荐

Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号 | 京公网安备号11010802020287

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档

Copyright © 2013 - 2025 Tencent Cloud.

All Rights Reserved. 腾讯云 版权所有

登录 后参与评论
3
本文部分代码块支持一键运行，欢迎体验
本文部分代码块支持一键运行，欢迎体验