腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何
使用
python
api
进行
批量
输入
的
TensorRT
7.0
推理
?
python-3.x
、
batch-processing
、
tensorrt
、
inference-engine
我正试着从我
的
基于
TensorRT
7.0
优化
的
resnet50中提取特征向量。 当trt模型只有一个
输入
时,我得到了正确
的
输出。但是,当我向模型提供
批量
输入
时,我只为
批量
的
第一个样本获得了正确
的
输出。其余
的
输出都是零。trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH))”= 16“和"EXPLICIT_BATCH =1 &
浏览 63
提问于2020-06-26
得票数 2
2
回答
windows上用于
python
的
TensorRT
python
、
tensorflow
、
windows-10
、
openpose
我在windows上
使用
TensorRT
用于
python
时遇到了问题。ModuleNotFoundError: No module named "tensorflow.contrib.
tensorrt
" 我安装了tensorflow软件包(上一个版本),但它不包含查找解决方案
的</
浏览 2
提问于2019-09-24
得票数 4
1
回答
如何
在C (__call__)
API
中实现小
输入
的
Tensorflow
Python
()(++)性能?
python
、
c++
、
performance
、
tensorflow
这与文档中
的
声明一致,即对于较小
的
输入
,
使用
model() (__call__)通常更快。 我遇到
的
问题是,我试图将我
的
模型移植到一个C(++)程序。将TF_SessionRun()用于C和model_bundle.GetSession()->Run(),我
的
性能类似于“慢速”
的
Python
推理
方法。+
api
会出现一个错误,即未找到操作(
TensorRT
似乎不起作用)。我<
浏览 2
提问于2021-05-30
得票数 0
1
回答
C++
TensorRT
批处理
推理
产生奇怪
的
结果
c++
、
machine-learning
、
inference
、
tensorrt
我在
TensorRT
中执行批处理
推理
时遇到问题。当
批量
大小为1时,它
的
效果很好,但当我将其更改为任何其他数字时,它会给出普通
的
垃圾。我一步一步地下载了
TensorRT
(5.0),并将其安装在装有GTX755M
的
Ubuntu18.04笔记本电脑上。然后我构建了与之配套
的
示例,并在sampleMNIST sample上对其
进行
了测试,它就像一个护身符。然后,我继续将每次出现
的
mParams.batchSize更改为10
浏览 0
提问于2018-11-14
得票数 1
1
回答
Tensorflow-Onnx-
Tensorrt
的
准确度下降
tensorflow
、
onnx
、
tensorrt
Tensorflow模型被转换为ONNX并转换为
TensorRT
。
TensorRT
引擎以16位精度运行.在
TensorRT
中,准确率下降到75%。即使
使用
kTF32,准确率仍为75%。测试相同
的
图像为两个测试和相同
的
输入
大小。 我该从哪里看这个精度下降
的
地方?唯一
的
区别是我在
TensorRT
中
进行
批处理
推理
,而不是在Tensorflow中。对于Tensorflow和
Tens
浏览 6
提问于2020-09-11
得票数 0
回答已采纳
1
回答
TensorRT
/TFlite示例实现
tensorflow
、
optimization
、
keras
、
tensorrt
有了经过训练
的
“.h5”Keras模型文件,我正在尝试优化
推理
时间: “int8”量化。此时,我可以将模型文件转换为TensorFlow protobuf '.pb‘格式,但作为一个侧面,它还包含几个层
的
自定义对象。看到了一些关于
TensorRT
转换和TFLite转换
的
文章,但我似乎找不到一个可读
的
健壮实现。有人能解释一下
如何
做到这一点(TFLi
浏览 1
提问于2019-07-06
得票数 3
1
回答
将keras序列模型转换为张量rt
python-3.x
、
tensorflow
、
tf.keras
、
tensorrt
如何
将角点序列模型转换为张量-rt?我正在研究人脸识别,我用keras序列模型建立了人脸编码模型。现在我想在jtson上实现这一点。
浏览 2
提问于2020-01-24
得票数 1
回答已采纳
2
回答
在
python
上
使用
TensorRT
.engine文件
进行
推理
python
、
tensorflow
、
deep-learning
、
computer-vision
、
tensorrt
我
使用
Nvidia
的
传输学习工具包
进行
训练,然后
使用
传输学习工具包转换器将.etlt模型转换为.engine文件。我想知道在.engine文件上是否可以
浏览 0
提问于2019-12-11
得票数 8
1
回答
TensorFlowLite、TendorFlow-TRT和
TensorRT
的
主要区别是什么?
tensorflow
、
tensorflow-lite
、
tensorrt
、
tensorflow-model-garden
这就是我
如何
了解TensorFlow-Lite,TensorFlow-TRT和
TensorRT
的
.我有一些关于他们
的
问题:
使用
TensorFlow动物园提供
的
模型c.
使用</e
浏览 6
提问于2020-09-07
得票数 1
2
回答
如何
在Ubuntu 20.04中将
python
3.7设为默认值?
python-3.x
、
linux
我想在Ubuntu20.04( )上为
python
3安装
tensorrt
binding。这个Ubuntu默认
使用
python
3.8,但这些
tensorrt
绑定需要
python
3.7或更低版本。所以我已经通过sudo apt-get install
python
3.7安装了
python
3.7,所以我可以运行
Python
3.7命令来访问3.7。我还创建了一个ln -s /usr/bin/
pyt
浏览 9
提问于2020-07-09
得票数 3
1
回答
如何
管理多线程GPU应用程序中
的
cuda流和
TensorRT
上下文?
multithreading
、
tensorrt
对于
tensorrt
文件,我们将将其加载到引擎中,并为引擎创建
Tensorrt
上下文。然后,通过调用context->enqueueV2 2(),
使用
cuda流
进行
推理
。
TensorRT
是
如何
关联库达流和坦索尔特上下文
的
? 我们可以
使用
多个流与一个坦索尔
的
上下文吗?在多线程C++应用程序中,每个线程
使用
一个模型
进行
推理
,一个模型可能加载在多个线程中;那么,在
浏览 70
提问于2022-07-21
得票数 0
1
回答
如何
将Tensorflow 2.0 SavedModel转换为
TensorRT
?
python-3.x
、
tensorflow
、
nvidia
、
tensorflow2.0
、
tensorrt
通过阅读Nvidia对
TensorRT
的
描述,他们认为
使用
TensorRT
比单独
使用
Tensorflow可以加速7倍
的
速度。来源: 我已经训练了我
的
模型,并
使用
Tensorflow
的
SavedModel格式将其保存到一个SavedModel文件中。现在,我
使用
nvidia
的
文档来优化
使用
tensorrt
:
进行
推理
的</
浏览 9
提问于2019-11-13
得票数 4
回答已采纳
1
回答
推送/弹出pycuda上下文时发生CuPy错误
pycuda
、
cupy
我正在
使用
tensorRT
进行
与数据自动化系统
的
推理
。我想
使用
CuPy对一些图像
进行
预处理,这些图像将提供给
tensorRT
引擎。名为my_function
的
预处理函数工作良好,只要在my_function方法
的
不同调用之间不运行
tensorRT
(参见下面的代码)。具体来说,这个问题不是
tensorRT
严格相关
的
,而是
tensorRT
推断需要由
浏览 10
提问于2020-12-22
得票数 0
回答已采纳
1
回答
如何
将多个图像(批图像)
输入
到Nvidia
TensorRT
的
推理
中?
python
、
nvidia
、
tensorrt
环境当我对单个图像
进行
推断时,代码
的
这一部分工作得很好:但是,当我对列表中
的
多个图像(batch_size>1)运行它时: np.copyto(inputs[0].host,trt模型在
推理
中是否支持图像
的
多
输入
?如果
浏览 5
提问于2021-03-10
得票数 0
3
回答
将暗网络模型转换为onnx
darknet
、
tensorrt
、
onnx
我目前在Yolov4上
使用
Darknet,只有一个类。 我需要将这些权重导出为onnx格式,以便
进行
tensorRT
推断。我尝试了多种技术,
使用
或
进行
转换。但似乎没有一个管用。有没有直接
的
方法呢?
浏览 15
提问于2020-07-01
得票数 4
1
回答
如何
在多个线程中运行
TensorRT
?
python
、
multithreading
、
pycuda
、
tensorrt
我是
TensorRT
和CUDA
的
新手,我正在尝试
使用
TensorRT
Python
实现一个
推理
服务器。我遵循end_to_end_tensorflow_mnist和uff_ssd
的
例子,一切正常。然而,当我试图
使用
引擎在多个线程中
进行
推理
时,我会遇到一些问题。因此,我想知道在多个线程中运行
TensorRT
的
正确方法是什么。 这是我尝试过
的
。首先,在主线程中创建<e
浏览 1
提问于2019-05-30
得票数 1
1
回答
如何
保存冻结
推理
图生成
的
TensorRT
图?
python
、
tensorflow
、
tensorrt
我
使用
以下脚本将我
的
frozen_inference_graph转换为
TensorRT
优化
的
a:from tensorflow.
python
.compiler.
tensorrt
frozen_graph = tf.GraphDef() # Now you can create a
TensorRT
nodes_blackli
浏览 18
提问于2019-08-02
得票数 1
1
回答
如何
将TRT优化模型转换为保存模型?
tensorflow
、
model
、
tensorrt
我想将TRT优化
的
冻结模型转换为tensorflow服务
的
保存模型。是否有任何建议或来源可供分享?谢谢。
浏览 2
提问于2018-09-25
得票数 1
1
回答
使用
OpenVino
的
C-
API
异步批处理
推理
openvino
我正在尝试寻找一个
使用
C-
API
(而不是C++)异步批处理接口
进行
OpenVino图像推断
的
示例。编辑:根据下面的评论,澄清挑
浏览 1
提问于2020-08-06
得票数 0
1
回答
优化感度--流动目标检测模型V2中心网评价模型
tensorflow
、
tensorflow2.0
、
object-detection
、
object-detection-api
、
tensorrt
我正在
使用
Nvidia Tesla P100上
的
tensorflow 对象检测模型来提取边界框和关键点,用于检测视频中的人。
使用
来自tensorflow.org
的
预训练,我能够处理大约16帧每秒.有没有办法提高这个模型
的
评估速度?硬编码
输入
大小 最初试图转换为
TensorRT
的
尝试没有任何
浏览 0
提问于2020-11-04
得票数 5
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Google和Nvidia 强强联手,带来优化版 TensorFlow 1.7
TensorRT与TensorFlow 1.7 集成
使用 NVIDIA DeepStream SDK 6.2 构建视觉 AI 应用
TensorFlow2.1正式版:最后一次支持Python2
PyTorch 2.0 推理速度测试:与 TensorRT、ONNX Runtime 进行对比
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券