腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
转换后的TensorFlow存储
模型
在CPU
上
运行
,而不是在
GPU
上
运行
。
tensorflow
、
onnxruntime
我使用tf2
onnx
将tensorflow保存
模型
转换为
ONNX
格式:转换工作良好,我可以使用CPU
运行
ONNX
模型
的推理。我安装了onnxruntime-
gpu
以使用
GPU
运行
推理
浏览 16
提问于2021-07-16
得票数 0
3
回答
如
何在
GPU
上
运行
ONNX
模型
?
deep-learning
、
onnx
、
onnxruntime
、
onnx-coreml
我正在尝试
运行
一个
ONNX
模型
import onnxruntime as ortmodel_path = "model.
onnx
" ort_sess = ort.InferenceSession(model_path) print( ort.get_device() ) 这将打印出来 cpu 如何让它在我的
GPU
上
运行
?
浏览 701
提问于2020-10-21
得票数 1
1
回答
转换后的
ONNX
模型
在CPU
上
运行
,而在
GPU
上
不
运行
。
python
、
tensorflow
、
onnx
、
onnxruntime
我使用以下命令将TensorFlow
模型
转换为
ONNX
:python -m tf2
onnx
.convert --saved-model tensorflow-model-path --opset 10--output model.
onnx
转换是成功的,我可以在安装onnxruntime后在onnxruntime
上
推断。但是当我创建一个新的环境,在它
上
安装onnxruntime-
gpu
并使用
GPU
进行推理时,我会根据
模型
得到不同的错误消
浏览 20
提问于2020-08-10
得票数 1
回答已采纳
2
回答
在
GPU
上
,on
运行
时推断要比py手电筒慢得多。
machine-learning
、
pytorch
、
gpu
、
onnx
、
onnxruntime
我比较了使用py电筒和on
运行
时输入的推理时间,我发现on
运行
时在
GPU
上
实际
上
要慢一些,而在CPU
上
则要快得多。 A
浏览 19
提问于2022-01-17
得票数 2
1
回答
为什么在Caffe2
上
使用LibTorch或Core而不是LibTorch(.pt文件)?
pytorch
、
coreml
、
onnx
、
caffe2
、
libtorch
似乎有几种方法可以在iOS
上
运行
Pytorch
模型
。caffe2PyTorch(.pt) PyTorch(.pt) ->
onnx
-> ->
onnx
-> Core-ML (.mlmodel)PyTorch(.pt) -> LibTorch (.pt为什么人们使用caffe2或Core (.mlmodel),它需要
模型
格式转换,而不是LibTorch?
浏览 3
提问于2020-06-05
得票数 4
回答已采纳
2
回答
在C# Windows窗体应用程序中使用
ONNX
模型
c#
、
visual-studio
、
faster-rcnn
、
onnx
、
onnxruntime
我在Keras中训练了Mask RCNN的深度学习
模型
,并导出了一个
ONNX
模型
(权重矩阵),它能够在Python中成功地
运行
和测试图像。是否有可能通过Visual在,C#中使用相同的
ONNX
模型
?系统信息: 掩码RCNN,在
ONNX
运行
时v0.5.0中
浏览 10
提问于2019-10-03
得票数 1
2
回答
Pytorch:将2D-CNN
模型
转换为tflite
pytorch
、
onnx
、
tensorflow-lite
为了在移动设备
上
运行
,我想把一个
模型
(
如
Mobilenet V2)从Py手电筒转换成tflite。我发现的是一种使用
ONNX
将
模型
转换为中间状态的方法。有一个讨论,但在我的例子中,转换工作没有抱怨,直到一个“冻结的tensorflow图形
模型
”,在试图将
模型
进一步转换为tflite之后,它抱怨频道顺序是错误的.1.6.0.dev20200508 (needs pytorch-nightly to work with mobilene
浏览 18
提问于2020-05-08
得票数 1
1
回答
T5类
模型
的加速推理
python
、
deep-learning
、
pytorch
、
huggingface-transformers
我目前正在生产中使用一个名为T0pp ()的
模型
,并希望加快推理速度。我在随需应变的EC2 g4dn.12xlarge实例(4个Nvidia T4
GPU
)
上
运行
以下代码: 是否有人有使用这些工具的经验,并知道哪
浏览 25
提问于2022-02-21
得票数 0
回答已采纳
1
回答
Seq2seq移液器推断慢
python
、
deep-learning
、
recurrent-neural-network
、
pytorch
、
sequence-to-sequence
(input_lines_trg, next_preds.unsqueeze(1)), ) 在
GPU
上
对
模型
进行训练,并在CPU模式下加载
模型
进行推理。
浏览 3
提问于2017-08-31
得票数 0
2
回答
如何优化推理脚本,使分类器得到更快的预测?
python
、
image-processing
、
neural-network
、
classification
、
pytorch
我已经编写了下面的预测代码,它是从经过训练的分类器
模型
中预测出来的。现在的预测时间大约是40,000,我想尽量减少。 我是否可以对我的推理脚本做任何优化,或者我应该寻找在训练脚本方面的发展?
浏览 0
提问于2018-12-28
得票数 2
2
回答
OpenCV::dnn::readNet抛出异常
c++
、
opencv
、
onnx
我遵循,用OpenCV DNN模块加载yolov5*.
onnx
模型
,并使用它进行推理。当试图加载
模型
时,我得到以下错误: E:\Libraries\C++\opencv_
gpu
\open
浏览 44
提问于2022-08-01
得票数 3
1
回答
将seq2seq NLP
模型
转换为
ONNX
格式是否会对其性能产生负面影响?
python
、
machine-learning
、
nlp
、
huggingface-transformers
、
onnx
我正在考虑将ml
模型
转换为
ONNX
格式,以便利用它的速度增长(
ONNX
)。然而,我并不真正理解与旧
模型
相比,新
模型
中发生了什么根本性的变化。而且,我也不知道是否有什么缺点。
浏览 3
提问于2021-02-13
得票数 2
回答已采纳
1
回答
在具有
onnx
模型
的Arm NN android
上
运行
推理
machine-learning
、
neural-network
、
deep-learning
、
onnx
谁能告诉我,我们如
何在
具有
onnx
模型
的Arm NN android
上
运行
推理。在armnn网站上,我已经搜索了这个,但没有足够的内容为android的
onnx
模型
。
浏览 36
提问于2019-12-05
得票数 1
回答已采纳
1
回答
如何加载
ONNX
文件并使用它在PyTorch中进行ML预测?
pytorch
、
onnx
、
pth
model(image.unsqueeze(0)) print(result_idx) 我使用.pth将torch.
onnx
.export文件转换为
ONNX
文件。现在,我如何通过单独使用
ONNX
文件而不使用.pth文件来编写与上面类似的预测脚本呢?是否可以这样做呢?
浏览 9
提问于2022-01-16
得票数 1
回答已采纳
1
回答
如
何在
ONNX
模型
中找到量化参数,从而将已经量化的tflite
模型
转换为
ONNX
?
onnx
、
yolov5
、
quantization
、
tf2onnx
我想要做的是将量化的tflite转换为
ONNX
,并使用tf2
onnx
直接使用ORT
运行
它。我试图转换的网络是YOLOv5,使用我自己的dataset + COCO进行预培训,
模型
已经成功转换。我确信这一点,因为我只是尝试加载
ONNX
模型
(通过PRT)和tflite
模型
,从tflite解释器的输入和输出细节中保存量化参数,使用这些量化参数实际
运行
ONNX
模型
的会话,它实际
上
显示了
运行
浏览 20
提问于2022-10-28
得票数 0
回答已采纳
1
回答
Tensorflow to
ONNX
中的自定义操作文档
python
、
tensorflow
、
onnx
、
tensorrt
我正在尝试将经过训练的Tensorflow 2.5 SavedModel转换为
ONNX
,希望最终能够将
ONNX
模型
转换为TensorRT以加速推理。我的
模型
需要使用Tensorflow中的自定义操作程序,它只
运行
在
GPU
上
。当我试图使用下面的命令转换SavedModel时,自定义操作没有注册,生成的
ONNX
图形在中查看文件时不显示自定义操作。中注册.so文件,而不需要将CUDA/C++代码修改为
ONNX
自定义op API?当
浏览 16
提问于2021-08-26
得票数 0
2
回答
OnnxRuntime与OnnxRuntime+OpenVinoEP推理时差
python
、
inference
、
openvino
、
onnxruntime
我试图通过将
模型
转换为OnnxRuntime来提高
模型
的性能。然而,当我试图测量推理时间时,我得到了一些奇怪的结果。虽然只
运行
一个迭代,但OnnxRuntime的CPUExecutionProvider大大优于OpenVINOExecutionProvider: OpenVIN
浏览 20
提问于2022-01-25
得票数 2
回答已采纳
1
回答
如何为
onnx
转换设置环境变量TF_Keras =1?
python
、
tensorflow
、
keras
、
spyder
、
onnx
最近更新到了tensorflow 2.0,而且我的.h5
模型
在.
onnx
上
也有问题。过去是一个非常简单的程序,但现在我有一个问题。当我
运行
以下代码时:import
onnx
import osfrom tensorflow.keras.models(
onnx
_model, temp_model_file) 当我
运行</e
浏览 0
提问于2019-11-21
得票数 7
回答已采纳
2
回答
如
何在
Python中使用"model.trt“
python
、
pytorch
、
onnx
、
tensorrt
我有一个pytorch
模型
,我将其导出到
ONNX
,并使用以下命令将其转换为tensorflow
模型
:所有这些都能工作,但是我现在如
何在
python中加载这个model.trt并
运行
推断呢?
浏览 14
提问于2021-05-31
得票数 1
回答已采纳
2
回答
如何通过pytorch使英特尔
GPU
可用于处理?
deep-learning
、
pytorch
、
gpu
我使用的笔记本电脑配备了英特尔公司的HD Graphics 520。有谁知道如何设置深度学习,特别是Pytorch?我已经看到,如果你有Nvidia显卡,我可以安装cuda,但当你有英特尔图形处理器时怎么办?
浏览 1
提问于2020-10-29
得票数 4
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
FB 开源大型语言模型 LLAMA:可单 GPU 运行,为在消费级硬件上获得类似 ChatGPT 性能打开了大门
微软开源ONNX Runtime模型以加速Google BERT
PyTorch 2.0 推理速度测试:与 TensorRT、ONNX Runtime 进行对比
现代“罗塞塔石碑”:微软提出深度学习框架的通用语言
Windows的下一个重要更新:基于硬件加速的机器学习
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券