腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
多个
GPU
上
运行
Tensorflow
模型
推理
脚本
tensorflow
、
scoring
、
multi-gpu
我正在尝试从
tensorflow
对象检测API
运行
模型
评分(
推理
图),以便在
多个
GPU
上
运行
它,尝试
在
主
GPU
中指定
GPU
编号,但它只
在
单个
GPU
上
运行
。placed
GPU
utilization snapshot here 使用
tensorflow
-
gpu
==1.13.1
浏览 15
提问于2019-10-15
得票数 0
1
回答
如何在
多个
GPU
上
使用TensorRT
运行
推理
?
tensorrt
我将resnet50
TensorFlow
模型
转换为TensorRT引擎。当我
运行
推断时,它只使用我的一个
GPU
。我有两个RTX3090图形处理器。如何在
多个
GPU
上
运行
推理
?
浏览 9
提问于2022-01-31
得票数 0
2
回答
如何使用tf.lite.Interpreter (python中的)来
运行
tflite
模型
(*.tflite)?
python
、
tensorflow
、
interpreter
、
tensorflow-lite
根据https://www.
tensorflow
.org/lite/convert的指示,我已经将
tensorflow
推理
图转换为tflite
模型
文件(*.tflite)。我
在
我的
GPU
服务器
上
测试了tflite
模型
,它有4个Nvidia TITAN
GPU
。我使用tf.lite.Interpreter加载并
运行
了tflite
模型
文件。它像以前的
ten
浏览 45
提问于2019-09-05
得票数 3
2
回答
Tensorflow
模型
(.pb)有设备信息吗?
tensorflow
、
model
、
device
我正在
运行
一个TF应用程序,用于对给定
模型
进行
推理
。然而,它不是
在
GPU
上
运行
,而是
在
CPU
上
运行
,尽管
tensorflow
库是
在
启用CUDA的情况下构建的。为了深入了解TF
模型
,
tensorflow
模型
(.pb)是否像tf.device(/cpu:0)或tf.device(/
gpu
:0)一
浏览 1
提问于2017-07-28
得票数 1
1
回答
TensorFlow
Lite
GPU
计算比CPU计算慢得多
android-studio
、
tensorflow
、
tensorflow-lite
中,最后
在
冻结的
模型
文件
上
运行
tflite_convert命令。在那之后,我把
模型
放入Android Studio,并在我的摩托罗拉Moto G7 Power
上
用Adreno506
GPU
运行
。 然而,
在
我的原始
模型
和TF Lite
运行
的
模型
之间有两个主要的区别。
在
计算机
GPU
计算上大大加快了
推理
速度,但在我的手机上,
GP
浏览 36
提问于2020-07-15
得票数 1
1
回答
TensorFlow
服务内存使用
python
、
tensorflow
、
tensorflow-serving
我很难
在
文档中找到关于如何在
TensorFlow
服务中保存和加载
模型
的特定信息,以及
在
CPU与
GPU
上
运行
时可能存在的差异。为了服务
多个
模型
(以及每个
模型
的一个或
多个
版本),一个一般工作流是:
浏览 2
提问于2019-05-31
得票数 5
回答已采纳
1
回答
GPU
在
Tensorflow
中的物理设备中列出,但在逻辑设备中没有列出
python
、
tensorflow
我试图
在
GPU
上
运行
Tensorflow
模型
的推断,但它使用的是CPU。我可以确认它使用的是CPU,因为
推理
时间非常长,而且nvidia-smi没有显示process。为了调试这一点,我
在
Tensorflow
中列出了物理和逻辑设备。我可以看到物理设备列表包含
GPU
,但是逻辑设备列表不包含
GPU
。我能做些什么来修复这个问题并在
GPU
上
运行
我的<em
浏览 11
提问于2022-02-24
得票数 0
1
回答
GPU
与
tensorflow
安装的兼容性
tensorflow
、
gpu
我需要安装带有
GPU
支持的
Tensorflow
。
在
我购买
GPU
之前,我需要知道
GPU
是否与
Tensorflow
兼容。
在
Tensorflow
安装页面中,带有
GPU
的
Tensorflow
选项是软件需求。必须在您的系统
上
安装以下NVIDIA软件: 工具包-
TensorFlow
支持CUD
浏览 2
提问于2018-10-18
得票数 0
1
回答
基于
gpu
的
tensorflow
宽线性
模型
推理
tensorflow
、
gpu
、
tensorflow-serving
、
google-cloud-ml
、
tensorrt
我正在
tensorflow
上
训练一个稀疏逻辑回归
模型
。这个问题是关于
推理
部分的。我正在尝试
在
cpu和
gpu
上进行基准测试。我正在使用Nvidia P100图形处理器(4个芯片)
在
我当前的GCE盒
上
。当我记录设备放置时,我只看到
gpu
:0正在使用,其余的都没有使用?
在
训练期间,我不做任何设备放置,但在
推理
过程中,我希望它最佳地放置和使用
gpu
。1)如何将我想要
运行
预
浏览 0
提问于2018-05-17
得票数 0
2
回答
如何在Tegra X2
上
使用TesnorFlow-
GPU
模型
进行
推理
?
python
、
tensorflow
、
tegra
、
tensorrt
、
nvidia-jetson
我计划在TX2板
上
运行
我的
tensorflow
-
gpu
模型
,看看它们在那里的表现如何。这些
模型
是
在
GTX
GPU
机上训练和测试的。
在
tx2板
上
,Jetpack full不包含
tensorflow
。因此,
tensorflow
需要构建/安装,我已经看过几个教程并尝试过。我的python文件train.py和test.py期望
tensorflow
-
g
浏览 2
提问于2018-11-23
得票数 1
回答已采纳
0
回答
如何在inception v3训练
模型
上
运行
推理
?
tensorflow
、
imagenet
我已经成功地
在
定制200个类
上
从头开始训练了inception v3
模型
。现在我
在
我的输出目录中有了ckpt文件。如何使用这些
模型
来
运行
推理
?最好是
在
GPU
上
加载
模型
,并在
模型
保留在
GPU
上
时随时传递图像。使用
TensorFlow
服务对我来说不是一个选择。 注意:我曾尝试冻结这些
模型
,但在冻结时未能正确放置ou
浏览 5
提问于2017-11-27
得票数 0
1
回答
如何实现
tensorflow
多
GPU
代码的批归一化层
python
、
tensorflow
、
deep-learning
、
distributed-computing
、
batch-normalization
我创建了一个名为的多
GPU
网络。 我们使用tf.get_variable()而不是tf.Variable()实例化所有变量,以便在
多个
GPU
培训
运行
中共享变量。如果我们只
在
一个
GPU
上
运行
这个
模型
,我们可以通过将tf.get_variable()的所有实例替换为tf.Variable()来简化这个函数。在这种情况下,我可以使用
tensorflow
.cont
浏览 4
提问于2017-12-26
得票数 2
回答已采纳
1
回答
TensorFlow
服务频繁的请求超时
docker
、
tensorflow
、
tensorflow-serving
相反,随着
模型
请求数量的减少,超时并不重要。
在
客户端,超时配置为5秒。我们已经检查了
TensorFlow
服务日志,但没有发现警告或错误。此外,我们还监控了正在
运行
的
GPU
机器和主机对服务执行
推理
请求的网络,但也没有发现任何网络问题。时间解 减少加载和服务
模型
的数量,但不是预期的解决方案,因为这需要设置
多个
不同的
GPU
浏览 37
提问于2018-09-03
得票数 5
1
回答
Tensorflow
服务性能非常慢与直接
推理
tensorflow
、
kubernetes
、
tensorflow-serving
我
运行
在以下场景中:
推理
客户端所做的是从4个不同的摄像机(每个一个)获取图像,并将其传递给TF-用于
推理
,以便了解视频提要
上
所看到的内容。我以前通过直接调用
TensorFlow
在
推理
客户机Pods中进行
推理
,但是
在
显卡的RAM中这不是
浏览 3
提问于2020-04-02
得票数 6
1
回答
使用
GPU
训练的
模型
可以用于CPU
上
的
推理
吗?
tensorflow
、
tensorflow-serving
我想在CPU
上
运行
推理
;尽管我的机器有
GPU
。我想知道是否有可能强制
TensorFlow
使用中央处理器而不是图形处理器?默认情况下,
TensorFlow
会自动使用
GPU
进行
推理
,但由于我的
GPU
不好(OOM‘’ed),我想知道是否有设置强制
Tensorflow
使用CPU进行
推理
?
浏览 0
提问于2020-07-11
得票数 1
1
回答
我们是否可以
在
带有TensorflowLite的Raspberry Pi3
上
运行
多个
深度学习
模型
进行
推理
python-3.x
、
tensorflow
、
keras
、
tensorflow-lite
我有
多个
深度学习
模型
(比如2个),这些
模型
的输出是另一个深度学习
模型
的输入。我想在覆盆子Pi3
上
运行
它来进行
推理
。请建议解决方案。
浏览 0
提问于2019-08-27
得票数 0
2
回答
如何用Keras
在
2个
GPU
上
训练更多的
模型
?
python
、
keras
、
tensorflow
、
gpu
我有2个
GPU
类型的NVIDIA GTX 1070钛。我想用这样的方式训练更多的
模型
:一半的
模型
只
在
一个
GPU
上
训练,另一半同时
在
另一个
GPU
上
训练。因此,随着训练的进行,一个
模型
到
GPU
1,下一个
模型
到
GPU
2,.我不想在这两个
GPU
上
训练一个型号。我
在
TensorFlow
后端使用Keras
浏览 0
提问于2019-03-12
得票数 0
回答已采纳
2
回答
感流量子化
tensorflow
我想使用
Tensorflow
的transform_graph工具来优化一个图表。我试着从 (以及其他具有类似编解码结构的人)中优化图形。但是,
在
使用quantize_weights时,优化的图实际
上
要慢得多,
在
使用quantize_nodes时则要慢得多。从
Tensorflow
的文档来看,量化时可能没有任何改进,甚至可能更慢。以下是我的系统信息,供您参考: 安装自:使用TF源代码(CPU)进行图形转换,使用二进制python(
G
浏览 3
提问于2017-10-10
得票数 8
回答已采纳
1
回答
指定Torch和
Tensorflow
两种不同的
GPU
tensorflow
、
cuda
、
pytorch
、
torch
我
在
比较两个预先训练过的
模型
,一个
在
Tensorflow
,一个
在
Py手电,
在
一个有
多个
GPU
的机器
上
。每个型号适合一个
GPU
。它们都加载
在
相同的Python
脚本
中。我如何将一个
GPU
分配给
Tensorflow
模型
,另一个
GPU
分配给Py火炬
模型
?设置CUDA_VISIBLE_DEVICES=0
浏览 0
提问于2018-09-11
得票数 0
回答已采纳
1
回答
如何检查
Tensorflow
是否与C++ API一起使用CPU?
c++
、
tensorflow
、
gpu
、
cpu
我有一个C++程序,使用
Tensorflow
2
运行
卷积神经网络的
推理
。该程序
运行
在具有专用
GPU
的服务器
上
,所期望的行为是
在
GPU
上
运行
的推断。
在
GPU
出现故障时,
Tensorflow
开始使用CPU而不是
GPU
。有没有使用
Tensorflow
C++ API来检查
Tensorflow
是否正在使用CPU的方法?
浏览 3
提问于2022-10-18
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
在Docker Compose上使用GPU运行TensorFlow
FB 开源大型语言模型 LLAMA:可单 GPU 运行,为在消费级硬件上获得类似 ChatGPT 性能打开了大门
教程帖:深度学习模型的部署
蘑菇街自研服务框架如何提升在线推理效率?
腾讯开源TurboTransformers,推理性能超TensorRT
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
云直播
实时音视频
活动推荐
运营活动
广告
关闭
领券