多gpu推理tensorflow

文章/答案/技术大牛

发布

1回答

tensorflow、keras

我想使用tensorflow/Keras执行多gpu推理 model = modellib.MaskRCNN(mode="inference", model_dir=MODEL_DIR,

浏览 16提问于2019-07-10得票数 0

回答已采纳

2回答

我有一个带有多个GPU的服务器，希望在java应用程序中的模型推断过程中充分利用它们。默认情况下，tensorflow捕获所有可用的GPU，但只使用第一个GPU。使用tf.device()规范在python中以多塔式方式构建模型。在java方面，在共享会话中为不同的Predictor提供不同的塔。我觉得自己笨手笨脚，愚蠢至极。byte[] graphDef，int deviceIdx)抛出InvalidProtocolBufferException { String deviceString = Str

浏览 3提问于2017-12-13得票数 11

2回答

如何使用Tensorflow对象检测API启用多GPU训练

tensorflow、deep-learning

我正在尝试使用TensorFlow对象检测应用编程接口执行多GPU训练。我在我的NVIDIA-SMI中看到的是，实际上只有1个GPU被使用。提供的其他3个GPU加载了GPU进程，但内存使用率为300MB，利用率始终为0% 我使用在COCO上预先训练的基于固态硬盘MobileNetV1的网络，然后用我的自定义数据集对其进行训练。我希望当我为Tensorflow提供更多的GPU时，框架实际上会使用它们来加速训练。

浏览 49提问于2019-10-09得票数 3

1回答

使用GPU训练的模型可以用于CPU上的推理吗？

tensorflow、tensorflow-serving

我想在CPU上运行推理；尽管我的机器有GPU。我想知道是否有可能强制TensorFlow使用中央处理器而不是图形处理器？默认情况下，TensorFlow会自动使用GPU进行推理，但由于我的GPU不好(OOM‘’ed)，我想知道是否有设置强制Tensorflow使用CPU进行推理？

浏览 0提问于2020-07-11得票数 1

1回答

在C++应用程序中使用Tensorflow :如何释放图形处理器内存

c++、tensorflow、memory、gpu

我正在尝试使用Tensorflow在我的C++应用程序中进行推理。应用程序的其他部分需要访问大量的GPU内存(与Tensorflow不完全相同)。然而，一旦Tensorflow被用于执行推理，它就会占用GPU内存，并在应用程序结束之前不会释放它。理想情况下，在推断之后，我将能够释放Tensorflow使用的GPU内存，以允许其他算法使用GPU。还有没有人遇到过这个问题，你找到解决方案了吗？

浏览 6提问于2018-09-05得票数 2

1回答

一个简单的TensorFlow示例将模型的一个副本加载到每个可用的GPU上

tensorflow、tensorflow-gpu

我正在考虑将不同的产生式机器学习框架移植到TensorFlow。在我们目前的训练和推理系统中，我们将模型的副本加载到与机器上一样多的GPU上。我现在想保持这种负载平衡的方式。在哪里可以找到一个简单的示例，将TF模型的一个副本加载到机器上可用的每个GPU上？

浏览 4提问于2017-10-17得票数 1

2回答

如何使用tf.lite.Interpreter (python中的)来运行tflite模型(*.tflite)？

python、tensorflow、interpreter、tensorflow-lite

根据https://www.tensorflow.org/lite/convert的指示，我已经将tensorflow推理图转换为tflite模型文件(*.tflite)。我在我的GPU服务器上测试了tflite模型，它有4个Nvidia TITAN GPU。我使用tf.lite.Interpreter加载并运行了tflite模型文件。它像以前的tensorflow图一样工作，然而，问题是推理变得太慢了。当我检查原因时，我发现tf

浏览 45提问于2019-09-05得票数 3

1回答

如何检查Tensorflow是否与C++ API一起使用CPU？

c++、tensorflow、gpu、cpu

我有一个C++程序，使用Tensorflow 2运行卷积神经网络的推理。该程序运行在具有专用GPU的服务器上，所期望的行为是在GPU上运行的推断。在GPU出现故障时，Tensorflow开始使用CPU而不是GPU。有没有使用Tensorflow C++ API来检查Tensorflow是否正在使用CPU的方法？在C++失败的情况下，是否有任何方法可以避免Tensorflow切换到CPU？

浏览 3提问于2022-10-18得票数 1

回答已采纳

1回答

如何验证Tensorflow服务是否在GPU实例上使用GPU？

tensorflow、tensorflow-serving

在运行Tensorflow服务时，如何验证它使用GPU服务？将Tensorflow配置为在./配置期间使用GPU。尝试在运行推理时监视nvidia-smi，它显示没有找到正在运行的进程。

浏览 1提问于2017-03-06得票数 1

1回答

如何实现tensorflow多GPU代码的批归一化层

python、tensorflow、deep-learning、distributed-computing、batch-normalization

我创建了一个名为的多GPU网络。我们使用tf.get_variable()而不是tf.Variable()实例化所有变量，以便在多个GPU培训运行中共享变量。如果我们只在一个GPU上运行这个模型，我们可以通过将tf.get_variable()的所有实例替换为tf.Variable()来简化这个函数。在这种情况下，我可以使用tensorflow.contrib.slim.batch_norm吗？该示例不包含任何关于批处理规范层的建议。

浏览 4提问于2017-12-26得票数 2

回答已采纳

2回答

Nvidia Jetson上的Tensorflow Lite

python、tensorflow、gpu、nvidia-jetson、tensorflow-lite

有人在Nvidia Jetson产品上使用过Tensorflow Lite吗？我想使用我的Jetson Nano进行推理，并希望使用GPU与tf-lite进行推理。令人困惑的是，。是否可以选择使用完整的Tensorflow库(我不希望使用Nvidia TensorRT引擎)？

浏览 3提问于2020-03-27得票数 3

1回答

如何使用nvlink GPU创建Tensorflow会话

c++、tensorflow、nvidia

我试着用Tensorflow进行推理。我有两个象限my 100的连接通过nvlink和另一个GPU显示在我的桌面上。创建SessionOptions对象时，需要调用以下命令来设置要使用的GPU：options.config.mutable_gpu_options()->set_visible_device_list(gpuToUse); 似乎Tensorflow并不认为nvlink‘’ed是一体的，如果我只指定一个

浏览 0提问于2019-01-04得票数 2

1回答

GPU与tensorflow安装的兼容性

tensorflow、gpu

我需要安装带有GPU支持的Tensorflow。在我购买GPU之前，我需要知道GPU是否与Tensorflow兼容。在Tensorflow安装页面中，带有GPU的Tensorflow选项是软件需求。必须在您的系统上安装以下NVIDIA软件：

浏览 2提问于2018-10-18得票数 0

1回答

TensorFlow Lite GPU计算比CPU计算慢得多

android-studio、tensorflow、tensorflow-lite

在计算机GPU计算上大大加快了推理速度，但在我的手机上，GPU上的推理速度比CPU慢约30倍。对于我输入的所有输入数组，n都在400-800之间，但是我尝试了一个更大的n，看看是否我注意到的减慢是由于运行GPU推理时创建了一个委托内核。对于较大的n，GPU的推理时间接近CPU，这让我认为GPU代理可能只是在我手机的CPU上进行计算。CPU: 949ms GPU: 1490ms 请注意，GPU时间似乎

浏览 36提问于2020-07-15得票数 1

1回答

在多个GPU上运行Tensorflow模型推理脚本

tensorflow、scoring、multi-gpu

我正在尝试从tensorflow对象检测API运行模型评分(推理图)，以便在多个GPU上运行它，尝试在主GPU中指定GPU编号，但它只在单个GPU上运行。placed GPU utilization snapshot here 使用tensorflow-gpu==1.13.1，您能指出我在这里遗漏了什么吗？for i in range(2): with tf.device('/gpu</em

浏览 15提问于2019-10-15得票数 0

1回答

以keras和tensorflow为后端在aws sagemaker中配置GPU

tensorflow、keras、amazon-sagemaker

FROM tensorflow/tensorflow:1.10.0-gpu-py3 @app.route('/ping', methods=['GET']) keras.backend.t

浏览 0提问于2018-12-11得票数 4

回答已采纳

1回答

如何在多个GPU上使用TensorRT运行推理？

tensorrt

我将resnet50 TensorFlow模型转换为TensorRT引擎。当我运行推断时，它只使用我的一个GPU。我有两个RTX3090图形处理器。如何在多个GPU上运行推理？

浏览 9提问于2022-01-31得票数 0

2回答

Tensorflow模型(.pb)有设备信息吗？

tensorflow、model、device

我正在运行一个TF应用程序，用于对给定模型进行推理。然而，它不是在GPU上运行，而是在CPU上运行，尽管tensorflow库是在启用CUDA的情况下构建的。为了深入了解TF模型，tensorflow模型(.pb)是否像tf.device(/cpu:0)或tf.device(/gpu:0)一样具有设备信息？

浏览 1提问于2017-07-28得票数 1

1回答

GPU在Tensorflow中的物理设备中列出，但在逻辑设备中没有列出

python、tensorflow

我试图在GPU上运行Tensorflow模型的推断，但它使用的是CPU。我可以确认它使用的是CPU，因为推理时间非常长，而且nvidia-smi没有显示process。为了调试这一点，我在Tensorflow中列出了物理和逻辑设备。我可以看到物理设备列表包含GPU，但是逻辑设备列表不包含GPU。我能做些什么来修复这个问题并在GPU上运行我的模型推断呢？我正在使用Tensorflow 2.4.4。tf.config.list_physical_devic

浏览 11提问于2022-02-24得票数 0

1回答

Tensorflow自动使用多个CPU吗？

tensorflow、deep-learning、c-api

我编写了一些代码，用Tensorflow的CPU(仅限于CPU)进行推理。它运行在一个集群节点上，在那里我可以访问24个GPU和1个GPU。我不使用GPU，因为我将需要做的任务CPU-只是稍后。不知怎么的，每次我从另一个程序(OpenFOAM)调用Tensorflow代码时，Tensorflow似乎都运行在所有并行的CPU上。然而，我没有做任何事情来造成这种行为。现在我想知道Tensorflow在默认情况下是否存在这种并行化？提前向大家问好，谢谢！

浏览 1提问于2019-05-17得票数 1

点击加载更多