在许多应用程序中，我们在一个GPU上部署了多个经过训练的NN模型。此外，为了充分发挥GPU的计算能力，我们还必须使用多线程技术。例如，在我的应用程序中有两个不同的tensorflow CNN模型，我想在两个不同的线程中运行(即推断/部署)它们。cnn2_model_run,args=...)
thread_0.start()然而，结果表明，这两个cnn模型<
浏览 3提问于2017-06-03得票数 1
4回答
类似于，我正在运行一种异步强化学习算法，需要在多个线程中运行模型预测，以便更快地获得训练数据。我的代码基于 on GitHub，它的神经网络建立在Keras & Tensorflow之上。__init__() self.env = env_ # type: Environment self.actor = actor_ # type: ActorNetwork # TODO:使用q( a# type: float self.n_step = n_step_ # type: int
浏览 2提问于2017-03-31得票数 23
我有一个模型，比方说mymodel和两个不同的数据集：setA，setB。经过培训(在我的本地机器中) setA和setB，tensorflow服务分别创建了两个不同的目录：100、200 for setA和setB。在码头中托管模型100 200
root@ccb58054cae5:/# bazel-bin/tensorflow_serving&> log &
浏览 2提问于2017-12-14得票数 1
1回答
在Tensorflow 2中，在用tf.saved_model.load(my_model)加载保存的模型之后，如何使用相同的模型(而不是图)运行多个预测？import tensorflow as tftf.saved_model.lo
浏览 5提问于2020-02-14得票数 0
回答已采纳
1回答
日志和截图减少加载和服务模型的数量，但不是预期的解决方案，因为这需要设置多个不同的GPU实例，每个实例只加载和服务模型的一个子集。Serving version: 1.9 TensorFlow serving在多个AWSg2.2xlarge实例上运行</em
浏览 37提问于2018-09-03得票数 5
目前我正在构建一个Tensorflow图，然后在C++中执行图形->getSession()C++(输入、模型、输出)通过并行执行多个会话，处理时间是否是恒定的？示例:如果一个会话花费100 ms，那么同时运行两个会话大约需要100 ms。
注意:我想在CPU上运行这个程序。
浏览 1提问于2018-06-11得票数 1
2回答
我有一个flask应用程序，它首先加载一个keras模型，然后执行预测函数。根据this answer，我将tensorflow图保存在一个全局变量中，并将相同的图用于预测函数。@app.route('/predict', methods=['GET']) load_model()
predict() 然而，当多个请求被发送到服务器时如何使此代码线程安全，或者更具体地说，如何在多线程环境中正确
浏览 4提问于2019-01-10得票数 3
回答已采纳
1回答
我对使用tensorflow发球有一些问题。
我使用tensorflow服务将我的tensorflow模型部署为RESTful API。但我怀疑tf服务服务器是否支持多线程。我还注意到tensorflow_model_server有--tensorflow_session_parallelism选项，但使用该选项会使服务器速度更慢。是否有任何关于使用tensorflow与多
浏览 1提问于2017-12-15得票数 6
我在CPU上运行下面所有的代码。我运行示例ensorflow/examples/label_image耗时7~8秒。据我所知，TensorFlow花费了0.5秒来处理相同的样本，这是因为“python会话对象是多线程的，所以多个线程可以很容易地使用相同的会话并并行运行ops”。但是，我如何在C++的会话中设置多线程。
我所尝试的..。我在"tensorflow/tensorflow</e
浏览 11提问于2017-01-18得票数 6
，因为我会浪费资源，即cifar10_eval.py将运行的GPU。2)使用权重共享( tensorflow/models/image/mnist/convolutional.py )创建验证模型。好得多，但我不喜欢我需要记住所有的模型参数，我确信在TensorFlow中有一种更好的共享参数的方法，即我可以复制模型并说它是用于参数共享的，但是输入提要是不同的吗？3)我目前正在做的是使用tf.placeholder
浏览 2提问于2016-10-24得票数 1
回答已采纳
1回答
我需要运行python脚本，在其中加载几个(~15)大模块，包括keras和加载几个(大约20)个LSTM模型，以及大量的计算数据。这些脚本有几个方法，需要为一个强化学习问题构建一个环境类。这个过程在我的16 of内存i7 CPU上似乎运行得非常慢(还没有尝试多处理模块，但可能无法工作，因为大多数任务不是并行性友好的)。
浏览 0提问于2018-08-02得票数 0
0回答
如何在多核上运行Keras？
、、、、
我在集群上使用带有Tensorflow后端的Keras (创建神经网络)。我如何在集群上以多线程方式运行它(在多个内核上)，或者这是由Keras自动完成的吗？例如，在Java中，可以创建多个线程，每个线程在一个核心上运行。
如果可能，应该使用多少核？
浏览 3提问于2017-01-11得票数 19
回答已采纳
但是，我想知道是否可以通过对tensorflow.keras的Model类进行子类化来实现它。使用更典型的方式，通过子类化Model的类来实现模型，提供了对轻松加载和保存Keras模型的支持，而不需要任何其他代码，然后在运行时(一次)调用predict。这在使用Tensorflow服务时可能特别有用，但在通过其他Python脚本加载它时也已经增加了一些舒适性。(例如，在比较多个不同的模型时。)
浏览 0提问于2020-04-24得票数 1
1回答
我正在尝试使用tensorflow创建一个android应用程序来进行对象分类。我使用MobileNet-SSD训练了一个简单的模型。我根据给定的的guid行创建了应用程序。它与示例中使用的模型一起工作得很好，但对于我创建的模型，它给了我以下错误：
Caused by: java.lang.RuntimeException: Node 'output' does not existin model 'file://&#x
浏览 14提问于2017-08-13得票数 1
回答已采纳
我正在尝试在没有GPU支持的SLF6上运行tensorflow 1.13.1和Python 2.7。当我启动我的模型时，tensorflow似乎正在产生多个子进程，并并行运行我的模型，试图加载系统中的每个核心。虽然在大多数情况下，这可能是一个人想要的，但这不是我的情况。我只想在单核上运行我的模型。OMP_NUM_THREADS=1export KMP_AFFINITY=
浏览 32提问于2019-05-07得票数 0
回答已采纳
我使用以下内容:Python3.6.4Keras = 2.3.0， model_path = self.conf["model_path"] // path in conf to
浏览 15提问于2019-09-19得票数 18
回答已采纳
1回答
.lite和.tflite格式(TensorFlow格式)有什么区别？如果没有区别，为什么会有两个呢？
除了这个问题，我似乎无法将带有.lite扩展文件的模型上传到Firebase工具包。
浏览 0提问于2018-08-31得票数 4
回答已采纳
我使用的是keras 2.0.8和tensorflow 1.3.0后端。from keras import backend as K
return self.cnn_model.predict(X)
我
浏览 1提问于2017-10-13得票数 14
回答已采纳
1回答
我试图使用多个GPU在vast.ai上运行一个keras模型。为此，我使用的是keras.utils.multi_gpu_model，但是一直存在以下错误： model = multi_gpu_model(model)
我<
浏览 0提问于2020-02-05得票数 1
我有一个Python应用程序，它提供TensorFlow / Keras模型推理服务。可以为多个不同的客户端同时加载和使用多个不同的此类模型。客户端可以请求加载另一个模型，但这对其他客户端没有任何影响(即它们的模型保留在内存中并按其本身使用，因此每个客户端都可以请求加载另一个模型，而不管其他客户端的状态如何)。当客户端请求加载一个新<e
浏览 3提问于2021-01-14得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
