如何使用max_batch_size、batch_timeout_micros、num_batch_threads等参数进行批处理性能调优？尝试在查询客户端中使用这些参数，但不起作用。在下面的示例中，我有100个图像，我希望批处理大小为10。查询针对所有图像运行，而不是10。bazel-bin/tensorflow_serving/example/demo_batch --server=localhost:9000 --max_batch_size=10
另外，对于批
浏览 22提问于2017-03-07得票数 4
当在Keras模型中定义自定义丢失时，在线源似乎表明损失应该返回一个值数组(批处理中的每个样本都会丢失一个值)。squared_difference, axis=-1)
在上面的示例中，我不知道模型何时或是否采用批处理和或
浏览 6提问于2020-11-11得票数 2
回答已采纳
我有一个小型的web服务器，它可以获得句子的输入，并且需要使用Tensorflow服务返回模型预测。它可以很好地使用我们的单个GPU，但是现在我希望能够进行批处理，这样Tensorflow服务就可以在GPU上对传入的句子进行分组，然后将它们合并在一起处理。我使用的是和，使用了Tensorflow服务的初始版本。日志记录确实确认已启用批处理，并且正在使用GPU。
但是，当向服务服务器发送请求时，<em
浏览 0提问于2017-05-29得票数 9
回答已采纳
我是TensorFlow的新手，在修改一些示例以使用带有输入函数的批处理/流处理时遇到了麻烦。更具体地说，修改此脚本以使其适合于在Google Cloud ML上进行培训和服务部署的“最佳”方法是什么？我知道如何处理pandas，但在那里我不能将转换应用于批处理(使用chunk_size参数)。如果我能在TensorFlow中重用我的pandas预处理管道，我会非常高兴。
浏览 1提问于2017-04-23得票数 0
在Keras中，为什么input_shape在将批处理维度作为参数传递给像Dense这样的层时不包含批处理维度，而在将input_shape传递给模型的build方法时却包含批处理维度？import tensorflow as tf model1
浏览 3提问于2020-11-04得票数 13
回答已采纳
1回答
有趣的是，批处理的最大持续时间约为700ms，配置的最大批处理大小为10。平均批处理持续时间约为60ms。我们已经检查了TensorFlow服务日志，但没有发现警告或错误。时间解操作系统平台和发行版(例如，Linux Ubuntu 16.04)：Ubuntu 16.04 TensorFlow Serving安
浏览 37提问于2018-09-03得票数 5
现在，我尝试在这个UI中使用经过训练的tensorflow文件。(这个tensorflow文件位于python下面)请写出你的意见，其中有更多的优点或较少的缺点。
浏览 0提问于2018-02-06得票数 0
回答已采纳
1回答
BERT的最佳批次和周期数
、、、、
我使用本教程https://www.tensorflow.org/text/tutorials/classify_文本_使用_伯特，并根据时间号和批处理大小获得不同的精度。什么是最优参数？
浏览 0提问于2021-11-14得票数 1
回答已采纳
我试图使用docker组合(服务模型+微服务)运行tensorflow服务，但是tensorflow服务容器失败，错误出现在下面，然后重新启动。microservice | To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
tensorflow-serving | terminate called after
浏览 15提问于2022-09-12得票数 0
目前，我想使用TensorFlow服务来服务这个模型。我只想知道在服务过程中使用GPU是否对性能有相同的影响？由于培训适用于批处理，但是推断(服务)使用异步请求，您是否建议在使用TensorFlow服务为模型服务时使用GPU？
浏览 12提问于2017-05-23得票数 3
回答已采纳
如何限制tensorflow_model_server一次处理一个请求？由于CPU和RAM的使用，处理多个请求会导致系统崩溃。理想情况下，我希望其他请求排在后面，一个接一个地处理。我目前尝试将参数grpc.max_concurrent_streams=1作为tensorflow_model_server下的--grpc_channel_arguments的一部分传入，但似乎不起作用我已经考虑过使用像Redis Queue/Celery这样的进程队列，但这并不理想，因为我通过API调用Tensorflow的推理，并
浏览 1提问于2018-09-27得票数 0
使用model.fit和batch_size参数运行steps_per_epoch时，会收到以下错误：
我知道这两个参数在某种程度上是等价的。但是，在我的膝上型计算机上(使用带有2GB VRAM的GeForce 940 M显卡并训练cifar10数据集)，当我运行model.fit时，
浏览 1提问于2018-05-10得票数 2
回答已采纳
1回答
我想从零开始实现resnet 50，它是由原著作者在caffe中实现的，但是我想要tensorflow实现，因为这个存储库:和这个映像：，我知道每个等价的(在tensorflow中)，但是我不知道在批处理规范化之后，规模的含义，你能解释一下批次规范中的“使用全局状态”参数的含义吗？
浏览 1提问于2017-11-12得票数 1
回答已采纳
1回答
我正在尝试使用Keras和tensorflow后端在带有GPU的远程服务器上训练我的深度学习代码。然而，即使是GPU服务器也会声明OOM。下面是输出：
2018-02-09 14:19:28.918619: I tensorflow/core/common_runtime/bfc_allocator.cc:685]统计:限制: 10658837300****************************************************************xxxxxx201
浏览 3提问于2018-02-12得票数 0
在TensorFlow中，批处理规范化参数包括beta、gamma、moving mean和moving variance。但是，为了初始化这些参数，tf.contrib.layers.batch_norm(*args, **kwargs)中只有一个名为param_initializers的参数，根据文档，它包含beta、gamma如何使用param_initializers初始化这些参数？
浏览 2提问于2017-02-14得票数 0
回答已采纳
1回答
我正在尝试使用来自tensorflow的retrain.py (实际上可以在集线库中获得)在经过再培训的初始空间模型上使用批处理请求。不幸的是，我没有找到任何可用的文档。基本上，我使用inception_client.py在码头容器上执行对tensorflow_model_server的请求，当有一个映像(即使使用参数--enable_batching)时，它工作得很好我尝试使用一个由10个图像组成的堆叠列表，使用tf.stack()测试批处理，但它会引发以下异常：
AbortionError(code
浏览 1提问于2018-09-28得票数 0
如果模型的每个输入都有更多的参数。说，[1,2，2,3，3,4...]而不是1，2，3，4，...，它不能使用legacy_seq2seq来拥有批处理方法。那么，如何使用tensorflow实现批处理方法中的多维输入rnn呢？或者它不存在？
浏览 13提问于2018-01-12得票数 0
我正在使用CIFAR10示例运行分布式Tensorflow，该示例包含多达128个工作人员和1个参数服务器。这种差异对性能有影响，因为将批处理划分到太多的工作人员会导致过多的通信和计算不足。
浏览 2提问于2016-10-07得票数 1
回答已采纳
1回答
云ML模型预测
、、、
我已经在云ML中部署了tensorflow保存的模型，用于文本分类，如下所示： keep_prob: shape: (-1) Method name is: tensorflow
浏览 0提问于2018-08-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
腾讯会议活动推荐
腾讯云开发者
