有没有办法从triton推断服务器获取config.pbtxt文件？
有没有办法从triton推断服务器获取config.pbtxt文件？
提问于 2022-07-07 13:49:13
最近，在运行推理服务器时，我遇到了文件禁用标志“--严格-model- config =false”的解决方案。这将使您能够在从模型存储库加载模型时创建自己的配置文件。
sudo docker run --rm --net=host -p 8000:8000 -p 8001:8001 -p 8002:8002 \
-v /home/rajesh/custom_repository:/models nvcr.io/nvidia/tritonserver:22.06-py3 \
tritonserver --model-repository=/models --strict-model-config=false我想从triton推断服务器获得生成的配置文件，因为我们可以使用批处理配置和其他参数。是否有一种方法可以为我在服务器中加载的模型获取内置生成的config.pbtxt文件，以便我可以围绕批处理大小和其他参数进行操作。
回答 2
Stack Overflow用户
发布于 2022-07-08 06:19:33
根据下面链接中的引用，在使用下面的curl命令将模型存储库加载到triton服务器后，可以找到加载的模型配置。
命令：
curl localhost:8000/v2/models/<model_name>/configStack Overflow用户
发布于 2022-07-20 05:56:15
使用curl命令的上述答案将返回json响应。
如果结果应该是protobuf格式，请尝试使用具有严格模型配置的triton推断服务器加载模型，并使用下面的python脚本获取结果，该脚本将以必要的protobuf格式返回结果。使用它来获取模型的格式，并根据配置pbtxt文件中的需要轻松地编辑它，而不是用cnoverting来生成protobuf结果。
import tritonclient.grpc as grpcclient
triton_client = grpcclient.InferenceServerClient(url=<triton_server_url>)
model_config = triton_client.get_model_config(model_name=<model_name>, model_version=<model_version>)页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/72899024
复制相关文章
相似问题
腾讯云开发者
