首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >Triton推理服务器- tritonserver:未找到

Triton推理服务器- tritonserver:未找到
EN

Stack Overflow用户
提问于 2022-07-06 10:18:41
回答 1查看 356关注 0票数 0

我试图运行NVIDIA的Triton推理服务器。我提取了预构建的容器nvcr.io/nvidia/py手电筒:22.06py3,然后使用命令运行它

代码语言:javascript
运行
复制
run --gpus=1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/F/models:/models nvcr.io/nvidia/pytorch:22.06-py3 tritonserver --model-repository=/models

得到了错误

代码语言:javascript
运行
复制
/opt/nvidia/nvidia_entrypoint.sh: line 49: exec: tritonserver: not found

我在谷歌上搜索了一下,还没找到什么能捕捉到这个的东西。我试图按照建议将tritonserver更改为trtserver,但没有帮助。请给出一些如何解决这个问题的建议。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2022-07-14 17:36:26

看起来您正在尝试使用tritonserver映像运行pytorch,但是according to the 应该是:

代码语言:javascript
运行
复制
$ docker run --gpus=1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/full/path/to/docs/examples/model_repository:/models nvcr.io/nvidia/tritonserver:<xx.yy>-py3 tritonserver --model-repository=/models

其中是您想要使用的Triton的版本

在您的例子中,应该是nvcr.io/nvidia/tritonserver:22.06-py3和完整的命令:

代码语言:javascript
运行
复制
run --gpus=1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/F/models:/models nvcr.io/nvidia/tritonserver:22.06-py3 tritonserver --model-repository=/models
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/72881779

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档