我试图运行NVIDIA的Triton推理服务器。我提取了预构建的容器nvcr.io/nvidia/py手电筒:22.06py3,然后使用命令运行它
run --gpus=1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/F/models:/models nvcr.io/nvidia/pytorch:22.06-py3 tritonserver --model-repository=/models
得到了错误
/opt/nvidia/nvidia_entrypoint.sh: line 49: exec: tritonserver: not found
我在谷歌上搜索了一下,还没找到什么能捕捉到这个的东西。我试图按照建议将tritonserver更改为trtserver,但没有帮助。请给出一些如何解决这个问题的建议。
发布于 2022-07-14 17:36:26
看起来您正在尝试使用tritonserver
映像运行pytorch
,但是according to the 应该是:
$ docker run --gpus=1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/full/path/to/docs/examples/model_repository:/models nvcr.io/nvidia/tritonserver:<xx.yy>-py3 tritonserver --model-repository=/models
其中是您想要使用的Triton的版本
在您的例子中,应该是nvcr.io/nvidia/tritonserver:22.06-py3
和完整的命令:
run --gpus=1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/F/models:/models nvcr.io/nvidia/tritonserver:22.06-py3 tritonserver --model-repository=/models
https://stackoverflow.com/questions/72881779
复制相似问题