TACO LLM 安装

最近更新时间:2024-12-27 21:30:43

我的收藏

环境准备

TACO-LLM 需要依赖 GPU 相关的基础软件,如 GPU 驱动 /CUDA 等。为了避免基础软件依赖导致 TACO-LLM 无法正常运行,我们提供了 TACO-LLM docker环境镜像,建议您优先使用该镜像作为 TACO-LLM 的运行环境。按照如下命令可以获取 docker 镜像并启动容器环境:
docker run -it \\
--privileged \\
--net=host \\
--ipc=host \\
--shm-size=16g \\
--name=taco_llm \\
--gpus all \\
-v /home/workspace:/home/workspace \\
ccr.ccs.tencentyun.com/taco/tacollm-dev:latest /bin/bash

安装 whl 包

说明:
如果您有任何业务需求需要试用 TACO-LLM,请通过在线售后联系 TACO 团队。
1. 通过在线售后获取 TACO-LLM whl 安装包之后,可以按照如下命令在容器环境中安装 TACO-LLM:
pip3 install taco_llm-${version}-cp310-cp310-linux_x86_64.whl
2. 安装 TACO-LLM whl 包时,会自动安装相关的 python 依赖包。