环境准备
TACO-LLM 需要依赖 GPU 相关的基础软件,如 GPU 驱动 /CUDA 等。为了避免基础软件依赖导致 TACO-LLM 无法正常运行,我们提供了 TACO-LLM docker环境镜像,建议您优先使用该镜像作为 TACO-LLM 的运行环境。按照如下命令可以获取 docker 镜像并启动容器环境:
docker run -it \\--privileged \\--net=host \\--ipc=host \\--shm-size=16g \\--name=taco_llm \\--gpus all \\-v /home/workspace:/home/workspace \\ccr.ccs.tencentyun.com/taco/tacollm-dev:latest /bin/bash
安装 whl 包
说明:
1. 通过在线售后获取 TACO-LLM whl 安装包之后,可以按照如下命令在容器环境中安装 TACO-LLM:
pip3 install taco_llm-${version}-cp310-cp310-linux_x86_64.whl
2. 安装 TACO-LLM whl 包时,会自动安装相关的 python 依赖包。