沐曦 MetaX 部署实践

# 检查 CPU 架构
uname -m
 
# 检查操作系统版本
lsb_release -a
 
# 检查内核版本
uname -r
# 如内核版本不满足需求，请先升级至指定内核并设置成默认启动内核
dnf install kernel-6.6.98-40.2.tl4
 
# 检查是否已安装旧版驱动
yum list installed | grep metax-driver
# 如已安装旧驱动，请执行 
yum remove metax-driver
 
# 检查 GPU 设备是否识别
lspci | grep 9999

dnf install epol-extras-release

dnf install metax-driver-3.1.0.26

# 查看当前固件版本
mx-smi --show-version
 
# 升级固件（需root）
sudo mx-smi -u /lib/firmware/metax/mxc500/mxvbios-xxx.bin -t 600

dnf install mxgvm-3.0.26

mx-smi 

dnf install maca_sdk

dnf install -y git cmake
export MACA_PATH=/opt/maca
wget https://gitee.com/metax-maca/cu-bridge/repository/archive/3.1.0.zip
unzip 3.1.0.zip
mv cu-bridge-3.1.0 cu-bridge
sudo chmod 755 cu-bridge -Rf
cd cu-bridge
mkdir build && cd ./build
cmake -DCMAKE_INSTALL_PREFIX=/opt/maca/tools/cu-bridge ../
make && make install
 
export MACA_PATH=/opt/maca
export CUCC_PATH=/opt/maca/tools/cu-bridge
export PATH=$PATH:${CUCC_PATH}/tools:${CUCC_PATH}/bin
export CUCC_CMAKE_ENTRY=2        # 选择使用 cu-bridge 模拟 CMake 服务
export CUDA_PATH=${CUCC_PATH}    # CUDA_PATH 入口重定向到 cu-bridge 安装位置

docker run -it --restart=always --device=/dev/dri --device=/dev/mxcd --device=/dev/infiniband --group-add video --name deepspeed_test --network=host --security-opt seccomp=unconfined --security-opt apparmor=unconfined --shm-size 100gb --ulimit memlock=-1 --privileged=true -v /home:/home [image_id] bash

# 安装 metax-docker
mkdir metax-docker
tar -C metax-docker -xvf metax-docker_0.13.1.tar
cd metax-docker
sudo ./metax-docker_0.13.1.<ARCH>.run

# 在容器中使用曦云GPU
metax-docker run -it --rm --gpus=all user-application:1.0 /bin/bash

# 安装依赖
dnf install pip curl 

# 下载 modelscope
pip install modelscope

# 拉取大模型（以 Qwen 为例）
modelscope download --model 'Qwen/Qwen2-7b'

# 运行服务
vllm serve /root/.cache/modelscope/hub/models/Qwen/Qwen2-7b --port 8000 --served-model-name Qwen2-7b --served-model-name Qwen/Qwen2-7b

# 另起终端利用 curl 对话
curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json"     -d '{"model": "Qwen/Qwen2-7b","messages": [{"role": "system", "content": "你是一个有帮助的助手"},{"role": "user", "content": "法国首都在哪？"}],"max_tokens": 100,"temperature": 0.7}'