本指导适用于在 TencentOS Server 3 上以 Docker 的方式运行主要深度学习推理框架及热门模型。
硬软件环境
Description: TencentOS Server release 3.1 (Final)。
Architecture: x86_64。
CPU op-mode(s): 32-bit, 64-bit。
CUDA Version: 12.2。
GPU: NVIDIA L40。
操作系统详情：
CPU 详情：
GPU 详情：
PCI 总线设备情况：
指南目录
环境准备（必做）
环境准备
TendorRT
ResNet
Bert
vLLM
opt
LLaMA
TensorRT-LLM
Baichuan
ChatGLM
OpenVINO
CLIP
BLIP
HuggingFace TGI（Text Generation Inference）
LLaMA
Baichuan
LMDeploy
ChatGLM
LLaMA
