本文旨在介绍 TI-ONE 平台进行大模型推理时，可保障模型正常运行的配置资源，仅供您参考。
内置大模型的推理资源指南
注意：
1. 各机型库存及价格请前往CVM 控制台查看，可参考CVM-实例创建指引。其中 PNV6/HCCPNV6 机型需联系您所对接的腾讯云销售进行开通和购买。
2. 在部署 DeepSeek V3 或R1模型时，如仅需低并发体验，可使用单节点部署；如果您对推理性能以及上下文长度有较高要求，且算力资源充足，推荐使用至少2节点部署。
3. 下表的推理资源配置略小于 CVM 实例配置，是因为 TI 平台管理 CVM 机器时将占用少量资源。例如：某 CVM 实例规格包含 128核，添加至资源组后的可用资源为125.6核。
内置大模型 | 模型清单 | 推理资源推荐 | |
| | 机器来源：从 CVM 机器中选择（包年包月） | 机器来源：从 TIONE 平台购买（按量计费） |
Hunyuan-Large | hunyuan-large-chat | 部署方式：标准部署（开 nf4 量化） 【推荐配置1】 CVM 实例规格：PNV6.96XLARGE2304 CVM 实例配置：384C2304GB 8卡 推理资源配置：380C2214GB 8卡 【推荐配置2】 CVM 实例规格：HCCPNV4h.48XLARGE1024 CVM 实例配置：192核1024GB 8卡A100 推理资源配置： 189核980GB 8卡A100 | – |
DeepSeek 系列模型 | DeepSeek-V3 | 【单节点】 CVM 实例规格：PNV6.32XLARGE1280 CVM 实例配置：128C1280GB 8卡 部署方式：标准部署 推理资源配置：125C1207GB 8卡 【多节点】 CVM 实例规格：HCCPNV6.96XLARGE2304 CVM 实例配置：384C2304GB 8卡 部署方式：多机分布式部署 节点数量：2个 推理资源配置（每节点）：380C2214GB 8卡 | 部署方式：标准部署 算力规格：128C1280GB GPU*8（PNV6.32XLARGE1280） |
| DeepSeek-R1 | 【单节点】 CVM 实例规格：PNV6.32XLARGE1280 CVM 实例配置：128C1280GB 8卡 部署方式：标准部署 推理资源配置：125C1207GB 8卡 【多节点】 CVM 实例规格：HCCPNV6.96XLARGE2304 CVM 实例配置：384C2304GB 8卡 部署方式：多机分布式部署 节点数量：2个 推理资源配置（每节点）：380C2214GB 8卡 | 部署方式：标准部署 算力规格：128C1280GB GPU*8（PNV6.32XLARGE1280） |
| DeepSeek-R1-Distill-Qwen-1.5B | CVM 实例规格：GNV4.3XLARGE44 CVM 实例配置：12C44GB 1卡A10 部署方式：标准部署 推理资源配置：11C35GB 1卡A10 | 部署方式：标准部署 算力规格：12C44GB 1卡A10 |
| DeepSeek-R1-Distill-Qwen-7B | CVM 实例规格：GNV4.3XLARGE44 CVM 实例配置：12C44GB 1卡A10 部署方式：标准部署 推理资源配置：11C35GB 1卡A10 | 部署方式：标准部署 算力规格：12C44GB 1卡A10 |
| DeepSeek-R1-Distill-Llama-8B | CVM 实例规格：GNV4.3XLARGE44 CVM 实例配置：12C44GB 1卡A10 部署方式：标准部署 推理资源配置：11C35GB 1卡A10 | 部署方式：标准部署 算力规格：12C44GB 1卡A10 |
| DeepSeek-R1-Distill-Qwen-14B | 【推荐配置1】 CVM 实例规格：PNV6.4XLARGE160 CVM 实例配置：16C160GB 1卡GPU 推理资源配置：15C144GB 1卡GPU 【推荐配置2】 CVM 实例规格：PNV5b.8XLARGE96 CVM 实例配置：32C96GB 1卡L20 推理资源配置： 30C80GB 1卡L20 部署方式：标准部署 | 【推荐配置1】 部署方式：标准部署 算力规格：16C160GB GPU*1（PNV6.4XLARGE160） 【推荐配置2】 部署方式：标准部署 算力规格：32C96GB 1卡L20 |
| DeepSeek-R1-Distill-Qwen-32B | 【推荐配置1】 CVM 实例规格：PNV6.4XLARGE160 CVM 实例配置：16C160GB 1卡 推理资源配置：15C144GB 1卡 【推荐配置2】 CVM 实例规格：PNV5b.16XLARGE192 CVM 实例配置：64C192GB 2卡L20 推理资源配置：62C172GB 2卡L20 部署方式：标准部署 | 【推荐配置1】 部署方式：标准部署 算力规格：16C160GB GPU*1（PNV6.4XLARGE160） 【推荐配置2】 部署方式：标准部署 算力规格：64C192GB 2卡L20 |
| DeepSeek-R1-Distill-Llama-70B | 【推荐配置1】 CVM 实例规：PNV6.8XLARGE320 CVM 实例配置1：32C320GB 2卡GPU 推理资源配置：31C290GB 2卡GPU 【推荐配置2】 CVM 实例规格：PNV5b.32XLARGE384 CVM 实例配置：128C384GB 4卡L20 推理资源配置：125C350GB 4卡L20 部署方式：标准部署 | 【推荐配置1】 部署方式：标准部署 算力规格：32C320GB GPU*2（PNV6.8XLARGE320） 【推荐配置2】 部署方式：标准部署 算力规格：128C384GB 4卡L20 |
Llama3.2 系列模型 | llama-3.2-1b-chat | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| llama-3.2-1b | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| llama-3.2-3b-chat | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| llama-3.2-3b | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| llama-3.2-11b-vision-chat | CVM 实例规格：PNV5b.8XLARGE96 CVM 实例配置：32C96GB 1卡L20 推理资源配置： 30C80GB 1卡L20 部署方式：标准部署 | 部署方式：标准部署 算力规格：32C96GB 1卡L20 |
| llama-3.2-90b-vision-chat | CVM 实例规格：PNV5b.64XLARGE768 CVM 实例配置：256C768GB 8卡L20 推理资源配置： 250C688GB 8卡L20 部署方式：标准部署 | 部署方式：标准部署 算力规格：256C768GB 8卡L20 |
Llama3.1 系列模型 | llama-3.1-8b-chat | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| llama-3.1-70b-chat | CVM 实例规格：PNV5b.64XLARGE768 CVM 实例配置：256C768GB 8卡L20 推理资源配置： 250C688GB 8卡L20 部署方式：标准部署 | 部署方式：标准部署 算力规格：256C768GB 8卡L20 |
| llama-3.1-8b-base | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| llama-3.1-70b-base | CVM 实例规格：PNV5b.64XLARGE768 CVM 实例配置：256C768GB 8卡L20 推理资源配置： 250C688GB 8卡L20 部署方式：标准部署 | 部署方式：标准部署 算力规格：256C768GB 8卡L20 |
Llama3 系列模型 | llama-3-8b-chat | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| llama-3-70b-chat | CVM 实例规格：PNV5b.64XLARGE768 CVM 实例配置：256C768GB 8卡L20 推理资源配置： 250C688GB 8卡L20 部署方式：标准部署 | 部署方式：标准部署 算力规格：256C768GB 8卡L20 |
| llama-3-8b-base | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| llama-3-70b-base | CVM 实例规格：PNV5b.64XLARGE768 CVM 实例配置：256C768GB 8卡L20 推理资源配置： 250C688GB 8卡L20 部署方式：标准部署 | 部署方式：标准部署 算力规格：256C768GB 8卡L20 |
Llama2 系列模型 | llama-2-7b-chat | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| llama-2-13b-chat | CVM 实例规格：PNV5b.8XLARGE96 CVM 实例配置：32C96GB 1卡L20 推理资源配置： 30C80GB 1卡L20 部署方式：标准部署 | 部署方式：标准部署 算力规格：32C96GB 1卡L20 |
| llama-2-70b-chat | CVM 实例规格：PNV5b.64XLARGE768 CVM 实例配置：256C768GB 8卡L20 推理资源配置： 250C688GB 8卡L20 部署方式：标准部署 | 部署方式：标准部署 算力规格：256C768GB 8卡L20 |
| llama-2-7b-base | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| llama-2-13b-base | CVM 实例规格：PNV5b.8XLARGE96 CVM 实例配置：32C96GB 1卡L20 推理资源配置： 30C80GB 1卡L20 部署方式：标准部署 | 部署方式：标准部署 算力规格：32C96GB 1卡L20 |
| llama-2-70b-base | CVM 实例规格：PNV5b.64XLARGE768 CVM 实例配置：256C768GB 8卡L20 推理资源配置： 250C688GB 8卡L20 部署方式：标准部署 | 部署方式：标准部署 算力规格：256C768GB 8卡L20 |
Baichuan2 系列模型 | baichuan2-7b-base | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| baichuan2-7b-chat | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| baichuan2-13b-base | CVM 实例规格：PNV5b.8XLARGE96 CVM 实例配置：32C96GB 1卡L20 推理资源配置： 30C80GB 1卡L20 部署方式：标准部署 | 部署方式：标准部署 算力规格：32C96GB 1卡L20 |
| baichuan2-13b-chat | CVM 实例规格：PNV5b.8XLARGE96 CVM 实例配置：32C96GB 1卡L20 推理资源配置： 30C80GB 1卡L20 部署方式：标准部署 | 部署方式：标准部署 算力规格：32C96GB 1卡L20 |
Chatglm 系列模型 | chatglm3-6b-chat | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
Qwen系列模型 | qwen-14b-base | CVM 实例规格：PNV5b.8XLARGE96 CVM 实例配置：32C96GB 1卡L20 推理资源配置： 30C80GB 1卡L20 部署方式：标准部署 | 部署方式：标准部署 算力规格：32C96GB 1卡L20 |
| qwen-14b-chat | CVM 实例规格：PNV5b.8XLARGE96 CVM 实例配置：32C96GB 1卡L20 推理资源配置： 30C80GB 1卡L20 部署方式：标准部署 | 部署方式：标准部署 算力规格：32C96GB 1卡L20 |
Bloom 系列模型 | bloom-7b-chat | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| bloomz-7b1-chat | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| bloom-1b1-chat | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| bloom-3b-chat | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| bloomz-3b-chat | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
金融行业大模型 | jinrong-13b-chat | CVM 实例规格：PNV5b.8XLARGE96 CVM 实例配置：32C96GB 1卡L20 推理资源配置： 30C80GB 1卡L20 部署方式：标准部署 | 部署方式：标准部署 算力规格：32C96GB 1卡L20 |
汽车行业大模型 | qiche-13b-chat | CVM 实例规格：PNV5b.8XLARGE96 CVM 实例配置：32C96GB 1卡L20 推理资源配置： 30C80GB 1卡L20 部署方式：标准部署 | 部署方式：标准部署 算力规格：32C96GB 1卡L20 |
Baichuan1 系列模型 | baichuan-7b-chat | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| baichuan-13b-chat | CVM 实例规格：PNV5b.8XLARGE96 CVM 实例配置：32C96GB 1卡L20 推理资源配置： 30C80GB 1卡L20 部署方式：标准部署 | 部署方式：标准部署 算力规格：32C96GB 1卡L20 |
Dolly 系列模型 | dolly-v2-3b-chat | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| dolly-v2-7b-chat | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| dolly-v2-12b-chat | CVM 实例规格：PNV5b.8XLARGE96 CVM 实例配置：32C96GB 1卡L20 推理资源配置： 30C80GB 1卡L20 部署方式：标准部署 | 部署方式：标准部署 算力规格：32C96GB 1卡L20 |
Vicuna 系列模型 | vicuna-7b-v1.5-chat | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| vicuna-13b-v1.5-chat | CVM 实例规格：PNV5b.8XLARGE96 CVM 实例配置：32C96GB 1卡L20 推理资源配置： 30C80GB 1卡L20 部署方式：标准部署 | 部署方式：标准部署 算力规格：32C96GB 1卡L20 |
Falcon 系列模型 | falcon-7b-base | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| falcon-7b-chat | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
| falcon-rw-7b-base | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
Chinese-alpaca 系列模型 | chinese-alpaca-2-7b-chat | CVM 实例规格：PNV4.7XLARGE116 CVM 实例配置：28C116GB 1卡A10 部署方式：标准部署 推理资源配置：24C96GB 1卡A10 | 部署方式：标准部署 算力规格：28核116GB 1卡A10 |
