本文旨在介绍 TI-ONE 平台进行大模型推理时，可保障模型正常运行的配置资源，仅供您参考。
内置大模型的推理资源指南
内置大模型 | 模型清单 | 推理使用资源建议 |
Llama3.1 系列模型 | llama-3.1-8b-chat | 12C44GB 1卡A10 |
| llama-3.1-70b-chat | 164C948G 8卡A100 |
| llama-3.1-8b-base | 12C44GB 1卡A10 |
| llama-3.1-70b-base | 164C948G 8卡A100 |
Llama3 系列模型 | llama-3-8b-chat | 12C44GB 1卡A10 |
| llama-3-70b-chat | 164C948G 8卡A100 |
| llama-3-8b-base | 12C44GB 1卡A10 |
| llama-3-70b-base | 164C948G 8卡A100 |
Llama2 系列模型 | llama-2-7b-chat | 1卡V100 |
| llama-2-13b-chat | 1卡A100或2卡V100 |
| llama-2-70b-chat | 8卡V100 |
| llama-2-7b-base | 1卡V100 |
| llama-2-13b-base | 1卡A100或2卡V100 |
| llama-2-70b-base | 8卡V100 |
Baichuan2 系列模型 | baichuan2-7b-base | 1卡V100 |
| baichuan2-7b-chat | 1卡V100 |
| baichuan2-13b-base | 1卡A100或2卡V100 |
| baichuan2-13b-chat | 1卡A100或2卡V100 |
Chatglm 系列模型 | chatglm3-6b-chat | 1卡V100 |
Qwen系列模型 | qwen-14b-base | 1卡A100或2卡V100 |
| qwen-14b-chat | 1卡A100或2卡V100 |
Bloom 系列模型 | bloom-7b-chat | 1卡V100 |
| bloomz-7b1-chat | 1卡V100 |
| bloom-1b1-chat | 1卡V100 |
| bloom-3b-chat | 1卡V100 |
| bloomz-3b-chat | 1卡V100 |
金融行业大模型 | jinrong-13b-chat | 1卡A100或2卡V100 |
汽车行业大模型 | qiche-13b-chat | 1卡A100或2卡V100 |
Baichuan1 系列模型 | baichuan-7b-chat | 1卡V100 |
| baichuan-13b-chat | 1卡A100或2卡V100 |
Dolly系列模型 | dolly-v2-3b-chat | 1卡V100 |
| dolly-v2-7b-chat | 1卡V100 |
| dolly-v2-12b-chat | 1卡A100或2卡V100 |
Vicuna系列模型 | vicuna-7b-v1.5-chat | 1卡V100 |
| vicuna-13b-v1.5-chat | 1卡A100或2卡V100 |
Falcon系列模型 | falcon-7b-base | 1卡V100 |
| falcon-7b-chat | 1卡V100 |
| falcon-rw-7b-base | 1卡V100 |
Chinese-alpaca 系列模型 | chinese-alpaca-2-7b-chat | 1卡V100 |
