高性能应用服务 HAI 算力方案提供丰富的算力方案套餐选择,致力于提供更易用的 GPU 智算服务。创建高性能应用服务 HAI 时,选择的套餐决定了算力、显存、CPU 和内存配置。这些配置参照套餐配置标准,由符合要求的 CPU、内存和 GPU 硬件构成,不支持指定硬件型号。
说明:
邀测套餐处于白名单邀测状态,请联系您的售前经理开通实例购买权限。
售卖情况 | 算力方案 | 每实例显存 | 每实例算力 | 每实例其他配置 | 性能参考(以 INT4 量化为基准) |
在售 | GPU 基础型 | 16GB+ | 8+TFlops SP(FP32) | CPU:8 核 内存:32GB | 对标 T4 GPU 及以上,推荐运行 8B 及以下参数模型 |
| GPU 性能型 | 24GB+ | 30+TFlops SP(FP32) | CPU:28 核 内存:116GB | 对标 A10 GPU 及以上,推荐运行 32B 及以下参数模型 |
| GPU 进阶型 | 32GB+ | 15+TFlops SP(FP32) | CPU:8~10 核 内存:40GB | 对标 V100 GPU 及以上,推荐运行 32B 及以下参数模型 |
| CPU 算力 | - | - | CPU:8/16/32/64 核 内存:16/32/64/256GB | 8 核 16GB:推荐运行 1.5B 及以下参数模型,适合进行轻量任务测试体验 16 核 32GB:推荐运行 8B 及以下参数模型,可进行中等难度任务,如文本生成等 32 核 64GB:推荐运行 14B 及以下参数模型,可进行文本摘要等任务 64 核 256GB:推荐运行 32B 及以下参数模型,可进行复杂任务,如知识库问答等 |
邀测 | GPU 高阶型 | 48GB+ | 59+TFlops SP(FP32) | CPU:48 核 内存:192GB | 对标 L20 GPU 及以上,推荐运行 70B 及以下参数模型 |
| GPU 旗舰型 | 96GB+ | 44+TFlops SP(FP32) | CPU:16 核 内存:160GB | 推荐运行 70B 及以下模型 |
| 八卡 GPU 旗舰型 | 768GB+ | 352+TFlops SP(FP32) | CPU:384 核 内存:2304GB | 推荐运行 671B 及以下模型 |
| 紫霄基础型 | 16GB+ | 30+TFlops FP16 | CPU:28 核 内存:116GB | 对标 T4 GPU 及以上 |