套餐类型

最近更新时间:2025-03-05 14:56:42

我的收藏
高性能应用服务 HAI 算力方案提供丰富的算力方案套餐选择,致力于提供更易用的 GPU 智算服务。创建高性能应用服务 HAI 时,选择的套餐决定了算力、显存、CPU 和内存配置。这些配置参照套餐配置标准,由符合要求的 CPU、内存和 GPU 硬件构成,不支持指定硬件型号。
说明:
邀测套餐处于白名单邀测状态,请联系您的售前经理开通实例购买权限。
售卖情况
算力方案
每实例显存
每实例算力
每实例其他配置
性能参考(以 INT4 量化为基准)
在售
GPU 基础型
16GB+
8+TFlops SP(FP32)
CPU:8 核
内存:32GB
对标 T4 GPU 及以上,推荐运行 8B 及以下参数模型
GPU 性能型
24GB+
30+TFlops SP(FP32)
CPU:28 核
内存:116GB
对标 A10 GPU 及以上,推荐运行 32B 及以下参数模型
GPU 进阶型
32GB+
15+TFlops SP(FP32)
CPU:8~10 核
内存:40GB
对标 V100 GPU 及以上,推荐运行 32B 及以下参数模型
CPU 算力
-
-
CPU:8/16/32/64 核
内存:16/32/64/256GB
8 核 16GB:推荐运行 1.5B 及以下参数模型,适合进行轻量任务测试体验
16 核 32GB:推荐运行 8B 及以下参数模型,可进行中等难度任务,如文本生成等
32 核 64GB:推荐运行 14B 及以下参数模型,可进行文本摘要等任务
64 核 256GB:推荐运行 32B 及以下参数模型,可进行复杂任务,如知识库问答等
邀测
GPU 高阶型
48GB+
59+TFlops SP(FP32)
CPU:48 核
内存:192GB
对标 L20 GPU 及以上,推荐运行 70B 及以下参数模型
GPU 旗舰型
96GB+
44+TFlops SP(FP32)
CPU:16 核
内存:160GB
推荐运行 70B 及以下模型
八卡 GPU 旗舰型
768GB+
352+TFlops SP(FP32)
CPU:384 核
内存:2304GB
推荐运行 671B 及以下模型
紫霄基础型
16GB+
30+TFlops FP16
CPU:28 核
内存:116GB
对标 T4 GPU 及以上