性能容量单位 TCU(Token Capacity Unit)用来衡量模型路由 CMR 处理业务的性能指标。本文将介绍 TCU 费用。
TCU 衡量指标
TCU 衡量指标包括处理总 token 指标。单个 TCU 对应的性能指标如下:
指标名称 | 描述 | TCU 系数 | 每小时 TCU 个数计算 |
处理总 token 数 | 处理总 token 数 ≈ 上游模型返回 usage 中的 total_tokens。处理总 Token 数是指单次请求中,经过网关路由的所有输入 Token 与输出 Token 的总和。 | 1百万 | TCU 个数 = 处理总 token 数 ÷ TCU 系数 |
TCU 的计费周期为 1 小时,在 1 小时内 CMR 消耗的 TCU 数量计算逻辑如下:首先计算计费周期内处理的总 token 数,再除以 TCU 系数,最终的结果作为该小时内的 TCU 计费个数。
计算公式:
每小时 TCU 费用 = 计费 TCU 个数 × TCU 单价
计费价格
地域 | TCU 单价(元/个) |
广州/上海/北京/新加坡/硅谷 | 0.001 |
计费示例
假设一个 CMR 实例平均每分钟处理100个 token,则 TCU 费的计费规则如下:
指标名称 | 使用示例 | TCU 系数 | TCU 个数计算 |
处理总 token 数 | CMR 实例平均每分钟处理100个 token,则一个小时累计处理6000个 token。 | 1百万 | TCU 个数 = 6000 ÷ 1000000 = 0.006 |
在本示例中,TCU 计费个数为0.006个,因此,对应的 TCU 费用如下:
TCU 本小时的费用 = 0.001 元/个 × 0.006 个 = 0.000006 元
相关文档
计费概述
实例费