> **摘要**: AI 应用的最大变动成本是 Token 消耗,但传统 APM 不懂 Token。本文实现 Token 用量统计(CLS 结构化推送)、语义缓存(相似问题命中缓存不调混元)、成本告警(日预算超限通知)。语义缓存命中率 38%,日均 Token 消耗再降 38%,月节省 ¥930。


**适用版本**: SpringBoot 3.3.x / SpringAI 1.0.x / 腾讯云 CLS / 混元 / JDK 17+

## 一、背景:Token 账单的三个盲盒

第 8 篇用多模型路由降了 66% 成本,但 Token 账单仍有三个盲盒:

**盲盒一:不知道钱花在哪。** 月账单 ¥2448,但不知道哪个会话、哪个用户、哪类问题消耗最多。CLS 收集了日志但没有 Token 维度的统计。

**盲盒二:重复问题重复付费。** 100 个用户问"退货政策是什么",混元被调 100 次,每次消耗 200 Token。但答案完全一样,白白付了 99 次钱。

**盲盒三:异常消耗无告警。** 某用户写了个循环脚本刷接口,一晚上消耗 50 万 Token(¥100),第二天看账单才发现。

![009-springai-token-cost-governance 图 1](https://developer.qcloudimg.com/http-save/yehe-2059497/b794231be4c8c9a235a5b5c7ae445eb7.png)

## 二、Token 用量统计:CLS 结构化推送

### 2.1 Token 统计切面

**【为什么需要这段代码】** SpringAI 的 `ChatResponse` 包含 `Usage` 对象,记录了 `promptTokens`(输入)和 `completionTokens`(输出)。用 AOP 切面自动提取,推送到 CLS,按 user/session/model 维度统计。相比传统日志,CLS 支持按 Token 字段聚合查询。

```java
@Aspect
@Component
public class TokenUsageAspect {

    private final ClsLogService clsLogService;

    @Around("execution(* org.springframework.ai.chat.client.ChatClient.*(..))")
    public Object trackTokenUsage(ProceedingJoinPoint pjp) throws Throwable {
        Object result = pjp.proceed();

        // 从 ChatResponse 提取 Token 用量
        if (result instanceof ChatResponse chatResponse) {
            Usage usage = chatResponse.getMetadata().getUsage();

            clsLogService.pushLog(Map.of(
                "event", "token_usage",
                "promptTokens", usage.getPromptTokens(),
                "completionTokens", usage.getCompletionTokens(),
                "totalTokens", usage.getTotalTokens(),
                "model", chatResponse.getMetadata().getModel(),
                "timestamp", System.currentTimeMillis()
            ));
        }

        return result;
    }
}
```

### 2.2 CLS 查询:Token 消耗分析

推送到 CLS 后,可以用 CLS 查询语句分析 Token 消耗:

**【为什么需要这段查询】** CLS 支持类 SQL 查询,按维度聚合统计 Token 消耗。这些查询在 CLS 控制台直接跑,或配成定时报表。`model` 字段区分不同档位的消耗。

```sql
-- CLS 查询:今日各模型 Token 消耗
SELECT model,
       SUM(promptTokens) as inputTokens,
       SUM(completionTokens) as outputTokens,
       SUM(totalTokens) as totalTokens,
       COUNT(*) as callCount
FROM token_usage
WHERE timestamp > TODAY()
GROUP BY model
ORDER BY totalTokens DESC

-- CLS 查询:Token 消耗 Top 10 用户
SELECT userId,
       SUM(totalTokens) as userTokens,
       COUNT(*) as userCalls
FROM token_usage
WHERE timestamp > TODAY()
GROUP BY userId
ORDER BY userTokens DESC
LIMIT 10
```


## 三、语义缓存:相似问题不重复调混元

### 3.1 语义缓存原理

传统缓存按 key 精确匹配,但用户问"退货政策"和"怎么退货"是同一个问题,key 不同。语义缓存:把问题 Embedding 向量化,在缓存中找相似度 > 阈值的历史问题,命中则直接返回缓存的回复,不调混元。

![009-springai-token-cost-governance 图 2](https://developer.qcloudimg.com/http-save/yehe-2059497/b1eb75777001f9bb9a0bd495cfc29dfd.png)


### 3.2 语义缓存实现

**【为什么需要这段代码】** 用 SpringAI 的 `VectorStore` 做语义缓存:问题向量化后存 ES,下次先在 ES 里相似度检索。`SIMILARITY_THRESHOLD = 0.95` 很高,确保命中的问题语义几乎相同。缓存表单独建索引,和知识库索引分开。

```java
@Service
public class SemanticCacheService {

    private final VectorStore cacheStore;  // 专用缓存 VectorStore
    private final EmbeddingModel embeddingModel;

    // 缓存命中阈值:余弦相似度 > 0.95
    private static final double SIMILARITY_THRESHOLD = 0.95;
    // 缓存 TTL:7 天
    private static final Duration CACHE_TTL = Duration.ofDays(7);

    /**
     * 查缓存:命中返回缓存的回复,未命中返回 null
     */
    public String get(String userMessage) {
        List<Document> hits = cacheStore.similaritySearch(
            SearchRequest.builder()
                .query(userMessage)
                .topK(1)
                .similarityThreshold(SIMILARITY_THRESHOLD)
                .build()
        );

        if (hits.isEmpty()) return null;

        Document cached = hits.get(0);
        // 检查 TTL
        String cacheTime = cached.getMetadata().get("cacheTime").toString();
        if (Instant.parse(cacheTime).isBefore(Instant.now().minus(CACHE_TTL))) {
            return null; // 过期
        }

        return cached.getMetadata().get("response").toString();
    }

    /**
     * 写缓存:问题+回复存入向量库
     */
    public void put(String userMessage, String response) {
        Document doc = Document.builder()
            .text(userMessage)  // 问题向量化用于检索
            .metadata(Map.of(
                "response", response,     // 缓存的回复
                "cacheTime", Instant.now().toString()
            ))
            .build();
        cacheStore.add(List.of(doc));
    }
}
```

### 3.3 带缓存的对话 Service

**【为什么需要这段代码】** 缓存逻辑:先查缓存,命中直接返回(0 Token);未命中调混元,结果写入缓存。`cacheHit` 标记用于统计命中率。

```java
@Service
public class CachedChatService {

    private final ChatClient chatClient;
    private final SemanticCacheService cache;
    private final ClsLogService clsLog;

    public CachedChatResult chat(String sessionId, String message) {
        // 1. 查语义缓存
        String cached = cache.get(message);
        if (cached != null) {
            clsLog.pushLog(Map.of(
                "event", "cache_hit",
                "sessionId", sessionId,
                "tokensSaved", 200  // 估算节省的 Token
            ));
            return new CachedChatResult(cached, true);
        }

        // 2. 未命中,调混元
        String response = chatClient.prompt()
            .system("你是电商客服,回答简洁友好。")
            .user(message)
            .call()
            .content();

        // 3. 写入缓存
        cache.put(message, response);

        return new CachedChatResult(response, false);
    }
}

record CachedChatResult(String reply, boolean cacheHit) {}
```


## 四、Token 成本告警

### 4.1 CLS 告警规则

**【为什么需要这段配置】** 在 CLS 控制台配置告警规则,当 Token 消耗超阈值时触发企业微信通知。三条规则:日预算超限、单用户异常、5 分钟突增。CLS 告警无需写代码,在控制台配置即可。

```yaml
# CLS 告警规则(控制台配置)
告警1: 日 Token 预算超限
  查询: SELECT SUM(totalTokens) FROM token_usage WHERE timestamp > TODAY()
  阈值: > 500000  # 日预算 50 万 Token
  触发: 通知企业微信群

告警2: 单用户异常消耗
  查询: SELECT userId, SUM(totalTokens) FROM token_usage WHERE timestamp > -1h GROUP BY userId
  阈值: 任一用户 > 50000  # 单用户小时 5 万 Token
  触发: 通知运维,可能被刷

告警3: 5 分钟突增
  查询: SELECT SUM(totalTokens) FROM token_usage WHERE timestamp > -5m
  阈值: > 100000  # 5 分钟 10 万 Token
  触发: 通知运维,可能异常流量
```

### 4.2 企业微信通知

**【为什么需要这段代码】** CLS 告警触发后调企业微信 Webhook,推送告警详情。`markdown` 格式在企微群里渲染成卡片,包含告警名称、当前值、阈值、CLS 查询链接。

```java
@Service
public class TokenAlertService {

    private final RestTemplate restTemplate;
    private final String webhookUrl; // 企业微信群机器人 Webhook

    /**
     * 发送 Token 告警到企业微信
     */
    public void sendAlert(String alertName, long currentValue, long threshold) {
        Map<String, Object> message = Map.of(
            "msgtype", "markdown",
            "markdown", Map.of(
                "content", """
                    ## ⚠️ Token 成本告警
                    > **告警**: %s
                    > **当前值**: %d Token
                    > **阈值**: %d Token
                    > **时间**: %s
                    > **操作**: [查看CLS详情](https://console.cloud.tencent.com/cls)
                    """.formatted(alertName, currentValue, threshold,
                                  LocalDateTime.now())
            )
        );

        restTemplate.postForEntity(webhookUrl, message, String.class);
    }
}
```


## 五、效果对比

### 语义缓存效果

| 指标 | 无缓存 | 有语义缓存 | 提升 |
|------|--------|-----------|------|
| 日均混元调用次数 | 12000 | 7440 | ↓38% |
| 缓存命中率 | — | 38% | — |
| 日均 Token 消耗 | 40.8 万 | 25.3 万 | ↓38% |
| 日均成本 | ¥81.6 | ¥50.6 | ↓38% |
| 平均响应时间 | 350ms | 210ms(命中时 5ms) | ↓40% |

### 综合成本治理效果

| 阶段 | 月成本 | 优化措施 |
|------|--------|---------|
| 全量 pro | ¥7200 | 基线 |
| 多模型路由 | ¥2448 | ↓66% |
| +语义缓存 | ¥1518 | ↓79% |
| +Token 告警 | ¥1518 | 成本不变,异常可控 |

![009-springai-token-cost-governance 图 3](https://developer.qcloudimg.com/http-save/yehe-2059497/84583bef5b5c75c80582d4bfdfd766d9.png)



## 六、踩坑实录

### 坑 1:语义缓存命中但回复不匹配

**现象**: 用户问"怎么退货",命中了缓存中"退货政策是什么"的回复,但回复内容是"退货政策是7天无理由...",用户其实想问退货流程步骤。

**定位**: 相似度 0.95 太低,"怎么退货"和"退货政策"语义相近但意图不同。

**解决**: 提高阈值到 0.97,或加意图分类校验——缓存命中后用 lite 模型快速判断两个问题是否真的等价。

### 坑 2:缓存膨胀占用 ES 存储

**现象**: 运行一个月后缓存索引 50 万条,ES 磁盘占用 20GB。

**定位**: 每个未命中的问题都写缓存,大量长尾问题只问一次也存了。

**解决**: 只缓存高频问题——用 CDB 统计问题频率,只缓存出现 ≥ 3 次的问题。或设缓存容量上限,LRU 淘汰。

### 坑 3:CLS 告警频繁误报

**现象**: "5 分钟突增"告警频繁触发,但实际是正常高峰流量。

**定位**: 5 分钟窗口太短,高峰期正常流量就超 10 万 Token。

**解决**: 改为 15 分钟窗口 + 连续 2 次超限才告警(避免单次波动)。CLS 告警支持"连续 N 次满足条件才触发"。



## 七、总结与下一篇预告

### 本文核心

1. **Token 用量统计**用 AOP 切面 + CLS 结构化推送,按用户/会话/模型维度分析
2. **语义缓存**用 VectorStore 做相似度匹配,命中率 38%,Token 消耗降 38%
3. **Token 告警**三条规则:日预算/单用户/突增,企业微信通知
4. 综合成本治理:月成本从 ¥7200 降到 ¥1518,降幅 79%

### 下一篇预告

下一篇《SpringAI 安全合规与对话审计》是系列收官,解决"AI 客服上线必须过的安全合规关":

- 敏感词过滤与 PII 脱敏
- 对话审计日志与合规留存
- 留痕追溯与监管报送
- 系列全 10 篇回顾



> **真实性声明**: 本文基于腾讯云 CLS + ES 8.x + 混元实测。缓存命中率数据来自 12000 轮真实客服对话统计,成本按混元官方定价计算。



> 👍 如果本文对你有帮助,欢迎点赞、收藏、转发!
> 💬 有任何问题或建议,请在评论区留言交流~

**专栏导航**:

- 📖 **上一篇**: [SpringAI 多模型路由:混元+降级](https://cloud.tencent.com/developer/article/2756128)
- 📖 **下一篇**: SpringAI 安全合规与对话审计


摘要: AI 应用的最大变动成本是 Token 消耗,但传统 APM 不懂 Token。本文实现 Token 用量统计(CLS 结构化推送)、语义缓存(相似问题命中缓存不调混元)、成本告警(日预算超限通知)。语义缓存命中率 38%,日均 Token 消耗再降 38%,月节省 ¥930。

SpringAI Token 成本治理:用量统计、语义缓存与 CLS 监控告警

AI 应用的最大变动成本是 Token 消耗,但传统 APM 不懂 Token。本文实现 Token 用量统计(CLS 结构化推送)、语义缓存(相似问题命中缓存不调混元)、成本告警(日预算超限通知)。语义缓存命中率 38%,日均 Token 消耗再降 38%,月节省 ¥930。

运维

基于SpringAI+腾讯云CLS实现Token成本治理：AOP切面统计Token用量，语义缓存命中率38%日均Token消耗降38%，月成本从¥7200降至¥1518（降79%），含日预算/单用户/突增三级告警及企业微信通知。

安全合规

代码解释

Markdown

路由

日志服务CLS新用户首单0.8折起！


2026上云采购 | AI焕新·智启新局

lexiang

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

SpringAI Token 成本治理:用量统计、语义缓存与 CLS 监控告警-腾讯云开发者社区-腾讯云

SpringAI Token 成本治理:用量统计、语义缓存与 CLS 监控告警

SpringAI Token 成本治理:用量统计、语义缓存与 CLS 监控告警

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐