LLM 可观测的模型分析能力，聚焦全量模型的运行状态与使用效能，实时统计模型调用次数、平均耗时、错误率及 Token 使用量等核心指标，精准定位模型性能瓶颈与资源浪费问题，为模型优化迭代、资源配置调整提供数据支撑。
操作步骤
1. 登录 腾讯云可观测平台。
2. 在左侧菜单栏中选择 LLM 可观测 > 模型分析。
3. 在页面顶部选择合适的地域、业务系统以及模型。
4. 通过右上方的时间选择器指定查询时间跨度。
指标说明
指标名称 | 说明 |
模型调用次数 | 统计指定时间内，LLM 模型的调用总次数，体现模型的实际使用频率。 |
首 Token 平均耗时 | 从发起 LLM 调用到接收返回的第一个 Token 的平均时间，是衡量 LLM 响应即时性的核心指标，直接影响用户交互体验。 |
模型调用平均耗时 | 指定时间内大模型调用总耗时除以模型的调用次数，聚焦模型的整体运行效率。 |
模型调用错误率 | 指定时间内模型调用失败的次数占总调用次数的比例，直观反映 LLM 模型服务的稳定性与可用性。 |
Token 使用 | 统计指定时间内 LLM 调用过程中输入 Token 与输出 Token 的总数量（或分别统计），是计算模型使用成本与评估资源消耗的关键指标。 |
