LLM 可观测简介

最近更新时间:2025-11-28 11:09:22

我的收藏
LLM 可观测是专为 LLM(大语言模型)应用量身定制的应用性能管理平台,基于腾讯云应用性能监控(Application Performance Management ,APM)技术底座构建。LLM 可观测能力打破了传统监控对 AI 场景的适配局限,深度贴合 LLM 应用的技术特性与运行逻辑,不仅能覆盖传统应用的性能监控需求,更聚焦 LLM 特有的模型调用、响应生成等核心环节。LLM 可观测提供轻量级无侵入式接入方案,无需改动业务代码,即可快速开启,帮助开发者实时掌握应用运行状态,精准排查问题,为 LLM 应用的稳定、高效运行提供全方位保障。

计费规则

LLM 可观测的计费规则与腾讯云应用性能监控(Application Performance Management ,APM)一致,无额外计费项,详情请参见 应用性能监控计费概述

LLM 可观测优势

LLM 场景专属适配:针对 Prompt 处理、LLM 工作流、模型调用等核心环节定制观测能力,深度贴合 LLM 应用的技术特性与运行逻辑。重点体现响应延迟、调用成功率、Token 使用、模型质量等 LLM 关键指标,直击核心需求。
全链路数据打通:全链路覆盖业务层调用层模型服务层,清晰呈现请求流转与性能瓶颈。
快速接入:针对 Python、Go 等语言,提供轻量级无侵入式接入方案,无需改动业务代码,即可快速启用 LLM 可观测能力。同时,支持对常见 LLM 框架传统(非 LLM)框架的自动埋点,兼容 OpenTelemetry 协议标准,能够和其他使用 OpenTelemetry 方案接入的应用实现链路信息互通。
问题高效定位:优化 AI 场景下的告警策略与下钻分析功能,快速定位根因,提升排查效率。

快速入门

请参见 快速入门 完成授权、资源创建以及 LLM 应用的接入。