开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >专栏 >给大模型调用补上可观测性：用 OpenTelemetry 建立可审计的模型网关

给大模型调用补上可观测性：用 OpenTelemetry 建立可审计的模型网关

哈尔

发布于 2026-09-15 21:06:32

发布于 2026-09-15 21:06:32

1050

举报

概述

大模型应用进入生产环境后，故障定位往往比接口接通更困难。用户只看到一次回答缓慢或失败，服务端却可能依次经历鉴权、限流、上下文组装、模型调用、重试和结果解析。传统 HTTP 日志只能说明请求用了多久，通常无法回答以下问题：

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。