操作场景
本文档介绍如何配置 AI 网关日志中包体的记录格式。通过该功能,您可以选择将 Prompt/Completion 以 OpenAI 协议格式(跨供应商归一化)或原始 body(转发给供应商的实际请求体)写入 LLM Log,以满足日志分析和问题调试两类不同场景的需求。
前提条件
开启包体采集
1. 登录 微服务平台控制台 ,在左侧导航栏单击 AI 网关 > 实例列表。
2. 在实例列表页面,单击需要配置的网关实例的“ID”,进入该网关实例的基本信息页面。
3. 选择模型管理 > 模型 API
4. 进入目标模型 API 详情页,切换到基本信息页签,单击右上角编辑,在高级设置区域(也可在新建模型 API 时直接开启):
根据需要,开启请求包体采集(Prompt)开关,网关将根据所配置的内容截断长度以及包体记录格式,记录入参 messages。
根据需要,开启响应包体采集(Completion)开关,网关将根据所配置的内容截断长度以及包体记录格式,记录模型返回内容。
目前包体记录格式支持以下两种:
原始 Body:客户端发来的原始请求,原样保真
归一化格式:网关实际转发给上游模型的请求,格式跟随上游供应商(如上游是 Claude 则为 Anthropic 格式)
注意:
开启包体采集后,请求中的 messages 内容将写入 LLM Log。请确认内容不含用户隐私数据,且符合企业合规要求。如需进行脱敏,可结合日志脱敏规则与数据安全配置。