在最新的 OpenAI 官方 APIs 文档中,Create chat completion 中新增了 top_logprobs 和 logprobs 这两个关键参数。
官方文档地址:https://platform.openai.com/docs/api-reference/chat/create
logprobs
:是否返回 output tokens 的对数概率(布尔类型,默认为 False)。如果为真,则返回消息内容中返回的每个 output token 的对数概率。目前 gpt-4-vision-preview 模型还不支持此选项。top_logprobs
:一个介于 0 到 5 之间的整数,指定在每个 token 位置返回最有可能的 tokens,并且每个 token 都有一个关联的对数概率。如果使用了这个参数,logprobs 就必须设置为 True。显然,这两个参数被设计为协同工作。理论上,调整 top_logprobs 和 logprobs 不应导致输出的 tokens 数量增加,从而避免了额外的 API 调用成本。
OpenAI 的 GPT 模型 API 接口新增的 top_logprobs 和 logprobs 参数可以帮助我们理解和调试大模型的输出结果,减轻幻觉问题,提高输出的确定性和可靠性。
分享要点:
这个 Notebook 演示了在「Create chat completion API」中使用 logprobs 参数。启用了 logprobs,则 API 将返回每个输出令牌的对数概率,以及在每个令牌位置上最有可能的有限数量的令牌及其对数概率。logprobs 的关键点:
这篇博客介绍了如何使用 Chat Completions API 的 logprobs 和 top_logprobs 参数来获取输出 tokens 的概率信息,以及如何利用这些信息来实现不同的应用场景。这篇博客的要点有:
📚️ 参考链接: