API 中心
有奖：语音产品征文挑战赛火热进行中> HOT
文档中心 > API 中心 > TI-ONE 训练平台 > 大模型精调体验相关接口 > 与大模型聊天

与大模型聊天

最近更新时间：2024-03-12 01:55:56

我的收藏

本页目录：

1. 接口描述

接口请求域名： tione.tencentcloudapi.com 。

该接口支持与自行部署的大模型的聊天。

默认接口请求频率限制：30次/秒。

推荐使用 API Explorer
点击调试
API Explorer 提供了在线调用、签名验证、SDK 代码生成和快速检索接口等能力。您可查看每次调用的请求内容和返回结果以及自动生成 SDK 调用示例。

2. 输入参数

以下请求参数列表仅列出了接口请求参数和部分公共参数，完整公共参数列表见 公共请求参数。

参数名称 必选 类型 描述
Action 是 String 公共参数，本接口取值：ChatCompletion。
Version 是 String 公共参数，本接口取值：2021-11-11。
Region 是 String 公共参数，详见产品支持的 地域列表。
Model 是 String 对话的目标模型ID。
自行部署的开源大模型聊天：部署的模型服务组ID，形如ms-xxyyzz。
Messages.N 是 Array of Message 输入对话历史。旧的对话在前，数组中最后一项应该为这次的问题。
Temperature 否 Float 仅当模型为自行部署的开源大模型时生效。采样随机值，默认值为1.0，取值范围[0,2]。较高的值(如0.8)将使输出更加随机，而较低的值(如0.2)将使输出更加确定。建议仅修改此参数或TopP，但不建议两者都修改。
TopP 否 Float 仅当模型为自行部署的开源大模型时生效。核采样，默认值为1，取值范围[0,1]。指的是预先设置一个概率界限 p，然后将所有可能生成的token，根据概率大小从高到低排列，依次选取。当这些选取的token的累积概率大于或等于 p 值时停止，然后从已经选取的token中进行采样，生成下一个token。例如top_p为0.1时意味着模型只考虑累积概率为10%的token。建议仅修改此参数或Temperature，不建议两者都修改。
MaxTokens 否 Integer 仅当模型为自行部署的开源大模型时生效。最大生成的token数目。默认为无限大。

3. 输出参数

参数名称 类型 描述
Model String 部署好的服务Id
Choices Array of Choice 本次问答的答案。
Id String 会话Id。
注意：此字段可能返回 null，表示取不到有效值。
Usage Usage token统计
注意：此字段可能返回 null，表示取不到有效值。
RequestId String 唯一请求 ID，由服务端生成，每次请求都会返回（若请求因其他原因未能抵达服务端，则该次请求不会获得 RequestId）。定位问题时需要提供该次请求的 RequestId。

4. 示例

示例1 与大模型聊天

与大模型聊天

输入示例

POST / HTTP/1.1
Host: tione.tencentcloudapi.com
Content-Type: application/json
X-TC-Action: Chat
<公共请求参数>

{
    "Model": "tj_llm_clm-v1",
    "Messages": [
        {
            "Role": "system",
            "Content": "You are a helpful assistant."
        },
        {
            "Role": "user",
            "Content": "你是谁"
        }
    ]
}

输出示例

{
    "Response": {
        "Model": "ms-xxyyzz",
        "Choices": [
            {
                "Message": {
                    "Role": "assistant",
                    "Content": "我是一个聊天机器人"
                }
            }
        ],
        "RequestId": "abc"
    }
}

5. 开发者资源

腾讯云 API 平台

腾讯云 API 平台 是综合 API 文档、错误码、API Explorer 及 SDK 等资源的统一查询平台，方便您从同一入口查询及使用腾讯云提供的所有 API 服务。

API Inspector

用户可通过 API Inspector 查看控制台每一步操作关联的 API 调用情况，并自动生成各语言版本的 API 代码，也可前往 API Explorer 进行在线调试。

SDK

云 API 3.0 提供了配套的开发工具集（SDK），支持多种编程语言，能更方便的调用 API。

命令行工具

6. 错误码

以下仅列出了接口业务逻辑相关的错误码，其他错误码详见 公共错误码。

错误码 描述
AuthFailure CAM签名/鉴权错误。
FailedOperation 操作失败。
InvalidParameter 参数错误。
InvalidParameter.ModelIsOffline 模型已下线
InvalidParameter.TgwInvalidInterface 无效的接口。
ResourceNotFound 资源不存在。
中国站