TUICallKit 的实时翻译能力基于 AI 转录能力与翻译引擎实现。使用实时翻译功能可通过单独购买 AI 智能识别包轻量版、尊享版,也可以使用腾讯云实时音视频(TRTC)旗舰版 Plus 套餐开启(旗舰版 Plus 套餐包内含有 AI 用量时长)。具体购买和费用详情请参考:AI 智能识别计费说明。
接入效果
单人通话 | 多人通话 |
![]() | ![]() |
实现概述
实现 AI 实时翻译功能的基本流程可概述为:当客户端通过 TUICallKit 开始通话后,Call Server 的通话状态会发生变化。客户需要在自己的服务端订阅通话状态,并在通话状态变为“通话中”时,通过 RestAPI 在服务端开启 AI 转录功能。开启 AI 转录后,AI Server 会从 TRTC Server 拉取通话房间的音频流,并通过大模型进行翻译。翻译结果会返回至 TRTC Server,然后通过自定义消息发送至客户端。客户端的 TUICallKit 组件会解析信息并展示实时翻译结果。具体过程如下图所示:

接入流程
接入 AI 实时翻译功能仅需完成以下两步:
1. 客户在服务端监听 TUICallKit 通话状态。
2. 当开始通话后,客户在服务端通过 RestAPI 开启 AI 转录功能。
步骤1:监听 TUICallKit 通话状态
步骤2:开启 AI 转录
当通话状态进入“通话中”后,客户需通过服务端调用 RestAPI 开启 AI 转录功能,此操作会启动 AI Server,从 TRTC Server 拉取音频流并进行实时翻译,详细操作请参见 API 文档 开始 AI 转录任务。
注意:
转录机器人进入的房间需要与正在通话的 TRTC 房间号保持一致。
在调用开启 AI 转录的接口时,转录机器人的 UserId(`TranscriptionParams.UserId`)必须设置为包含“TAI_Robot”字段。例如:"TAI_Robot_12345"。
请确保服务端能够正确订阅通话状态,并及时调用 RestAPI 开启 AI 转录,以保证翻译功能的实时性。
在调用开启 AI 转录的接口时,转录机器人的 UserId(`TranscriptionParams.UserId`)必须设置为包含“TAI_Robot”字段。例如:`"TAI_Robot_12345"`。
请确保服务端能够正确订阅通话状态,并及时调用 RestAPI 开启 AI 转录,以保证翻译功能的实时性。
完成接入后,当您使用 TUICallKit 进行通话时实时翻译结果将展示在通话页面上,帮助用户实现高效的跨语言沟通。

