帮你快速理解、总结文档立即下载

ASR 配置

最近更新时间:2026-10-29 21:43:33
我的收藏

功能概述

在 Cascade(三段式) 模式下,ASR(自动语音识别)是对话链路的第一段:AI 服务端订阅房间内用户的音频流,实时将语音转写为文本,交给 LLM 进行推理。
ASR 段采用 Provider + Params 接入模式,支持:
TRTC 自研 ASR(trtc,默认):即开即用,无需开通第三方服务,推荐绝大多数场景直接使用。
第三方 ASR(例如:微软 azure):满足指定识别引擎或特定语种的需求。
说明:
S2S(端到端)模式下,用户音频直接送入端到端语音大模型,不存在独立的 ASR 段,无需配置 STTConfig。当前第三方 ASR 厂商支持微软 Azure,如需接入其他 ASR 厂商,请联系商务。

配置结构

在创建 AI 对话任务时,通过 STTConfig 指定 ASR 配置:
字段名
必选
类型
描述
Provider
是
String
ASR 厂商标识:
trtc(默认);
azure。
Params
是
String
厂商专属参数,JSON 字符串。

TRTC 自研 ASR

Params 参数说明(Provider = trtc)

字段名
类型
必选
描述
engine_model_type
String
是
ASR 模型类型,示例值 bigmodel。优先推荐 bigmodel 系列大模型引擎,详见 engine_model_type 与 language 说明。
language
String
否
识别语言,取值与 engine_model_type 中的语言标识一致,例如 zh / en。
vad_silence_time
Integer
否
VAD 静音判停时长(毫秒),范围 200-2000,默认 1000。调小可加快断句响应,但过小容易把句中停顿误判为说完。
max_speak_time
Integer
否
最长断句时长(毫秒),范围 10000-90000,默认 60000。超过该时长强制断句。

engine_model_type 与 language 说明

engine_model_type 为 ASR 使用的模型,语音转文本不同套餐版本支持的引擎如下:
引擎值
说明
bigmodel
大模型引擎,推荐使用。
16k_zh_en
传统引擎, 16k 中英模型引擎,同时支持中文、英语、多种中文方言口音的识别。
language 支持的语言,可填写:
语言标识
语言
语言标识
语言
zh
中文
tr
土耳其语
en
英语
hi
印地语
yue
粤语
ms
马来语
ar
阿拉伯语
nl
荷兰语
de
德语
sv
瑞典语
fr
法语
da
丹麦语
es
西班牙语
fi
芬兰语
pt
葡萄牙语
pl
波兰语
id
印度尼西亚语
cs
捷克语
it
意大利语
fil
菲律宾语
ko
韩语
fa
波斯语
ru
俄语
el
希腊语
th
泰语
hu
匈牙利语
vi
越南语
mk
马其顿语
ja
日语
ro
罗马尼亚语
说明:
language 为识别语言,取值使用上述语言标识(如 zh / en),需与 engine_model_type 中指定的语言保持一致。对应引擎可选语言可参考 接入文档。

识别效果

在开源测试集上,TRTC 自研 ASR 中英文识别字准均 ≥96%,首包耗时约 400ms:
测试集
语种 / 场景
字准
aishell
中文普通话
≥96%
test_meeting
中文会议
≥96%
test_net
中文网络音频
≥96%
librispeech_clean
英文(清晰朗读)
≥96%
librispeech_other
英文(其他口音/噪声)
≥96%

领域热词

内置领域热词,覆盖地图 POI、影视娱乐、医疗、AI 科技、汽车、游戏、零售等领域,可显著提升专有名词的识别准确率。

第三方 ASR 接入

将 Provider 设置为对应厂商标识,并在 Params 中传入该厂商的专属参数(鉴权、模型、语种等),参数规范以 对应厂商文档 为准。
目前支持以下字段设置:
字段名
含义
language
语言。
subscription_key
API key,从账号获取。
endpoint
接入点,从账号获取。
profanity_mode
脏词过滤,支持设置 none/masked/removed/raw。
endpoint_id
自定义模型 endpoint ID(用于定制化语音模型),为空则使用默认模型。
{
"STTConfig": {
"Provider": "azure",
"Params": "{\\"provider\\":\\"azure\\",\\"language\\":\\"zh-CN\\",\\"subscription_key\\":\\"p7o9fD7xEIszb***BLf6\\", \\"endpoint\\": \\"https://southeastasia.api.cognitive.microsoft.com\\"}"
}
}

配置示例

以 TRTC 自研 ASR 为例,创建任务时传入(推荐使用 bigmodel):
{
"STTConfig": {
"Provider": "trtc",
"Params": "{\\"engine_model_type\\":\\"bigmodel\\",\\"language\\":\\"zh\\",\\"vad_silence_time\\":1000}"
}
}

注意事项

1. ASR 配置不支持热更新:任务创建后无法通过修改任务接口变更 STTConfig;如需更换识别引擎或参数,请结束当前任务并重新创建。
2. 仅 Cascade 模式需要配置:S2S 模式由端到端模型完成语音理解,无需 STTConfig。
3. 识别结果获取方式:
服务端:一句话识别完成时,通过 ASR 识别结果回调收到该句终态文本(含起止时间戳与轮次 ID),详细参见:AI 对话回调事件。
客户端:通过 SDK 的字幕事件实时获取识别文本,详细参见:(客户端)实时字幕。