功能概述
在 Cascade(三段式) 模式下,ASR(自动语音识别)是对话链路的第一段:AI 服务端订阅房间内用户的音频流,实时将语音转写为文本,交给 LLM 进行推理。
ASR 段采用
Provider + Params 接入模式,支持:TRTC 自研 ASR(trtc,默认):即开即用,无需开通第三方服务,推荐绝大多数场景直接使用。
第三方 ASR(例如:微软 azure):满足指定识别引擎或特定语种的需求。
说明:
S2S(端到端)模式下,用户音频直接送入端到端语音大模型,不存在独立的 ASR 段,无需配置
STTConfig。当前第三方 ASR 厂商支持微软 Azure,如需接入其他 ASR 厂商,请联系商务。配置结构
在创建 AI 对话任务时,通过
STTConfig 指定 ASR 配置:字段名 | 必选 | 类型 | 描述 |
Provider | 是 | String | ASR 厂商标识: trtc(默认); azure。 |
Params | 是 | String | 厂商专属参数,JSON 字符串。 |
TRTC 自研 ASR
Params 参数说明(Provider = trtc)
字段名 | 类型 | 必选 | 描述 |
engine_model_type | String | 是 | |
language | String | 否 | 识别语言,取值与 engine_model_type 中的语言标识一致,例如 zh / en。 |
vad_silence_time | Integer | 否 | VAD 静音判停时长(毫秒),范围 200-2000,默认 1000。调小可加快断句响应,但过小容易把句中停顿误判为说完。 |
max_speak_time | Integer | 否 | 最长断句时长(毫秒),范围 10000-90000,默认 60000。超过该时长强制断句。 |
engine_model_type 与 language 说明
engine_model_type 为 ASR 使用的模型,语音转文本不同套餐版本支持的引擎如下:引擎值 | 说明 |
bigmodel | 大模型引擎,推荐使用。 |
16k_zh_en | 传统引擎, 16k 中英模型引擎,同时支持中文、英语、多种中文方言口音的识别。 |
language 支持的语言,可填写:
语言标识 | 语言 | 语言标识 | 语言 |
zh | 中文 | tr | 土耳其语 |
en | 英语 | hi | 印地语 |
yue | 粤语 | ms | 马来语 |
ar | 阿拉伯语 | nl | 荷兰语 |
de | 德语 | sv | 瑞典语 |
fr | 法语 | da | 丹麦语 |
es | 西班牙语 | fi | 芬兰语 |
pt | 葡萄牙语 | pl | 波兰语 |
id | 印度尼西亚语 | cs | 捷克语 |
it | 意大利语 | fil | 菲律宾语 |
ko | 韩语 | fa | 波斯语 |
ru | 俄语 | el | 希腊语 |
th | 泰语 | hu | 匈牙利语 |
vi | 越南语 | mk | 马其顿语 |
ja | 日语 | ro | 罗马尼亚语 |
说明:
识别效果
在开源测试集上,TRTC 自研 ASR 中英文识别字准均 ≥96%,首包耗时约 400ms:
测试集 | 语种 / 场景 | 字准 |
aishell | 中文普通话 | ≥96% |
test_meeting | 中文会议 | ≥96% |
test_net | 中文网络音频 | ≥96% |
librispeech_clean | 英文(清晰朗读) | ≥96% |
librispeech_other | 英文(其他口音/噪声) | ≥96% |
领域热词
内置领域热词,覆盖地图 POI、影视娱乐、医疗、AI 科技、汽车、游戏、零售等领域,可显著提升专有名词的识别准确率。
第三方 ASR 接入
目前支持以下字段设置:
字段名 | 含义 |
language | 语言。 |
subscription_key | API key,从账号获取。 |
endpoint | 接入点,从账号获取。 |
profanity_mode | 脏词过滤,支持设置 none/masked/removed/raw。 |
endpoint_id | 自定义模型 endpoint ID(用于定制化语音模型),为空则使用默认模型。 |
{"STTConfig": {"Provider": "azure","Params": "{\\"provider\\":\\"azure\\",\\"language\\":\\"zh-CN\\",\\"subscription_key\\":\\"p7o9fD7xEIszb***BLf6\\", \\"endpoint\\": \\"https://southeastasia.api.cognitive.microsoft.com\\"}"}}
配置示例
以 TRTC 自研 ASR 为例,创建任务时传入(推荐使用
bigmodel):{"STTConfig": {"Provider": "trtc","Params": "{\\"engine_model_type\\":\\"bigmodel\\",\\"language\\":\\"zh\\",\\"vad_silence_time\\":1000}"}}
注意事项
1. ASR 配置不支持热更新:任务创建后无法通过修改任务接口变更
STTConfig;如需更换识别引擎或参数,请结束当前任务并重新创建。2. 仅 Cascade 模式需要配置:S2S 模式由端到端模型完成语音理解,无需
STTConfig。3. 识别结果获取方式:
服务端:一句话识别完成时,通过 ASR 识别结果回调收到该句终态文本(含起止时间戳与轮次 ID),详细参见:AI 对话回调事件。
客户端:通过 SDK 的字幕事件实时获取识别文本,详细参见:(客户端)实时字幕。