有奖:语音产品征文挑战赛等你来> HOT
创建长链接通道后,数智人服务端将会实时将数智人驱动状态信息返回给客户端。
名称
类型
必选
描述
Type
int
下行的消息类型。小样本形象其他返回类型不用关注。
3:播报状态。
4:大模型返回内容。
9:驱动失败。
SessionId
String
视频流会话的唯一标识
ReqId
String
一次驱动的唯一标识
Seq
int
流式子句的唯一序号
SpeakStatus
String
Initial:初始状态。
WaitingTextStart:等待文本播报开始。
TextStart:文本播报中。
WaitingTextOver:等待文本播报结束。
TextOver:文本播报结束。
WaitingAudioStart:等待音频开始播报。
AudioStart:音频开始播报。
WaitingAudioOver:等待音频播报结束。
AudioOver:音频播报结束。
Error:驱动失败(与 TextOver 和 AudioOver 含义一样表示一次驱动的终态),仅表示最近一次驱动失败,不影响继续发送驱动命令。
SentenceNext:流式的子句模式返回该状态,客户端收到该状态表示可以发送下一条子句。 SentenceStart:流式的子句模式返回该状态,客户端收到该状态表示当前子句开始播报。 SentenceOver:流式的子句模式返回该状态,客户端收到该状态表示当前子句播报结束。
FinalType
int
当 SpeakStatus 返回 AudioOver 时有值,标记音频播报结束的 Final 包来源:
1-客户输入;
2-服务端超时自动补包
Text
String
当 Type 为2、4时有此字段,提问语。
TextPro
String
当 Type 为2、4时有此字段,播报文本,带 ssml 标签。
TextDisplay
String
当 Type 为2、4时有此字段,播报文本,用于客户端展示。
ContentType
String
当 Type 为4时有此字段,用于区分大模型返回的内容类型: Image: 图片 Hyperlink: 超链接 OrderedList:有序列表 UnOrderedList:无序列表 List:表格
TtsSupport
bool
当 Type 为4时有此字段,大模型返回内容是否需要经过 tts 播报。
Final
bool
当 Type 为4时有此字段,大模型返回内容是否是最后一个子句。
IsHighLight
bool
当 Type 为4时有此字段,大模型返回内容是否需要端上做高亮处理。
Uninterrupt
bool
当 Type 为2、4时有此字段,当前播报句是否可打断: true: 不可打断 false: 可打断
Muted
bool
当 Type 为2、4时有此字段,当前播报文本是否关闭收音。
InteractionType
String
当 Type 为2时有此字段,可用于配置平台自定义,常见类型有:弹窗、图片等。
InteractionContent
String
当 Type 为2时有此字段,用于下方弹窗、图片等非文本类的特殊消息。
ErrorCode
int
错误码,值为0正常,非0代表错误,例如请求体不符合要求、驱动指令的时机不符合协议约定、请求速率过快等。参考7.错误码列表
ErrorMessage
String
错误描述
CloudAiExtra
String
腾讯大模型知识引擎返回的扩展字段。返回示例: {"record_id":"b24e6505-be78-4ce9-ad9e-7075dd227994","references":[{"id":"1780434945714421760","type":2,"url":"https://oaqbot.qidian.qq.com/#/preview/md?id=1780227052790087680","name":"客户会,"doc_id":"11296"}]}
点赞点踩接口参考 评价消息
参考来源具体字段参考:MsgRecordReference
注意:
当 websocket 重连时,云端会主动推送近3次驱动请求触发的播报状态,以防止客户端在网络抖动导致重连过程中丢失对应的驱动反馈事件。