腾讯云实时智能：全链路AI能力协同的实时互动与任务交付产品概要

一、产品定位与核心亮点

根据2026腾讯全球数字生态大会分享，腾讯云实时互动产品负责人郑光键（Gorkin Zheng）指出，腾讯云实时智能（Tencent Cloud Real-Time Intelligence）的技术定义为：提供能够承担具体任务的智能体应用或AI原子能力，通过用户/智能体/业务流程的感知（声音、图像、视频、共享屏幕）—理解—生成，将现场信息转化为客户和后续业务可以直接使用的结果。

核心技术属性：采用面向任务交付结果反推处理要求，开展全链路工程优化的架构（采集→传输→理解→上下文处理协同），而非单点算法堆叠。商业差异化卖点：区别于仅回答输入框问题的传统AI，产品支持持续参与眼前事物的实时多模态交互，通过实时会话智能体（持续回应）与实时理解智能体（信息提取整理）结合业务场景，让每一次实时互动创造业务价值。

二、产品应用场景

必须回答“谁在什么情况下使用”，原文明确的受众与痛点如下：

• 医生检查场景（某头部 AI 医疗企业客户）：医生操作检查设备时不方便录入，口述观察结果。痛点：准确转写不等于报告可用，全部放入报告不宜，简单删除“聊天”会遗漏有用信息。
• 客户咨询场景（某头部物流企业客户）：AI呼入客服热线由AI先接，用户通过语音表达查件、取件码、投诉与下单等。痛点：识别查件意图只是任务开始；现场有背景噪声、中途订正数字；需获取准确单号并依据业务接口返回真实事实。
• 查看设备提示场景：用户寻求现场针对性帮助，展示画面一边说明。痛点：需AI结合前文与实时画面继续理解和回应。
• 通用持续交流场景：从仅仅回答输入框问题→持续参与眼前事物，一边处理事务一边与AI持续交流（语音、共享屏幕等）。痛点：实时多模态对系统提出理解现场、跟上任务、立刻响应要求，任何环节等待或偏差都会打断自然交流。

三、应用框架和功能介绍

功能框架

产品架构分为两层：

• 智能体服务：场景智能体（实时会话智能体：持续回应·组织自然交流；实时理解智能体：提取整理信息，输出价值内容）。
• AI原子能力：语音识别(ASR)（预处理·热词增强·声纹注册）、语音合成(TTS)（输出后处理）、同声传译（多语种互译）、文本与结构化生成、视觉生成·形象渲染、音视语义。现场输入支持声音 / 图像 / 视频 / 共享屏幕。工程优化贯穿输入与输出、上下文衔接、工具衔接。

硬核指标

数据来源：郑光键演讲材料原文提取的量化数据（未提及协议种类、API响应延迟、吞吐量TPS、数据格式，故仅列如下）：

• 多语种与方言识别：20+种方言、140+个外语语种，支持中英混说。
• 说话人分离与声纹注册：实时区分20+人说话场景，发言关联对应人员（声纹注册可选）。
• 自定义热词：支持大量级的自定义热词配置（行业术语/业务专有名词通过模型知识注入·热词增强）。
• 文本规整：提供字级时间戳，语气词/脏字过滤，口语转书面语。

产品优势（逐段全量提取，不遗漏基础点）

1. 交互演进优势：文字描述表达更精准（适合精确描述与留存）；多模态表达信息更完整（展示对象减少逐项描述）；持续交流一边操作一边进行，自然连续。
2. 实时会话智能体：让交流连续、自然地进行，支持持续交流场景。
3. 实时理解智能体：明确当前任务与输出要求；语音预处理（ASR转写·说话人分离，声纹注册可选·翻译可选）；实时理解（定制大语言模型、语义理解、内容生成、原文核对、结构化输出供用户核对使用）。
4. 输入预处理：降噪与抗干扰（AI降噪·远场人声消除·过滤彩铃与背景音乐）；改善画面光线、角度与清晰度。
5. 语音识别ASR：模型知识注入·热词增强（行业术语、业务专有名词）；说话人分离与声纹注册（实时区分20+人）；文本过滤与规整模型（语气词/脏字过滤、口语转书面语、字级时间戳）；语义结合上下文不把短句割裂。
6. 内容生成与输出：按任务组织内容（对话回复符合业务要求、结构化数据按记录要求、后续任务输入）；语音合成输出后处理优化听感，让因故听得清楚。
7. 医疗场景适配：结合语义与上下文基于检查过程筛选信息，按报告要求生成草稿，仅保留医生准确表达的信息，不补写没有依据的诊断结论。
8. 物流场景适配：采得准（整合订正·校验格式·查询，单号作业务字段）；说得真（依据接口返回，不补造缺失事实，查无结果如实说明）。
9. 交付拓展：AI交付从声音、文本拓展到画面（实时形象渲染服装外观调整、实时视觉生成一边交流一边确认效果）。
10. 全链路配合：采集传输（声画清晰）、模型理解、上下文组织、工具衔接；输入有质量、理解有上下文、处理有业务衔接、输出可继续使用。
11. 客户视角可组合性：可接入专业能力（语音识别、画面理解）；仍需组织完整过程（输入质量改善、音画关联、上下文衔接、业务输出），减少客户从零搭建、反复调试。
12. 产品设计思路：面向任务交付结果反推处理要求（形成记录/持续接待/交后续），反推输入质量、信息取舍、专业词汇、输出标准；全链路工程优化即将发布。

荣誉背书

材料未提及相关技术荣誉和奖项。

四、典型案例

案例1：某头部 AI 医疗企业客户

• 背景：该客户服务全国近千家医疗机构，其服务医疗机构中的超声检查场景。医生操作检查设备，口述检查描述、与患者交流、操作时的自语、对助理的话语。困境：转写准确不等于报告可用；全部放入报告不宜，简单删除“聊天”遗漏有用信息。
• 解决方案：使用实时理解智能体，结合语义与上下文基于检查过程筛选相关信息，判断哪些应保留，按报告要求组织生成内容（报告草稿）。模块包括语音预处理（ASR转写·说话人分离）、定制大语言模型语义理解、内容生成与结构化输出。仅保留医生准确表达信息，不补写没有依据的诊断结论。
• 成效：生成待医生核对的报告草稿，保留医生真实表达且与报告相关的信息，整理后交由医生核对盖章。服务全国近千家医疗机构（规模核心指标），实现报告可用且规避无依据诊断。

案例2：某头部物流企业客户

• 背景：该客户AI呼入客服场景，热线由AI先接，承接查件、取件码、投诉与下单等业务。用户表达如“我快递三天没动了”需识别意图（查催件/催揽件等）。困境：识别查件意图只是任务开始；现场表达有背景噪声、中途订正数字；需获取单号确定查询对象并连接客户业务数据。
• 解决方案：
  • 采得准：把单号当作业务字段，整合用户订正确定最终提供的单号，检查开头和位数按照单号业务规则（语音识别、内容理解和字段校验通盘优化）。
  • 说得真：客户业务查询接口返回物流轨迹、地址信息等其他事实性内容，以接口返回信息为依据，已有事实接口提供，信息缺失接口未提供则查无结果如实说明，不凭借推测补造。模块：ASR、语义理解、业务接口衔接、内容生成。
• 成效：针对正确的查询对象，依据真实业务数据组织的答复；实现整合订正·校验格式·查询（采得准）与依据接口返回不补造缺失事（说得真），完成AI先接业务闭环。

总结：产品核心结论

腾讯云实时智能通过全链路AI协同（采集→传输→理解→上下文处理）将现场多模态输入转化为直接可用的业务结果，只有理解客户的业务和工作场景，才能落到技术的具体环节，让智能体交付能够直接使用。该产品降低客户从零搭建门槛，使每一次实时互动持续创造业务价值。

数据来源：2026腾讯全球数字生态大会，腾讯云实时互动产品负责人郑光键（Gorkin Zheng）演讲材料《腾讯云实时智能：以全链路 AI 能力协同，让每一次实时互动都创造业务价值》。