功能概述
TWeTalk 是专为智能硬件打造的 AI 对话方案，聚焦多模态智能体与实时音视频通信两大核心。云端支持语音对话及多模态视觉推理交互，可闲聊、查询天气、问询各类信息等。语音识别融合情绪识别，预置高拟人度 TTS 音色并支持音色复刻。TWeTalk 亮点功能包括整合 Function Call 各类技能，可通过物模型配置实现硬件控制，深度整合端云协同与场景化 AI，集成腾讯系资源，可支持设备与微信音频呼叫（TWeCall）。
TWeTalk 也可以与主流嵌入式芯片及模组厂商合作，可以在端侧集成降噪、唤醒等技术。开发者可在控制台进行配置，该方案已应用于 AI 陪伴玩具、机器人、智能穿戴（手表、眼镜）、耳机同传、智能点餐、导览、AI 面试等 AIoT 场景，实现人与智能硬件的自然“对话”。
功能特性
功能类别 | 功能描述 |
AI 语音对话 | 语音智能体（Voice Agent）：支持智能硬件设备的语音交互。 |
| 语音识别（ASR）：支持云端语音识别。国内主要支持中文、中英文识别。 可使用腾讯云 ASR，或者配置三方服务（会产生服务调用费用，由接入方自己承担）。 |
| 语音合成（TTS）：集成自有腾讯 TTS，支持通过标准 API 接入第三方合规 TTS 服务（接入方需自行确保所选服务商合规并遵守相关法律法规的要求）。 |
| 支持对话中的语音打断：用户可通过语音来打断智能体说话。 |
| 情绪识别：能够从声学角度识别并解析情绪状态。 |
| 标准 VAD：区分语音与静默部分，以判断话轮切换。 |
| 语义 VAD：根据表达语义判断用户是否结束说话，通过标准 VAD + 语义完整性来决定说话的时机，避免误打断用户说话的情况。 |
音视频通信 | AI 语音对话支持 WebSocket、RTC 连接，根据实际应用所需情况自行选择。 |
| 购买 TWeCall 后，可支持设备和微信小程序的双向通话。 |
| Opus 编解码：使用 Opus 编解码减少带宽使用，改善传输时延和音频质量表现。 |
| 云端 AI 降噪：服务端将对音频进行 AI 降噪处理，适用于设备端未运行端上 AI 降噪功能的场景。 |
多模态理解 | 支持在实时对话中针对输入的图片进行理解和对话。可主动传图，或根据输入意图判定结果被动传图。 |
| 支持一次性短连接请求，适用于按需的、定时的、固定的图片推理任务。返回图片理解结果。 |
设备集成 | 嵌入式设备兼容：支持主流嵌入式硬件设备，要求至少有100KB的 RAM 和200KB的 Flash 空间。 |
| IoT 平台集成：与腾讯云物联网平台集成，支持 Wi-Fi 和蓝牙设备连接。 |
| 设备固件 OTA：支持设备固件的 OTA（空中升级）。 |
| 设备语音控制：支持通过语音控制设备属性（例如：调节音量、查询温度等）。 |
高级功能 | 语音助手技能：集成提醒设置、查询天气、音乐点播、设备控制等功能。 |
| 支持第三方服务商：用户可以根据配置 API 自定义 ASR、LLM、TTS 及会话配置信息。 支持产品维度和设备维度配置管理。 |
| 函数调用集成：集成 API 调用和知识库服务，实现更复杂的 AI 对话。 |
| 可定制的响应：支持自定义开场白、静默检测回复、特定格式回复。 |
| 长期记忆：稳定记录聊天事件、用户画像，精准检索对话历史，实现跨会话的记忆延续。 可基于用户画像与行为历史，在对话中为用户提供真正个性化、有温度的交互支持。 |
设备 SDK 集成 | 实时音频和事件回调：提供音频接收和事件处理回调，如机器人开始/停止讲话、转录、呼叫等。 |
控制台 | 在控制台进行产品激活码管理、设备量产和管理、智能体配置（人设 prompt、音色选择、模型配置、开场白配置）等。 |
支持芯片列表
计费说明
音视频激活码：是设备接入智能语音服务的凭证。
扩展资源：包含大模型推理 Tokens、ASR 及 TTS 服务等云服务资源。当前扩展资源不额外收取费用，但我们提供三种不同规格的服务，以满足不同的使用场景：
规格 | 功能区分 |
TWeTalk 基础版 | 通过 ASR + LLM + TTS 级联方案支持 IoT 设备的语音交互，模型均为腾讯云自研，同时支持使用外部服务。 TTS 不支持超自然大模型版本。 |
TWeTalk 高级版 | 通过 ASR + LLM + TTS 级联方案支持 IoT 设备的语音交互，模型均为腾讯云自研，同时支持使用外部服务。 TTS 支持超自然大模型版本，可使用长记忆能力。 |
TWeTalk 多模态 | 可支持视觉理解，实现拍照问和 AI 视频通话，TTS 支持超自然音色，可使用长记忆能力。 |
合规使用提示
本服务基于人工智能技术提供，生成结果可能因场景复杂性、数据质量、环境因素等原因而存在偏差，请以实际业务场景独立判断后使用，腾讯云不对生成内容的准确性、完整性、合法性、不侵权性提供担保。
使用本服务应遵守《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理暂行办法》《个人信息保护法》等相关法律法规，确保使用本服务处理的数据已获得相关主体的合法授权，不得使用本服务生成虚假信息、诈骗内容、色情低俗内容、损害他人合法权益的内容及其他违反法律法规要求的内容或从事任何违法活动。
如您的业务涉及拟人化互动服务，您还应按照《人工智能拟人化互动服务管理暂行办法》的规定，包括但不限于在向最终用户提供服务时：
显著提示用户正在与 AI 互动，连续使用每超2小时须弹窗提醒防沉迷。
严禁向任何未成年人提供虚拟亲属或伴侣服务，14岁以下使用须经监护人同意并开启未成年人模式。
识别到用户极端情绪须及时安抚，发现自残自杀等风险须立即干预并联络紧急联系人。
交互数据须加密保护，敏感信息未经单独同意不得用于训练或提供给第三方，保障用户复制删除权。
提供便捷退出途径不得阻碍，健全投诉举报机制，停止服务须提前公告。
