语音助手理解中断问题的语义修复技术

技术背景

在日常对话中，人们常会中途停顿回忆词语，而现有语音助手往往将此类停顿误判为语句结束。这种现象对痴呆症患者等特殊群体影响尤为显著，他们恰恰是最需要语音助手帮助的人群。

技术方案

研究团队采用语义图表示截断句子的创新方法：

1. 构建两个截断语句数据集：
   • 专有问题数据集（已在CUI会议发布）
   • 通用语句数据集（将在Interspeech发布）
2. 语义图捕获句子中每个单词的语义及词间关系
3. 训练级联模型：
   • 首阶段模型：输入不完整句子→输出不完整语义图
   • 次阶段模型：补全语义图→转换为文本输出

技术指标

• 问答场景：修复后问题相比完整问题的回答准确率仅下降0.77%
• 通用语料：图相似度F值仅降低1.6%（综合考虑假阳/假阴率）

应用价值

1. 提升特殊群体体验：
   • 帮助痴呆症患者更顺畅使用提醒、食谱选择等功能
   • 改善发音障碍用户（如肌营养不良症患者）的识别准确率
2. 增强环境鲁棒性：
   • 有效应对突发噪声（如狗吠声）导致的语音识别中断
3. 自然交互改进：
   • 支持类似人类的澄清追问交互方式
   • 实现词语级别的渐进式语义理解

技术展望

公开发布的数据集将促进语音助手自然交互和可访问性研究的进一步发展。该方法证实了通过自然交互纠正语音识别错误的可行性，为未来智能语音系统在复杂环境中的应用奠定基础。