突破口语枷锁！神奇自供电传感器，无声唇语变革，沟通不再有障碍

在日常生活中，对于那些患有声带损伤、喉咙或舌头受伤的人来说，唇语成为了一种非常有效的无声交流方式，而且不需要占用双手。

为方便使用提出了一种自供电的唇语解码系统，旨在为声带、喉咙或舌头受伤的人提供方便的无障碍交流方式，无需双手操作。

系统采用了低成本、接触式、柔性的摩擦电传感器，这项技术可用于身份验证以及将唇部动作转化为语音等应用。

在日常生活中，人们可以使用唇语进行声音关闭的交流，这对于声带损伤、喉咙问题以及无法动手的人来说是一种有效的沟通方式。

不过唇语的采集和解释却充满了挑战，所以提出了一种全新的唇语解码系统，它基于自供电、低成本、接触式和柔性的摩擦电传感器，以及经过良好训练神经网络模型。

最开始对柔性传感器的结构原理和电学性质进行了详细测量和分析，接着采集并比较了不同元音、单词、短语、无声言语和有声言语的唇部运动。

经过训练，原型学习模型在20个类别中的每个类别包含100个样本，测试准确率达到了94.5%。

除此之外，还选择了口罩来辅助定位和固定传感器，从而提高了隐私性和保密性，防止了呼吸道传染病的传播。

这项工作为捕捉嘴部肌肉运动并将其识别为语音或文本打开了一种新的可能性，从而为失去声音的人们提供了便捷的生活方式，几乎不需要额外的资源。

要更深入地了解这一系统，需要先了解唇语解码系统的结构和工作原理，以及嵌在嘴周围的摩擦电传感器的组成部分。

这些自供电传感器由柔性聚合物薄膜制成，放置在嘴部肌肉的交汇处，以提高嘴唇皮肤的感觉。

为了解决信号多样性和个性化小样本的挑战，采用了一种基于原型学习的扩张递归神经网络模型，该模型在测试中达到了94.5%的准确率。

选择了口罩来辅助传感器的定位和固定，这不仅增加了隐私和保密性，还防止了呼吸道传染病的传播。

这一创新的方法为通过捕捉肌肉运动并将其识别为语音或文本提供了一种新的可能性。

这一工作有望帮助言语障碍者实现无障碍交流，丰富了人机界面和无声言语界面中唇语翻译系统的多样性。

还对摩擦电传感器的基本特性进行了深入研究，包括在不同力和频率下的开路电压、短路电流、串并联连接、负载曲线和耐久性等。

收集了一系列典型单词的唇部运动信号，并将其与同步声音进行比较，以验证系统的准确性。

在这个过程中，还研究了说话速度和唇部运动模式对唇部信号、无声言语和有声言语信号的影响。

还计算了在特定单词中听到声音前需要的嘴部运动时间，这对于深入了解声音和嘴部运动之间的关系非常重要。

对口语运动信号进行了采样，并使用机器学习模型进行了训练，唇语解码系统支持的应用包括身份识别以解锁大门和玩具车的方向控制。

这些应用均取得了良好的效果，展示了通过摩擦电传感器辅助的唇语对改善言语障碍者的交流的潜在可行性。

这项工作为通过捕捉肌肉运动并将其识别为语音或文本提供了一种新的可能性，从而为失去声音的人们提供了便捷的生活方式，几乎不需要额外的资源。

这一创新的方法丰富了人机界面和无声言语界面中唇语翻译系统的多样性，这将是一项有潜力的工作，将在许多应用领域发挥潜在的价值。

在这项研究中，引入了一种创新的技术，即灵活的静电感应传感器，用于捕捉口腔运动产生的电信号，并将其应用于口语和唇语之间的关联。

这一概念构建了一种唇语解码系统旨在利用深度学习辅助分类器将唇语信号翻译成声音或文本。

系统使用了一种特殊设计的灵活静电感应传感器，这些传感器放置在口唇周围的关键位置，以捕捉口腔肌肉的运动。

当一个人发音时，传感器检测到唇部肌肉的运动并生成一系列电信号，这些信号经过处理后，传输到训练有素的神经网络中，最终被识别并转化为声音或文本输出。

为了确保传感器的准确性和稳定性，还使用了定位面罩和海绵来固定传感器的位置，以及通过调整信号振幅来提供预张力。

对传感器的电特性进行了详尽的研究，包括外力、频率、尺寸、结构等参数对电信号的影响。

实验结果显示，传感器对外力敏感，灵敏度达到了0.376 V/N，且随着频率的增加，电流也相应增加。

还观察到传感器的尺寸和厚度对电信号产生有显著影响，特别是面积的增大会导致更大的电流输出，还研究了传感器的内部电阻和信号持续时间等特性。

捕捉了口腔运动信号，特别是与发音相关的信号，以及短语和单词的信号，通过分析不同发音和口腔动作的信号，能够建立唇语信号与声音信号之间的对应关系。

实验结果表明，唇语信号的持续时间通常比声音信号长，且唇语信号的波形对不同发音具有独特的特征，这为唇语信号的识别提供了基础。

为了实现唇语信号的智能识别，还采用了深度学习算法，具体是一种基于原型学习方法的扩张循环神经网络模型。

该模型在训练阶段使用唇语信号的数据集进行训练，然后在推断阶段对新的信号进行识别。

探讨了唇语解码系统的多种潜在应用，包括个人身份验证、车辆控制和帮助失声人士进行语言交流。

总的来说研究揭示了灵活的静电感应传感器在唇语信号捕捉方面的巨大潜力，以及唇语信号与声音信号之间的关系。

这为开发各种应用提供了新的机会，尤其是在语音障碍患者的辅助交流方面，由于不需要录制声音，唇语解码系统还具有潜在的隐私优势，可以在各种隐私敏感的情境中使用。

基于摩擦电传感器的唇语解读系统，这项技术具有潜力为有言语障碍的个体提供无障碍的交流方式，进一步丰富了辅助性沟通技术的手段。

这些传感器的工作原理基于摩擦电效应，将运动转化为电信号，将这些传感器放置在嘴唇的关键位置，如唇轮匝肌、笑肌和颊肌的交汇点，以捕捉嘴唇的微小运动。

当一个人说话时，这些传感器会探测到嘴唇肌肉的运动并产生一系列电信号，这些电信号经过处理后，最终被转化为声音或屏幕上的文本信息。

还采用了一种面具来辅助定位和固定传感器在与相关嘴部肌肉相对应的特定位置，以确保精确的信号捕捉。

摩擦电传感器的工作机制是通过材料的接触和分离运动来生成电荷，每个阶段都具有不同的电荷分布和电流方向。

这些电信号的电场分布在不同的按压和释放状态下进行了模拟，并且显示出明显的区别，这些特性对于识别唇语信号至关重要。

同时进一步研究了摩擦电传感器的电气特性，实验结果表明，在一定的外部负载阻抗和持续时间下，这些传感器产生的电压和功率具有可接受的性能。

传感器对压力敏感，且在一定压力以上开始产生敏感信号，电流随着频率的增加而增加，而输出电压基本保持稳定，这为信号识别提供了坚实的基础。

还比较了嘴唇运动信号和声音信号，并发现在无声言辞中的嘴唇运动与有声言辞中的嘴唇运动相等，这一发现对于沟通障碍的个体具有重要意义。

研究了不同参数对信号的影响，包括语速和嘴唇运动模式。实验结果表明，这些因素会影响信号的特征。

为了实现唇语的智能识别，提出并采用了一种基于原型学习的扩张循环神经网络模型。

这一模型在多个分类任务中取得了显著的测试准确率，为唇语识别提供了可行的解决方案。

开发了多种应用，包括身份验证、玩具车方向控制和语音翻译，这些应用展示了基于摩擦电传感器的唇语解释系统的广泛潜力。

这项研究丰富了辅助性沟通技术的工具箱，为有言语障碍的个体提供了一种新的、无障碍的交流方式。

这一技术还在机器人控制、个人身份验证、人机界面、残疾人辅助、无声言辞、智能、反恐任务执行、康复、生物医学工程和虚拟现实等领域具有广泛的应用潜力。

通过深入理解唇语信号，这项研究为未来的研究和应用奠定了坚实的基础，有望改善许多人的生活质量，并在科学和工程领域产生广泛的影响。

引入了一项具有创新性的技术，利用自供电的摩擦电传感器，将唇部运动翻译成语音或文本，为言语障碍者和失声个体提供了一种前所未有的无障碍交流方式。