专栏首页新智元深度全序列卷积神经网络克服LSTM缺陷,成功用于语音转写

深度全序列卷积神经网络克服LSTM缺陷,成功用于语音转写

【新智元导读】目前最好的语音识别系统采用双向长短时记忆网络(LSTM,LongShort Term Memory),但是,这一系统存在训练复杂度高、解码时延高的问题,尤其在工业界的实时识别系统中很难应用。科大讯飞在今年提出了一种全新的语音识别框架——深度全序列卷积神经网络(DFCNN,Deep Fully Convolutional NeuralNetwork),更适合工业应用。本文是对科大讯飞使用DFCNN应用于语音转写技术的详细解读,其外还包含了语音转写中口语化和篇章级语言模型处理、噪声和远场识别和文本处理实时纠错以及文字后处理等技术的分析。

人工智能的应用中,语音识别在今年来取得显著进步,不管是英文、中文或者其他语种,机器的语音识别准确率在不断上升。其中,语音听写技术的发展最为迅速,目前已广泛在语音输入、语音搜索、语音助手等产品中得到应用并日臻成熟。但是,语音应用的另一层面,即语音转写,目前仍存在一定的难点,由于在产生录音文件的过程中使用者并没有预计到该录音会被用于语音识别,因而与语音听写相比,语音转写将面临说话风格、口音、录音质量等诸多挑战。

语音转写的典型场景包括,记者采访、电视节目、课堂及交谈式会议等等,甚至包括任何人在日常的工作生活中产生的任何录音文件。 语音转写的市场及想象空间是巨大的,想象一下,如果人类可以征服语音转写,电视节目可以自动生动字幕、正式会议可以自动形成记要、记者采访的录音可以自动成稿……人的一生中说的话要比我们写过的字多的多,如果有一个软件能记录我们所说过的所有的话并进行高效的管理,这个世界将会多么的让人难以置信。

基于DFCNN的声学建模技术

语音识别的声学建模主要用于建模语音信号与音素之间的关系,科大讯飞继去年12月21日提出前馈型序列记忆网络(FSMN, Feed-forward Sequential Memory Network)作为声学建模框架后,今年再次推出全新的语音识别框架,即深度全序列卷积神经网络(DFCNN,Deep Fully Convolutional NeuralNetwork)。

目前最好的语音识别系统采用双向长短时记忆网络(LSTM,LongShort Term Memory),这种网络能够对语音的长时相关性进行建模,从而提高识别正确率。但是双向LSTM网络存在训练复杂度高、解码时延高的问题,尤其在工业界的实时识别系统中很难应用。因而科大讯飞使用深度全序列卷积神经网络来克服双向LSTM的缺陷。

CNN早在2012年就被用于语音识别系统,但始终没有大的突破。主要的原因是其使用固定长度的帧拼接作为输入,无法看到足够长的语音上下文信息;另外一个缺陷将CNN视作一种特征提取器,因此所用的卷积层数很少,表达能力有限。

针对这些问题,DFCNN使用大量的卷积层直接对整句语音信号进行建模。首先,在输入端DFCNN直接将语谱图作为输入,相比其他以传统语音特征作为输入的语音识别框架相比具有天然的优势。其次,在模型结构上,借鉴了图像识别的网络配置,每个卷积层使用小卷积核,并在多个卷积层之后再加上池化层,通过累积非常多的卷积池化层对,从而可以看到非常长的历史和未来信息。这两点保证了DFCNN可以出色的表达语音的长时相关性,相比RNN网络结构在鲁棒性上更加出色,同时可以实现短延时的准在线解码,从而可用于工业系统中。

(DFCNN 结构图)

口语化和篇章级语言模型处理技术

语音识别的语言模型主要用于建模音素与字词之间的对应关系。由于人类的口语为无组织性的自然语言,人们在自由对话时,通常会出现犹豫、回读、语气词等复杂的语言现象,而以文字形式存在的语料通常为书面语,这两种之间的鸿沟使得针对口语语言的语言模型建模面临极大的挑战。

科大讯飞借鉴了语音识别处理噪声问题采用加噪训练的思想,即在书面语的基础上自动引入回读、倒装、语气词等口语“噪声”现象,从而可自动生成海量口语语料,解决口语和书面语之间的不匹配问题。首先,收集部分口语文本和书面文本语料对;其次,使用基于Encoder-Decoder的神经网络框架建模书面语文本与口语文本之间的对应关系,从而实现了口语文本的自动生成。

另外,上下文信息可以较大程度帮助人类对语言的理解,对于机器转录也是同样的道理。因而,科大讯飞在去年12月21提出了篇章级语言模型的方案,该方案根据语音识别的解码结果自动进行关键信息抽取,实时进行语料搜索和后处理,用解码结果和搜索到的语料形成特定语音相关的语言模型,从而进一步提高语音转写的准确率。

(篇章级语言模型流程图)

噪声和远场识别技术

语音识别的应用远场拾音和噪声干扰一直是两大技术难题。例如在会议的场景下,如果使用录音笔进行录音,离录音笔较远说话人的语音即为远场带混响语音,由于混响会使得不同步的语音相互叠加,带来了音素的交叠掩蔽效应,从而严重影响语音识别效果;同样,如果录音环境中存在背景噪声,语音频谱会被污染,其识别效果也会急剧下降。科大讯飞针对该问题使用了单麦克及配合麦克风阵列两种硬件环境下的降噪、解混响技术,使得远场、噪声情况下的语音转写也达到了实用门槛。

单麦克降噪、解混响

对采集到的有损失语音,使用混合训练和基于深度回归神经网络降噪解混响结合的方法。即一方面对干净的语音进行加噪,并与干净语音一起进行混合训练,从而提高模型对于带噪语音的鲁棒性(编者注:Robust的音译,即健壮和强壮之意);另一方面,使用基于深度回归神经网络进行降噪和解混响,进一步提高带噪、远场语音的识别正确率。

麦克风阵列降噪、解混响

仅仅考虑在语音处理过程中的噪音可以说是治标不治本,如何从源头上解决混响和降噪似乎才是问题的关键。面对这一难题,科大讯飞研发人员通过在录音设备上加上多麦克阵列,利用多麦克阵列进行降噪与解混响。具体地,使用多个麦克风采集多路时频信号,利用卷积神经网络学习波束形成,从而在目标信号的方向形成一个拾音波束,并衰减来自其他方向的反射声。该方法与上述单麦克降噪和解混响的结合,可以进一步显著的提高带噪、远场语音的识别正确率。

文本处理实时纠错+文字后处理

前面所说的都只是对于语音的处理技术,即将录音转录成文字,但正如上文所述人类的口语为无组织性的自然语言,即使在语音转写正确率非常高的情况下,语音转写文本的可阅读性仍存在较大的问题,所以文本后处理的重要性就体现了出来。所谓文本后处理即对口语化的文本进行分句、分段,并对文本内容的流利性进行处理,甚至进行内容的摘要,以利于更好的阅读与编辑。

后处理Ⅰ:分句与分段

分句,即对转写文本按语义进行子句划分,并在子句之间加注标点;分段,即将一篇文本切分成若干个语义段落,每个段落描述的子主题各不相同。

通过提取上下文相关的语义特征,同时结合语音特征,来进行子句与段落的划分;考虑到有标注的语音数据较难获得,在实际运用中科大讯飞利用两级级联双向长短时记忆网络建模技术,从而较好的解决了分句与分段问题。

后处理Ⅱ:内容顺滑

内容顺滑,又称为不流畅检测,即剔除转写结果中的停顿词、语气词、重复词,使顺滑后的文本更易于阅读。

科大讯飞通过使用泛化特征并结合双向长短时记忆网络建模技术,使得内容顺滑的准确率达到了实用阶段。

本文分享自微信公众号 - 新智元(AI_era)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-08-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 2019语音技术报告:语音经济规模将超移动应用

    在过去多年的键盘输入和点击手机屏幕之后,我们正在回归到最初的“用户界面”:语音。虽然我们尚未感受到语音技术带来的全部影响,但这种技术正在改变我们与数字世界互动的...

    新智元
  • 语音AI革命十年,不忍看,不敢看!

    过去10年彻底改变了人们对语音技术的看法。语音助手从最初的几家门店,发展到如今已融入人们生活的方方面面。为了概括十年来发生的一切,我们挑选了过去十年里每年发生的...

    新智元
  • 【研报】全球智能语音市场将达200亿美元,进入群雄纷争时代

    【新智元导读】国际知名市场研究公司Research and Markets 2016年5月4日发布报告《全球及中国语音产业报告,2015-2020》的修订版本。...

    新智元
  • 业界|科大讯飞语音识别框架最新进展——深度全序列卷积神经网络登场

    导读:目前最好的语音识别系统采用双向长短时记忆网络(LSTM,LongShort Term Memory),但是,这一系统存在训练复杂度高、解码时延高的问题,尤...

    AI科技评论
  • 语音识别技术发展迅速,这本书是你需要的全方位解读语音识别的最新著作!

    随着物联网技术和智能设备技术的快速发展,人与机器的交互,不再仅依赖于鼠标和键盘,更有可能的是直接采用语音。

    博文视点Broadview
  • 语音识别揭秘,它与人工智能是什么关系?

    自1962年IBM推出第一台语音识别机器以来,语音识别科学已经走了很长一段路。这已经不是什么秘密了。

    AiTechYun
  • 现在的语音识别技术可能存在的问题

    以下内容来自于Sensory网站,作者为Sensory CEO Todd Mozer -

    用户6026865
  • AI语音交互领域常用的4个术语

    语音合成标记语言的英文全称是Speech Synthesis Markup Language,这是一种基于XML的标记语言,可让开发人员指定如何使用文本转语音...

    曼孚科技
  • 干货 | 极限元算法专家:深度学习在语音生成问题上的典型应用 | 分享总结

    AI 科技评论按:深度学习在2006年崭露头角后,近几年取得了快速发展,在学术界和工业界均呈现出指数级增长的趋势;伴随着这项技术的不断成熟,深度学习在智能语音领...

    AI科技评论
  • 语音巨头时代来临!谁将是中国Siri?

    大约一年前,中国移动以13.6亿人民币的代价获得了科大讯飞15%的股权,后者股价一路攀升,从不足30元到最高61元,成为一大牛股,市值高达240多亿人民...

    罗超频道

扫码关注云+社区

领取腾讯云代金券