业界|科大讯飞语音识别框架最新进展——深度全序列卷积神经网络登场

导读:目前最好的语音识别系统采用双向长短时记忆网络(LSTM,LongShort Term Memory),但是,这一系统存在训练复杂度高、解码时延高的问题,尤其在工业界的实时识别系统中很难应用。科大讯飞在今年提出了一种全新的语音识别框架——深度全序列卷积神经网络(DFCNN,Deep Fully Convolutional NeuralNetwork),更适合工业应用。本文是对科大讯飞使用DFCNN应用于语音转写技术的详细解读,其外还包含了语音转写中口语化和篇章级语言模型处理、噪声和远场识别和文本处理实时纠错以及文字后处理等技术的分析。

人工智能的应用中,语音识别在今年来取得显著进步,不管是英文、中文或者其他语种,机器的语音识别准确率在不断上升。其中,语音听写技术的发展最为迅速,目前已广泛在语音输入、语音搜索、语音助手等产品中得到应用并日臻成熟。但是,语音应用的另一层面,即语音转写,目前仍存在一定的难点,由于在产生录音文件的过程中使用者并没有预计到该录音会被用于语音识别,因而与语音听写相比,语音转写将面临说话风格、口音、录音质量等诸多挑战。

语音转写的典型场景包括,记者采访、电视节目、课堂及交谈式会议等等,甚至包括任何人在日常的工作生活中产生的任何录音文件。 语音转写的市场及想象空间是巨大的,想象一下,如果人类可以征服语音转写,电视节目可以自动生动字幕、正式会议可以自动形成记要、记者采访的录音可以自动成稿……人的一生中说的话要比我们写过的字多的多,如果有一个软件能记录我们所说过的所有的话并进行高效的管理,这个世界将会多么的让人难以置信。

基于DFCNN的声学建模技术

语音识别的声学建模主要用于建模语音信号与音素之间的关系,科大讯飞继去年12月21日提出前馈型序列记忆网络(FSMN, Feed-forward Sequential Memory Network)作为声学建模框架后,今年再次推出全新的语音识别框架,即深度全序列卷积神经网络(DFCNN,Deep Fully Convolutional NeuralNetwork)

目前最好的语音识别系统采用双向长短时记忆网络(LSTM,LongShort Term Memory),这种网络能够对语音的长时相关性进行建模,从而提高识别正确率。但是双向LSTM网络存在训练复杂度高、解码时延高的问题,尤其在工业界的实时识别系统中很难应用。因而科大讯飞使用深度全序列卷积神经网络来克服双向LSTM的缺陷。

CNN早在2012年就被用于语音识别系统,但始终没有大的突破。主要的原因是其使用固定长度的帧拼接作为输入,无法看到足够长的语音上下文信息;另外一个缺陷将CNN视作一种特征提取器,因此所用的卷积层数很少,表达能力有限。

针对这些问题,DFCNN使用大量的卷积层直接对整句语音信号进行建模。首先,在输入端DFCNN直接将语谱图作为输入,相比其他以传统语音特征作为输入的语音识别框架相比具有天然的优势。其次,在模型结构上,借鉴了图像识别的网络配置,每个卷积层使用小卷积核,并在多个卷积层之后再加上池化层,通过累积非常多的卷积池化层对,从而可以看到非常长的历史和未来信息。这两点保证了DFCNN可以出色的表达语音的长时相关性,相比RNN网络结构在鲁棒性上更加出色,同时可以实现短延时的准在线解码,从而可用于工业系统中。

(DFCNN 结构图)

口语化和篇章级语言模型处理技术

语音识别的语言模型主要用于建模音素与字词之间的对应关系。由于人类的口语为无组织性的自然语言,人们在自由对话时,通常会出现犹豫、回读、语气词等复杂的语言现象,而以文字形式存在的语料通常为书面语,这两种之间的鸿沟使得针对口语语言的语言模型建模面临极大的挑战。

科大讯飞借鉴了语音识别处理噪声问题采用加噪训练的思想,即在书面语的基础上自动引入回读、倒装、语气词等口语“噪声”现象,从而可自动生成海量口语语料,解决口语和书面语之间的不匹配问题。首先,收集部分口语文本和书面文本语料对;其次,使用基于Encoder-Decoder的神经网络框架建模书面语文本与口语文本之间的对应关系,从而实现了口语文本的自动生成。

另外,上下文信息可以较大程度帮助人类对语言的理解,对于机器转录也是同样的道理。因而,科大讯飞在去年12月21提出了篇章级语言模型的方案,该方案根据语音识别的解码结果自动进行关键信息抽取,实时进行语料搜索和后处理,用解码结果和搜索到的语料形成特定语音相关的语言模型,从而进一步提高语音转写的准确率。

(篇章级语言模型流程图)

噪声和远场识别技术

语音识别的应用远场拾音和噪声干扰一直是两大技术难题。例如在会议的场景下,如果使用录音笔进行录音,离录音笔较远说话人的语音即为远场带混响语音,由于混响会使得不同步的语音相互叠加,带来了音素的交叠掩蔽效应,从而严重影响语音识别效果;同样,如果录音环境中存在背景噪声,语音频谱会被污染,其识别效果也会急剧下降。科大讯飞针对该问题使用了单麦克及配合麦克风阵列两种硬件环境下的降噪、解混响技术,使得远场、噪声情况下的语音转写也达到了实用门槛。

  • 单麦克降噪、解混响

对采集到的有损失语音,使用混合训练和基于深度回归神经网络降噪解混响结合的方法。即一方面对干净的语音进行加噪,并与干净语音一起进行混合训练,从而提高模型对于带噪语音的鲁棒性(编者注:Robust的音译,即健壮和强壮之意);另一方面,使用基于深度回归神经网络进行降噪和解混响,进一步提高带噪、远场语音的识别正确率。

  • 麦克风阵列降噪、解混响

仅仅考虑在语音处理过程中的噪音可以说是治标不治本,如何从源头上解决混响和降噪似乎才是问题的关键。面对这一难题,科大讯飞研发人员通过在录音设备上加上多麦克阵列,利用多麦克阵列进行降噪与解混响。具体地,使用多个麦克风采集多路时频信号,利用卷积神经网络学习波束形成,从而在目标信号的方向形成一个拾音波束,并衰减来自其他方向的反射声。该方法与上述单麦克降噪和解混响的结合,可以进一步显著的提高带噪、远场语音的识别正确率。

文本处理实时纠错+文字后处理

前面所说的都只是对于语音的处理技术,即将录音转录成文字,但正如上文所述人类的口语为无组织性的自然语言,即使在语音转写正确率非常高的情况下,语音转写文本的可阅读性仍存在较大的问题,所以文本后处理的重要性就体现了出来。所谓文本后处理即对口语化的文本进行分句、分段,并对文本内容的流利性进行处理,甚至进行内容的摘要,以利于更好的阅读与编辑。

  • 后处理Ⅰ:分句与分段

分句,即对转写文本按语义进行子句划分,并在子句之间加注标点;分段,即将一篇文本切分成若干个语义段落,每个段落描述的子主题各不相同。

通过提取上下文相关的语义特征,同时结合语音特征,来进行子句与段落的划分;考虑到有标注的语音数据较难获得,在实际运用中科大讯飞利用两级级联双向长短时记忆网络建模技术,从而较好的解决了分句与分段问题。

  • 后处理Ⅱ:内容顺滑

内容顺滑,又称为不流畅检测,即剔除转写结果中的停顿词、语气词、重复词,使顺滑后的文本更易于阅读。

科大讯飞通过使用泛化特征并结合双向长短时记忆网络建模技术,使得内容顺滑的准确率达到了实用阶段。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2016-08-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

简单有效的多标准中文分词

-欢迎 加入AI技术专家社群>> 本文介绍一种简洁优雅的多标准中文分词方案,可联合多个不同标准的语料库训练单个模型,同时输出多标准的分词结果。通过不同语料库之间...

2157
来自专栏AI研习社

从莫扎特到披头士,Facebook 新 AI 轻松转换音乐风格

想象一下:你的朋友几周来一直在唠叨你听一首歌,尽管你已经告诉他你不喜欢 Ed Sheeran。 他们继续纠缠你,声称“旋律是伟大的”。 如果只有你能听到文明形式...

993
来自专栏数据派THU

独家 | 一文读懂语音识别(附学习资源)

一、前言 6月27日,美国权威科技杂志《MIT科技评论》公布2017全球最聪明50家公司榜单。科大讯飞名列中国第一、全球第六。全世界排在科大讯飞前面企业分别是:...

2925
来自专栏量子位

CVPR 2017最佳论文出炉,DenseNet和苹果首篇论文获奖

李林 编译整理 量子位 报道 | 公众号 QbitAI 正在夏威夷举办的CVPR 2017,刚刚评出了今年的两篇最佳论文(Best Paper Awards):...

3637
来自专栏量子位

李飞飞CVPR最新论文 | 「文本转图」效果优化可多一步:物体关系描述

If有一款神器,可以根据文本生成图像,快速做出一般客户需求的海报,设计师们也许就可以把更多的时间用在创意上了。

632
来自专栏机器之心

深度 | DeepMind ICML 2017论文: 超越传统强化学习的价值分布方法

选自DeepMind 机器之心编译 参与:机器之心编辑部 设想一个每天乘坐列车来回跋涉的通勤者。大多数早上列车准时运行,她可以轻松愉快地参加第一个早会。但是她知...

3146
来自专栏专知

微软研究院Jianfeng Gao:基于深度学习的自然语言处理导论(课程,附PPT下载链接)

【导读】深度学习近几年在各领域的发展可谓是如火如荼,基于深度学习的自然语言处理方法也大受关注。本文介绍微软研究院Jianfeng Gao的一个暑期课程,课程主要...

3705
来自专栏数说工作室

深度学习祖师 Hinton 亲自授权 | 《神经网络》中文字幕版

Geoffrey Hinton,可能未必所有人都听过, 但他创立的门派——深度学习,却无人不知,点开本文的高傲的你,也许就是、或者即将成为,他的徒孙。 Geo...

34911
来自专栏量子位

机器翻译简史:八十多年来,人类就是要再造一座通天塔

《圣经》中记载,人类曾经联合起来兴建能通往天堂的高塔,为了阻止人类的计划,上帝让人类说不同的语言,使人类相互之间不能沟通,计划因此失败,人类自此各散东西。

922
来自专栏新智元

深度全序列卷积神经网络克服LSTM缺陷,成功用于语音转写

【新智元导读】目前最好的语音识别系统采用双向长短时记忆网络(LSTM,LongShort Term Memory),但是,这一系统存在训练复杂度高、解码时延高的...

6505

扫码关注云+社区