学习
实践
活动
工具
TVP
写文章

语音评测技术在古诗背诵场景中的应用

(文 / 作业帮语音技术团队 王洲 王强强)

口语环节正在语言类教育课程中获得更多重视,一对一的师生交流和指导是提高口语水平最有效的方式,但该方式很难满足数量众多的口语学习者需求。得益于计算机技术和语音评测技术的突飞猛进,计算机辅助语言学习(Computer Assisted Language Learning)技术应运而生,各种基于人工智能技术的口语评测方案相继落地。包括朗读,背诵,复述,自由表达等多种方式,它为学生提供了额外的学习机会和充足的学习材料,能够辅助或者替代教师指导学生进行更有针对性的发音练习,指出学生的发音错误,提供有效的诊断反馈信息,并评估学生的整体发音水平,从而切实提高学生的口语学习效率和口语水平。

语音评测技术简介

2.1 评价指标

发音评测维度包括发音的准确率,流畅度,完整度,韵律,语调等。

准确度:体现用户的发音水平。

流利度:体现用户朗读流畅程度,和语速、停顿次数相关。

完整度:体现用户发音正确的单词占比。

单词得分:句子中每个单词的得分。

句子得分:段落中每个句子的得分。

总分:评测整体得分,综合上面分数获得,准确度对总分影响最大。

口语好坏的评价是主观的,人工专家根据自身的专业知识及经验,在各个维度按照优、良、中、差、劣等级进行打分,不同的专家会得出不同的结果。评价机器口语评测系统是否靠谱,一般采用相关系数(Pearson correlation coefficient),一致性(kappa coefficient)等指标来衡量打分系统的性能。与专家打分越接近,系统越靠谱。但有多靠谱,需要有参照物,通常会用平均的人与人之间的相关性来作为参照,目前的人机相关性、一致性已经超过了人与人之间的平均相关性,一致性。语音评测技术已被普遍使用在中英文的口语评测和定级中。

2.2 技术框架

语音评测目前的主流方案是基于隐马尔科夫-深度神经网络(Hidden Markov Model,HMM,Deep Neural Networks, DNN)模型获得语音后验概率,与评测文本强制对齐(force alignment)后,使用 GOP(Goodness of Pronunciation)方法进行打分,流程如下图所示。

1)声学特征提取

语音信号在一帧(frame)观察窗口内平稳,将切分后的时域片段信号转换到频域,获得 MFCC(13 维或 40 维),Fbank(80 维)等特征,一帧是语音序列的最小单元。在 GMM(Gaussian Mixture Model)模型中,使用 MFCC 特征,是因为 GMM 的协方差估计使用了对角矩阵,输入特征需要保证每一帧的元素之间相互独立。DNN 模型中,特征可以是 MFCC 或 Fbank 特征;

2)HMM-GMM 无监督聚类

该过程用来获取帧标签(Frame-wise label)进行后面的 DNN 训练。HMM 对语音的时序约束、依赖进行建模,GMM 属于生成模型,对 HMM 的观察概率(属于各个音素的概率)进行建模。语音的标注通常是单词序列,每一帧对应哪个音素提前是不知道的。GMM 通过相似度聚类,同一个音素的相邻各帧归为同一类,获得音素的 duration、边界信息。目前语音信号中对齐算法主流依旧是 HMM-GMM,其它算法 ctc,attention 对齐都有各自的问题,ctc 的尖峰,attention 的时序无约束问题。

3)DNN 判别学习

GMM 聚类效果尚可,但 GMM 对音素建模能力有限,无法准确的表征语音内部复杂的结构。通过 DNN 取代了 GMM 来进行 HMM 观察概率的输出,可以大大提高准确率。DNN 模型的最后一层使用 softmax 进行软分类,交叉熵 loss 进行训练,DNN 的输出称为后验概率 (phonetic posteriorgrams,PPG)。

用一个例子来说明 DNN 的输出,假设有 5 帧语音特征, 发音内容为“er_3 duo_0”,取[sil,er_3,d,uo_0,uo_3]PPG 如下:

在 t=0 第一帧,er_3 的概率 0.921272 最大。

4)评测文本构建 hmm 解码图,约束文本时序关系:

对于上面的评测文本“er_3 duo_0”, 我们要评价每个音素的发音正确性,也要保证时序性,如果用户读的是“d uo_0 er_3”每个音都对,但时序是错误的,为了约束这种时序关系,我们定义了如上的 HMM 结构。状态 0 到 1,1 到 2,2 到 3, er_3,d,uo_0 每个音至少发生一次,状态 1,2,3 上面每个都有自旋,表示该音素可以重复发生。

5)Viterbi 解码获得强制对齐结果

首先我们将 PPG,表示成状态转移图,如下图所示,有六个状态,状态之间的弧表示各个音素及音素的后验概率,0 粗线圆圈代表开始状态,5 双圆圈代表结束状态。如果音素个数为 C,帧数为 T,则弧路径个数为 CT。

DNN 的后验概率转移图,通过评测文本 HMM 解码图的约束,在 CT 条路径中,只剩下构成“er_3d uo_0”的路径及相应的 score。使用 Viterbi 算法我们可以高效获得 score 最大路径。上图中 Viterbi 最优路径[er_3, er_3,d, uo_0, uo_0] ,也就是强制对齐结果。

6)GOP 准确度打分,Averaged Frame-level Posteriors[1]:

P(St|Ot)是 DNN 模型 softmax 的输出,Ot 是 t 时刻语音帧,St 是 force alignment 后 t 时刻的对齐音素。ts,te 是音素的开始和结尾。

GOP(er_3)=(0.92+0.95)/2

GOP(d) =0.99

GOP(duo_0)=(0.65+0.80)/2

7)整体打分

获得音素的准确度打分,离最终的单词,句子,整体打分还有距离。评测任务最后都会接一个打分模型,使用音素的 GOP 分数,流利度等特征拟合到专家分数。2021 年腾讯提出一种将声学模型中的深层特征[2],而不是 GOP 特征传递到打分模块中,该模块基于注意力(attention)机制,考虑句子中不同粒度之间的关系,获得了更优的整体评分。

作业帮目前基于特征提取工程,收集了包括 GOP 分数,元辅音,词性,声调,发音时长,流利度等多维度信息,通过神经网络模型强拟合能力,预测单词,句子的分数结果,整体打分效果跟人工打分取得了较高的一致性。

DNN 声学模型的改进

3.1 conformer 模型

Conformer 是 Google 在 2020 年提出的语音识别模型,基于 Transformer 改进而来,主要的改进点在于 Transformer 在提取长序列依赖的时候更有效,而卷积则擅长提取局部特征,因此将卷积应用于 Transformer 的 Encoder 层。Conformer 的 Encoder 模型由多个 encoder_layer 叠加而成,每个 encoder_layer 由 feed-forward ,multi-head self-attention,convolution,feed-forward 组成。

在流式评测任务中,随着用户的朗读,需要实时快速的返回评测结果,直接使用 conformer 模型进行流式评测,会遇到以下问题:

1)由于 attention 机制,每一帧数据需要看到全部数据做 weight 计算,随着语音时长的增加,计算复杂度和内存储存开销会越来越大;

2)为了提高帧的识别准确率,每帧会向前看几帧数据,随着 encoder_layer 的增加,向前看数据量就会累加,这会造成很大的延迟;

3.2 基于块(chunk)的 mask 流式解决方案[3]

如上图所示,相邻三帧为一个 chunk,通过 mask 掉一些数据,attention 作用在当前 chunk 和前一个 chunk 中,当前 chunk 中的每一帧对右边的视野依赖最多两帧,平均时延为一帧时长,在每个 encoder_layer 层,对历史数据的依赖最多五帧。通过 mask 机制牺牲掉一些 attention 带来的收益,换取流式低延迟作为妥协。

conformer 中的卷积模块也使用了因果卷积,避免右边视野的累积。通过以上的改进,conformer 胜任了流式评测任务,时延在 300ms 左右。

古文背诵应用中的特殊处理

如上图所示,学生在手机应用中选择古文进行背诵,屏幕上就会实时显示背诵情况,正确染成黑色,有发音错误,染成红色。背诵后给出整体的评分报告,以此帮助学生检查和进行背诵练习。

多分支评测:古文背诵中,评测文本一般为一首诗,或古文的一段,包含了多句话。评测文本的解码图需要以句子为单位,支持句子的重复读(家长领读,小孩跟读),跳读(可以往前跳,也可以往后跳读)。

为了关注句子级别的构图关系,上图做了简化,将音素改为字,去掉字的跳读,重复读等弧。0 为开始状态,1 是结束状态,到达结束状态可以继续回到开始状态,开始下一句的背诵,每句背诵前面会有一个句子标识“$0”,“$1”等,通过该标识,我们可以知道当前用户读到了哪一句,方便染色。

上面的构图方式在一些诗句背诵中遇到问题,当诗句中存在重复诗句,或开头相似的句子。当回到开始状态 0 时,由于每条路径都是等概率的。会出现如下的现象:

在 t+1 时刻读完了第二句,应该开始第三句“$3 鱼”的染色,但由于等概率,及顺序问题,仍然会走 $2 路径,当 t+5 时刻读到“东”,路径会突然跳转到“$3 鱼戏莲叶东”。用户的体验就是,读完第二句一直不染色,读到“东”,立马第三句整句染色,影响体验。

解决方案:如下图所示,每一句读完添加到下一句的弧,例如状态 7 到 8 添加空边,第一句读完可以走第二句路径,或者回到起始状态,但添加惩罚(比如 0.5)。这样就可以保证古文多句的顺序读,但又保留了足够的自由度,允许重复读,跳读。

评测引擎本地化

评测服务在部署阶段遇到了如下问题:

1)课堂场景应用评测技术会带来超高并发,直播课场景,老师下发题目后学生几乎是同一时刻做答,并发量瞬间达到几万,要保证用户在短时间内尽快拿到打分结果,不能通过消息队列异步处理,只能提前为每个连接准备资源,需要大量的服务器资源支撑。

2)网络传输有一定的时延,对于需要做实时染色的评测服务,会感觉到染色时延,体验较差。

3)语音评测需要建立长链接,用户的网络有波动,但是语音评测服务要实时返回结果,无法缓存,会造成一定程度的评测失败。

为了解决这些问题,我们考虑开发本地评测方案,相比云端,本地评测具备以下优势:低延迟:节省了网络请求的延迟,优化了用户体验。安全性:更好的保护用户隐私数据。更稳定:消除了网络波动对服务的影响。节约云端资源:根据不同的本地算力,与云端推理结合,从而降低对云端算力的压力。

作业帮语音评测技术经过数轮迭代,在保证效果的前提下,conformer 模型通过裁剪以及量化等处理,压缩到 10M 以内,极大降低了端的算力要求。

作业帮用户体量比较大,部分用户使用的手机配置较低,难以进行端上计算,为了给所有用户带来好的体验,我们采用了端云一体解决方案,如下图所示。为了结合“端”和“云”的优势,在评测时,服务判断端上算力,对于较高算力的设备,评测是在“端”上完成;对于较低算力的设备,评测是在“云”上完成。在“端”的解决方案中,能提供 PC、手机、平板电脑、学习笔等多类型的硬件设备;跨平台支持 iOS,安卓、Windows、鸿蒙、Linux 等操作系统。

使用端云一体方案后,延时从原来的 200ms 降低到 50ms 以内,用户体验明显提升。同时释放了大量服务端资源,服务端资源占用降低为原有的 20%。

技术总结展望

语音评测技术和语音识别任务非常类似,近些年都获得了快速发展,语音识别中各种端到端算法不仅简化了训练流程,同时降低了整体错误率。评测技术也从原来的 HMM-GMM 升级到 HMM-DNN,准确率大幅提升。但在语音评测中 GMM 依旧是非常核心,必不可少的算法模块,通过 GMM 良好的聚类能力,音素的边界信息被提取出来。但能否通过神经网络直接获得对齐信息,大家有在各种尝试,interspeech2021 会议论中 Teytaut 通过 ctc 与 Auto-Encoder 的结合获得了优于 GMM 的对齐效果[4],ICASSP2022 会议论文中字节跳动提出了基于双向注意力神经网络强制对齐(ForcedAlignment)模型 NeuFA[5]。生成模型 Auto-Encoder,Variational Auto-Encoder,以及 attention 机制都有不错的对齐潜力,语音评测技术如果能借鉴这些方法实现完全的端到端训练,准确度有机会进一步提高。 

References::

[1]A NewDNN-based High Quality Pronunciation Evaluation for

Computer-AidedLanguage Learning (CALL)

[2]Deepfeature transfer learning for automatic pronunciation assessment

[3]DevelopingReal-time Streaming Transformer Transducer for Speech Recognition onLarge-scale Dataset

[4]Phoneme-to-audio alignment withrecurrent neural networks for speaking and singing voice

[5]NeuFA: Neural Network Based End-to-EndForced Alignment with Bidirectional Attention Mechanism

  • 发表于:
  • 本文为 InfoQ 中文站特供稿件
  • 首发地址https://www.infoq.cn/article/3ZFao6WKxQO8qTTjBqIF
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券