【AI专栏】语音合成系统评测介绍

作者:mekhidu

团队:腾讯移动品质中心 TMQ

前言

语音合成(Text To Speech,TTS)技术将文本转化为声音,目前广泛应用于语音助手、智能音箱、地图导航等场景。TTS的实现涉及语言学、语音学的诸多复杂知识,因实现细节的不同,TTS系统合成的语音在准确性、自然度、清晰度、连贯性等方面也有着不一样的表现,如何从多维度评价TTS系统质量成了TTS测试人员的一大挑战。本文针对TTS前端、后端的问题介绍了一种包括主观评测、客观评测TTS测试方法。

一、前端后端问题

当前典型的TTS系统可分为前端、后端两部分,前端完成输入文本的归一化、分词、发音预测、韵律结构预测的处理,后端对声音建模,通过学习得到声音参数,最后由声码器合成声音。

由于自然语言本身的复杂性和开放性,前端处理部分难度较大,难以覆盖所有情况,可能引入的问题举例如下:

1、发音错误。汉语中的多音字、数字、专有名词根据上下文的不同,发音也不一样,训练语料的覆盖不全,会导致合成的语音中部分字词的发音错误。另外现在国际化背景下,各类中英混合语料、缩略词、符号的存在,也为发音预测带来了巨大挑战。

2、声调不准。中文在实际口语发音时,存在一系列复杂的的变调规则,如一/不变调,上声变调等。这类规则的处理不当会导致合成的语音与平时发音习惯不符,听来怪异。

3、韵律异常。前端通过语法词分词、韵律词分词、断句等方式在文本中插入不同程度的停顿,通过时长预测控制字词的发音时长。分词、断句的错误会引起合成语音时的错误停顿,听起来节奏不当。

后端通过声音参数和声码器(WaveNet不在此列)合成语音波形,实际实现过程中无论是声音参数的选择,还是声码器的设计都是对真实发音过程的有损估计,无法百分百还原人声,可能引入的问题如下:

(1)清晰度差。合成的字、词发音不清晰,近音词区分度差;

(2)还原度差。合成音与目标说话人的音色有差异;

(3)杂音。在合成语音过程中引入背景噪声、字词间隔不顺畅。

二、客观评测

针对前后端可能存在的问题,本评测方法选择如下语料和指标对TTS系统做客观评测。

1、语料

本评测方法从发音准确性测试、韵律测试、字典覆盖度测试、字清晰度测试、词清晰度测试等角度出发搜集测试语料,语料结构如下:

2、客观评测指标

(1)发音准确率

根据前端发音预测可能存在的问题,准备测试语料,包括语料文本,待检查词汇,标准发音等,合成语音后人工评测发音准确率。

(2)韵律准确率

前端文本处理过程中会对文本做分词处理和时长预估,人工准备部分语料,对语料做停顿标注,检查前端输出,统计韵律准确率,韵律标注需要较高的语言学知识,因此这块的测试进行起来比较困难。

(3)字典覆盖率

检查语音合成系统对汉字的覆盖程度,检测字表包括普通话不同等级的字库和生僻字库,输入字库语料,检查是否正确合成,统计覆盖率。

(4)字清晰度得分

采用汉语清晰度诊断押韵测试(DRT)法测试字清晰度,由不同听音人对押韵字表听音选择,并计算总DRT清晰度得分,详见《GB-T 13504-1992》。

(5)词清晰度得分

采用语义不可测句(Semantic Unpredictable Sentence, SUS)测试单词清晰度,由待测词组成不合语法的待测句子。语义的不可测可以避免听音人的经验猜测,影响测试准确性。

三、主观评测

1、MOS评测

国际上对语音自然度的评测,一般是使用MOS评测,邀请听音人对被测系统输出语音打分衡量。最好是能够邀请到有经验的听音专家来参与评分,听音专家从拟人性、连贯性、韵律感等方面对语音进行打分。

目前我们的评测是培训众测用户做为听音人,流程大致如下:

(1)双方语音音量归一化;

(2)语音字词发音准确性校验;

(3)生成众测问卷,语音顺序交叉打乱;

(4)众测用户培训,试听自然人声和较差合成音锚定打分标准;

(5)众测用户听音打分;

(6)回收问卷,答题数据校验;

(7)计算MOS得分。

MOS打分表:

2、细分主观指标

MOS作为一个整体的主观打分可用于反映不同TTS合成的语音之间的差距,但是不适用于细致分析差异所在。因此,在MOS之外我们与用研同学合作,从前端、后端、主观体验上拆解了15个细分主观评测指标,通过两两比较评分法(Paired Comparison,PC),让听音人从各细分指标进行打分,指标列举如下,详细问卷描述略。

关注微信公众号腾讯移动品质中心TMQ,获取更多测试干货!

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

深度 | 探索实物与VR间重量转换的方法

1024
来自专栏算法channel

铁粉巨献:我是如何从coding菜鸟,走向科大讯飞AI工程师的

1344
来自专栏凌帅的阅读思考与实践

​关于B1众筹失手的经验教训分析

7月28日晚上8点BIG.ONE开始众筹。我因为白天处理事务较多,晚上快7点50才回到家,打开电脑已经过了8点了。但当时没有意识到已经开始了(这...

754
来自专栏人工智能头条

如何从0到1开始机器学习?

1524
来自专栏人工智能头条

小团队撬动大数据——当当推荐团队的机器学习实践

1979
来自专栏机器之心

学界 | 通用智能化:BAIR简述人类-机器人协作新技术

3477
来自专栏CreateAMind

博士这五年 (非常值得学习!)

王威廉:根据我的观察,CMU优秀博士生的一个共同特点就是自己主导研究,推着(push)导师走,而不是被导师催着干活。不论是早期的李开复,后来的沈向洋,还是现在年...

1072
来自专栏华章科技

想学数据分析不知道该读什么书、从哪本读,翻遍专业知识类网站最全的整理

适合对数据分析的入门者,对数据分析没有整体概念的人,常见于应届毕业生,经验尚浅的转行者。

742
来自专栏织云平台团队的专栏

如何从零到一地开始机器学习?

作为一个数学系出身,半路出家开始搞机器学习的人,在学习机器学习的过程中自然踩了无数的坑,也走过很多本不该走的弯路。于是很想总结一份如何入门机器学习的资料,也算是...

66014
来自专栏程序人生

谈谈如何做研究

今天谈谈我自己做研究的方法 —— 它跟随我多年,且一直在演进和完善中。我虽然没有读过 PhD(希望有生之年能够尝试一下),但我自认为这法子并不算差 —— 至少,...

34611

扫码关注云+社区