一种唇音同步差量化方案的介绍

作者:陈兴

导语 :针对花样直播唇音同步问题,设计了一套量化测试方案。通过OCR字符识别以及音频频率的分析,简便快捷,低成本,高准确度的测量出唇音同步差。本文重点对该方案的设计原理进行了分享。

一种唇音同步差量化方案的介绍

1. 唇音同步原理

音视频采集的数据分别来自于麦克风与摄像头,假定摄像头与麦克风采集数据是实时的,并在采集到数据时给他们一个时间戳来标明数据所属的时间,而编码封装按照原音视频时间的相对关系,就能保证音频与视频在时间上的对应。如此封装好数据之后,播放端同样根据音视频的时间戳来播放对应的音视频,就能实现音视频同步的效果。

不同步的原因主要有以下几种:

1) 生成环节:如果数据块上打的时间戳本身就有问题,必然产生不同步;

2) 传输环节:音频流、视频流分开传输,到达解码播放端时刻不同步;

3) 解码环节:解码时,未对音视频时间戳进行对齐,或对齐的不好,导致播放不同步。

最后表现出来,就是声音和画面对不上,严重影响用户体验。

2. 用户如何感受到不同步

1) 用户已知什么画面(主播口型)对应什么音色;

2) 用户在看画面的同时,耳朵在听对应的声音;

3) 通过大脑对比声音和画面的时间差,感知是否同步,感知同步差大小。

3. 如何模拟用户进行量化测试

1、 生成对应的视频文件,并且已知画面每一时刻对应的声音特性;

生成一个什么样的视频文件,能够最好的让画面和声音一一对应起来,是这个问题的关键。

这里采用的方案是:

1) 生成一个秒表视频,每个时刻,对应时间显示都是线性递增的;

2) 生成一个与视频等长的扫频wav文件,每个时刻,声音的频率都是线性递增的;

3) 将时间与频率对齐,如00:00.00对应频率0Hz,00:01.00对应频率1kHz,00:03.05对应频率3.05KHz等等;

2、 将用户播放的视频画面以及声音同步录制下来;

3、 像大脑一样去同步分析画面和声音,对比他们和视频源的差别;

1) 对于视频,按固定周期,使用Elecard Streameye取视频帧,查看画面秒表时间;

2) 对于音频,按固定周期,使用cooledit查看对应音频频率值;

3) 比较秒表时间与频率值的偏差,得到唇音同步时间差。

流程图如下:

4. 自动化实现简介

手动测试太麻烦,用python就可以轻松自动化。如上图所示,各环节python都有相关模块可以帮忙处理。

1) FFMPEG:截取对应时间的视频帧,分离出音频文件;

2) Tesseract:数字识别,读取秒表对应时间;

3) Numpy:FFT变换,分析音频频率值。

4) PyQT:给工具加个界面,成品如下。

5. 小结

当前方案为纯黑盒测试,可支持竞品测试。

但对于秒表数字清晰度有一定要求,如数字有拖尾模糊等情况,会影响识别准确度。

欢迎有兴趣的同学联系hingchen(陈兴)一起交流改进。

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CSDN技术头条

微软开源基于Minecraft的AI开发平台

image.png 微软宣布,其研究员用来测试人工智能项目的平台AIX开放源代码。 AIX平台已经用于微软的人工智能研究中,现在,也有个人测试版供研究者使用。这...

2179
来自专栏华章科技

从大数据中挖掘什么?

大数据挖掘中最重要的是决定挖掘什么样的知识,这是在数据的收集、处理、挖掘的整个过程中都需要认真考虑的问题。本文首先提出大数据挖掘的几项策略,即尽量设想挖掘的场景...

302
来自专栏申龙斌的程序人生

搞定GTD - 合乎自然的项目规划法

这次介绍GTD总流程图左侧的项目分解的步骤,对于需要多个步骤的项目,需要留出专门的时间进行项目计划,分解出多个行动来。《搞定1》里称为一个项目的纵向规划,而在《...

2928
来自专栏PPV课数据科学社区

中国首份00后生活形态与消费方式报告

脑洞大开,天马行空 ? 初具自我意识,崇尚专属专享 ? 人小鬼大,独立自主 ? 与成人社会无缝对接 ? 成绩不重要,但仍上紧发条 ? 具有强烈...

3458
来自专栏CDA数据分析师

数据挖掘:网购评论是真是假?

当你在网上选购商品时,同类的商品成千上万,哪些因素会影响你选购某件商品呢?商品评论一定是一个重要的参考吧。一般我们总会看看历史销量高不高,用户评论好不好,然后再...

2049
来自专栏xingoo, 一个梦想做发明家的程序员

推荐系统那点事 —— 什么是用户画像?

用户画像在大数据分析中是一种很有用的系统,它可以各种不同的系统中,起到很关键的作用。比如搜索引擎、推荐系统、内容系统等等,可以帮助应用实现千人千面、个性化、精...

4365
来自专栏宏伦工作室

豆瓣电影数据分析和可视化

1997
来自专栏WeTest质量开放平台团队的专栏

FPS 手游如何脱颖而出?看《 CF 手游》的性能突破之路

手游时代捉襟见肘的内存使得资源加载时就像如履薄冰,加上高中低不同配置的机型更加让性能问题显得很突出,一个低端机型上的卡顿就可能造成一大批用户的流失,这当然无法被...

1290
来自专栏FreeBuf

Facebook反垃圾实践:人工治理与机器算法齐飞

2016年末,Facebook上的假新闻帮助特朗普胜选的消息,将这家社交网站推到一个尴尬的境地,迫使它上线一个“争议(Disputed)标签”功能,用来标记被认...

2419
来自专栏互联网数据官iCDO

谷歌可能真的存在一套自然质量评分体系

译者:Nic 朱玉雪 本文长度为2920字,预估阅读时间3分钟。 关键词:谷歌、自然、评分系统。 Google会依据自然搜索结果的质量来打分?让我们先假定这个...

1906

扫码关注云+社区