一种唇音同步差量化方案的介绍

作者:陈兴

导语 :针对花样直播唇音同步问题,设计了一套量化测试方案。通过OCR字符识别以及音频频率的分析,简便快捷,低成本,高准确度的测量出唇音同步差。本文重点对该方案的设计原理进行了分享。

一种唇音同步差量化方案的介绍

1. 唇音同步原理

音视频采集的数据分别来自于麦克风与摄像头,假定摄像头与麦克风采集数据是实时的,并在采集到数据时给他们一个时间戳来标明数据所属的时间,而编码封装按照原音视频时间的相对关系,就能保证音频与视频在时间上的对应。如此封装好数据之后,播放端同样根据音视频的时间戳来播放对应的音视频,就能实现音视频同步的效果。

不同步的原因主要有以下几种:

1) 生成环节:如果数据块上打的时间戳本身就有问题,必然产生不同步;

2) 传输环节:音频流、视频流分开传输,到达解码播放端时刻不同步;

3) 解码环节:解码时,未对音视频时间戳进行对齐,或对齐的不好,导致播放不同步。

最后表现出来,就是声音和画面对不上,严重影响用户体验。

2. 用户如何感受到不同步

1) 用户已知什么画面(主播口型)对应什么音色;

2) 用户在看画面的同时,耳朵在听对应的声音;

3) 通过大脑对比声音和画面的时间差,感知是否同步,感知同步差大小。

3. 如何模拟用户进行量化测试

1、 生成对应的视频文件,并且已知画面每一时刻对应的声音特性;

生成一个什么样的视频文件,能够最好的让画面和声音一一对应起来,是这个问题的关键。

这里采用的方案是:

1) 生成一个秒表视频,每个时刻,对应时间显示都是线性递增的;

2) 生成一个与视频等长的扫频wav文件,每个时刻,声音的频率都是线性递增的;

3) 将时间与频率对齐,如00:00.00对应频率0Hz,00:01.00对应频率1kHz,00:03.05对应频率3.05KHz等等;

2、 将用户播放的视频画面以及声音同步录制下来;

3、 像大脑一样去同步分析画面和声音,对比他们和视频源的差别;

1) 对于视频,按固定周期,使用Elecard Streameye取视频帧,查看画面秒表时间;

2) 对于音频,按固定周期,使用cooledit查看对应音频频率值;

3) 比较秒表时间与频率值的偏差,得到唇音同步时间差。

流程图如下:

4. 自动化实现简介

手动测试太麻烦,用python就可以轻松自动化。如上图所示,各环节python都有相关模块可以帮忙处理。

1) FFMPEG:截取对应时间的视频帧,分离出音频文件;

2) Tesseract:数字识别,读取秒表对应时间;

3) Numpy:FFT变换,分析音频频率值。

4) PyQT:给工具加个界面,成品如下。

5. 小结

当前方案为纯黑盒测试,可支持竞品测试。

但对于秒表数字清晰度有一定要求,如数字有拖尾模糊等情况,会影响识别准确度。

欢迎有兴趣的同学联系hingchen(陈兴)一起交流改进。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏木东居士的专栏

DataTalk:是一个宽表好还是多个维表好?

4023
来自专栏Android's Track

快速探索,音视频技术不再神秘

面对一门技术,我们熟悉而陌生,我们能够熟练的基于平台的API完成各种各样的需求,掌握平台特性、框架与原理。但随着技术点不断深入,却发现自己存在基础性与深度性的知...

2436
来自专栏机器之心

业界 | 苹果博客:高效可扩展的规模化、多样化隐私学习

3376
来自专栏云加头条

【干货合辑】毕业季,如何敲开「IT世界」的大门

现在 IT 新技术日新月异,IT 行业的工作也变得赤手可热。刚毕业的大学生也蜂拥而至,但是在校的学习经验并没有一定的专业领域的实操经验,而被企业拒之门外。那么,...

6.6K1
来自专栏何俊林

Android Multimedia框架总结(五)多媒体基础概念

转载请把头部出处链接和尾部二维码一起转载,本文出自: http://blog.csdn.net/hejjunlin/article/details/52431...

1979
来自专栏腾讯社交用户体验设计

有数据的apps——手机端的数据表达式 - 腾讯ISUX

1053
来自专栏CDA数据分析师

驾驭机器学习的13种框架

想大胆尝试机器学习?这些工具可以为你处理繁重的任务。 驾驭机器学习的13种框架 ? 在去年,机器学习以前所未有的势头进入主流。对这股潮流起到推波助澜的不单单是成...

18410
来自专栏WeTest质量开放平台团队的专栏

你手机的电都去哪儿了?

与传统的APP相比,手游的耗电量那可不是盖的,手机还有10%的电,玩局游戏吧,正玩着HIGH呢,马上就要破记录了,无情的手机提示电量耗尽30秒后强制关机,欲哭无...

553
来自专栏大数据文摘

AI大事件 | 胶囊网络的TensorFlow实现,Facebook关闭私人助理M

1594
来自专栏企鹅号快讯

总结:如何操作各大品牌工业机器人——认知篇

在这几年,各大工业机器人制造商,目前都热衷与人机协作,ABB的“玉米”,FANUC的“绿手臂”,KUKA的“伊娃”等等,在人机协作走的比较前的也就数UR了,我们...

2366

扫码关注云+社区