我们教电脑识别视频字幕

作者介绍:麻文华,博士毕业于中国科学院自动化研究所模式识别与人工智能专业。主要从事图像识别、目标检测跟踪等理论和应用研究,在领域内重要学术会议、期刊上发表论文4篇,申请相关专利2项。工作期间曾从事OCR、自然场景OCR应用研究,提出基于文字背景区域检测和自适应分级聚类的文字检测方法,研究成果申请美国专利2项,日本专利2项,中国专利5项。目前主要从事证件识别、自然场景文本识别等研究工作。

研究背景

随着便携式拍摄设备的普及以及自媒体、网络直播平台的兴起,数字视频迎来了爆炸式的增长。视频的有效编目和检索成为迫在眉睫的需求。然而,视频来源多种多样,很多并不具备规范化的描述信息(比如字幕文件)。基于纯粹的图像识别技术理解视频内容需要跨越 图像到语义理解的鸿沟,目前的技术尚不完善。另一方面,视频中的字幕往往携带了非常精准关键的描述信息,从识别字幕的角度去理解视频内容成为了相对可行的途径。

识别字幕文本通常需要两个步骤:字幕定位、文本识别。

字幕定位,即找出字幕在视频帧中所处的位置,通常字幕呈水平或竖直排列,定位的结果可以采用最小外接框来表示,如图1所示。字幕文本识别,即通过提取字幕区域的图像特征,识别其中的文字,最终输出文本串。

图1:视频字幕识别的一般流程

技术路线

字幕定位

字幕定位需要区分字幕区域和背景区域,有效的区分特征包括以下几点:

  1. 字幕的颜色、字体较为规整,且与背景有较为明显的颜色差异;
  2. 字幕区域的笔画丰富,角点和边缘特征比较明显;
  3. 字幕中字符间距固定,排版多沿水平或竖直方向;
  4. 同一视频中字幕出现的位置较为固定,且同一段字幕一般会停留若干秒的时间。

这其中,前三点是字幕外观特征,第四点是时间冗余性的特征。利用这些特征,一种可行的字幕定位方案如下:

图2:基于边缘密度的字幕定位

首先,对于视频帧灰度图像进行边缘检测,得到边缘图。

然后,在边缘图上分别进行水平和竖直方向的投影分析,通过投影直方图的分布,大致确定字幕的候选区域。如果存在多个候选区域,则根据字幕区域的尺寸和宽高比范围滤除不合理的检测结果。最后,通过多帧检测结果对比融合,进一步去除不稳定的检测区域。这样,基本可以得到可信的检测结果。

在某些复杂场景下,上述方法检测的区域可能会存在字幕边界检测不准的情况,尤其是垂直与字幕方向的两端边界。这时,可以进一步借助连通域分析的方法,求出字幕所在行区域的连通域,通过连通域的颜色、排列规整性来微调检测结果。

字幕文本识别

字幕文本识别通常采用的方法是首先根据行区域内的灰度直方图投影,切分单字区域,然后针对每个单字区域进行灰度图像归一化、提取梯度特征、多模版匹配和MCE(最小分类误差)分类。然而这种传统的基于特征工程的分类识别方法难以应对背景纹理复杂,以及视频本身的噪声和低分辨率等问题。

一种改进的思路是采用基于深度学习的端到端的串识别方案:CRNN (Convolutional Recurrent Neural Network)。其方法流程如图3所示:

图3:CRNN实现end-to-end word recognition

首先,输入高度固定、宽度不限的单词图像(无需单字区域信息),在训练过程中,将图像统一归一化到32*100;

然后,通过CNN层提取图像特征,利用Map-to-Sequence形成特征向量,输出

为的feature map。这里,

与输入图像的尺寸成比例相关。论文中,feature map的尺寸为:

。这相当于对图像进行了过切分,将其划分为26个条状区域,每个区域用512维的特征来表示。其中,26被认为是英文单词的长度上限。值得一提的是,由于卷积性质,这里的条状区域是“软边界”且存在交叠的,其宽度对应最后一层卷积的感受野。

接着,通过RNN层提取条状区域的上下文特征,得到类别概率分布。这里采用的是双层双向的LSTM,LSTM的单元个数与

一致。RNN的输出为

的概率矩阵,其中,

对应于类别个数,考虑26个英文字母+10个数字+1个负类(对应于字母之间的模糊地带),类别个数取37即可。

最后,通过CTC层将概率矩阵转化为对应某个字符串的概率输出。CTC层本身没有参数,它利用一种前向后向算法求解最优的label序列,使得理论上庞大的穷举计算成为可能。

从上面的分析可以看出,CRNN的亮点主要在于:将切分和识别合并为一个模块,避免了误差累积;可以端到端训练。在我们前期的实践中,发现其性能比传统方法的确有明显提升,主要表现为对于艺术字体、手写字体等切分困难情况优异的识别性能。但是,针对实际应用场景的分析让我们最终放弃了这个方案,原因有二:

时效:基于我们在英文单词上面的实验对比,CRNN的耗时约为传统方法的2~3倍,不能满足视频处理的实时性要求;

性能:CRNN擅长处理难以切分的字符串,而字幕文本间距和字体均较为规整,很少出现字间粘连的情况,所以并不能体现CRNN的优势。

综上考虑,我们最终采用笔画响应加投影统计方法进行切分,而在单字识别环节采用CNN,提升复杂场景下的识别性能。下面简单介绍该流程:

切分环节包括三个步骤:

  1. 求取字幕区域图像的笔画响应图;
  2. 统计笔画响应图水平方向的灰度投影直方图;
  3. 根据字幕区域的高度预估单个字符的宽度,并以此为依据,在投影直方图上寻找一系列最优切点。

图4:字幕区域的切分

切分环节给出了单个字符区域,针对该区域,采用CNN模型提取特征来进行单字识别。这里需要考虑两点:

模型选择:经过实验,包含3~5层卷积-池化单元的简单CNN模型即可将传统识别方法的性能提高10个百分点左右。当然,层次更深的网络,如resnet,会进一步提升性能。实用场景下,模型选择需要根据需求在速度和性能之间进行权衡。

数据来源:基于深度学习的方法,性能关键在于海量可靠的训练样本集。在训练过程中,我们采用的样本集在百万量级,而这些样本仅靠人工搜集和标注显然是不现实的。所以,在深度学习的多次应用中,我们均采用了合成样本训练,实际样本验证的模式,并证明了其可行性。

以合成字幕文本为例:我们通过分析字幕文件的格式,将待生成的文本写入字幕文件,通过播放视频时自动载入字幕,将文字叠加到视频上面。这样,可以同时完成数据的生成和标注。我们还根据需要定制了不同字体,添加了阴影、模糊等附加效果。这样,理论上我们就可以得到无限多的合成样本了。

图5:字幕文字样本的合成

虽然识别模块的性能强悍,但是对于形似字难免仍然存在识别错误的情况。这时就要发挥语言模型的威力了。语言模型又称为n-gram模型,通过统计词库中字的同现概率,可以确定哪个字序列出现的可能性更大。N-gram中的n代表统计的词(字)序列的长度,n越大,模型越复杂。在字幕识别系统中,我们用了最简单的2-gram模型,将最终的识别正确率又提升了2个百分点。

图6:基于语言模型的结果校正

小结

我们采用上述系统在实际视频样本上进行测试,单字识别准确率达到99%,CPU上单字识别耗时2ms,基本达到实用需求。作为对于深度学习方法应用在实际业务中的一次粗浅尝试,我们有两点心得:

关于方法选择,要从问题出发,具体分析难点在哪里,选择最简单有效的方法,避免贪大求新,本末倒置;

关于数据合成,合成数据用于训练,实际数据用于微调和测试,可谓是训练深度学习网络性价比最高的方式。当然,不需要考虑时间人力消耗的土豪随意。在操作过程中,一定要注意保持合成样本和实际样本尽量相似,可以采用多次验证调整,选择最佳的合成方法。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能

自然语言处理 语言模型介绍

01 — 回顾 昨天说到自然语言处理中如何将词语转化为词向量,主要用Distributed Representation 思想,比如谷歌的word2vec就是其...

2747
来自专栏AI科技大本营的专栏

资源 | Yann LeCun最新演讲:大脑是如何高效学习的?(附PPT+视频)

整理 | 周翔 作为深度学习的奠基人之一,Yann LeCun 的一言一行都颇受关注。近日,Yann LeCun 在 CCN 2017 (认知计算神经科学大会)...

3477
来自专栏机器之心

深度 | Yoshua Bengio AIWTB大会解读深度生成模型:让机器具备无监督学习能力

机器之心报道 演讲者:Yoshua Bengio 参与:吴攀、蒋思源 面向开发者的世界上最大的人工智能主题在线演讲与对话大会 AI WITH THE BEST(...

34712
来自专栏算法channel

自然语言处理|语言模型介绍

01 — 回顾 昨天说到自然语言处理中如何将词语转化为词向量,主要用 Distributed Representation 思想,比如谷歌的word2vec就是...

2886
来自专栏IT派

推荐|14种模型设计帮你改进你的卷积神经网络(CNN)!

如果你觉得好的话,不妨分享到朋友圈。 摘要: 这14 种原创设计模式可以帮助没有经验的研究者去尝试将深度学习与新应用结合,对于那些没有机器学习博士学位的人来说...

3526
来自专栏PPV课数据科学社区

机器学习应该准备哪些数学预备知识?

首先,线性代数和微积分都是必要的,但是初学者容易割裂地看待它们以及机器学习,不清楚哪些线性代数&微积分的知识才是掌握机器学习数学推导的关键。一样,我也走过并继续...

2729
来自专栏机器之心

一周论文 | 基于知识图谱的问答系统关键技术研究#4

作者丨崔万云 学校丨复旦大学博士 研究方向丨问答系统,知识图谱 领域问答的基础在于领域知识图谱。对于特定领域,其高质量、结构化的知识往往是不存在,或者是极少的。...

4268
来自专栏人工智能头条

拓扑数据分析在机器学习中的应用

29812
来自专栏机器学习算法与Python学习

如何识别图像边缘

图像识别?的搜寻结果 百度百科 [最佳回答]图像识别,是指利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对像的技术。一般工业使用中,采用工业相...

3366
来自专栏AI科技评论

学界 | ACM MM最佳论文全文:通过多对抗训练,从图像生成诗歌

AI 科技评论按:多媒体信息处理领域顶级学术会议 ACM MM 2018(ACM International Conference on Multimedia)...

1095

扫码关注云+社区