前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >AAAI 2020 | 从边界到文本—一种任意形状文本的检测方法

AAAI 2020 | 从边界到文本—一种任意形状文本的检测方法

作者头像
AI科技评论
发布2020-02-21 18:17:39
1.7K0
发布2020-02-21 18:17:39
举报
文章被收录于专栏:AI科技评论

作者 | 王豪、卢普

编辑 | Camel

本文来自:CSIG文档图像分析与识别专委会

本文对华中科大、阿里巴巴合作完成的、发表在AAAI 2020的论文《All You Need Is Boundary: Toward Arbitrary-Shaped Text Spotting》进行解读。

论文链接:https://arxiv.org/pdf/1911.09550.pdf

该论文提出了用边界点来表示任意形状文本的方法,解决了自然场景图像中任意形状文本的端到端识别问题。如图1所示:

图 1:文本区域表示的两种方法

现有方法用外接四边形框来表示文本边界(图1,(a)),通过RoI-Align来提取四边形内的特征(图1,(b)),这样会提取出大量的背景噪声,影响识别网络。利用边界点来表示任意形状文本有以下优势:

  • 边界点能够描述精准的文本形状,消除背景噪声所带来的影响(图1,(c));
  • 通过边界点,可以将任意形状的文本矫正为水平文本,有利于识别网络(图1,(d));
  • 由于边界点的表示方法,识别分支通过反向传播来进一步优化边界点的检测。

一、研究背景

文本检测和识别常作为两个独立的子任务进行研究,但事实上,两者是相互关联并且能相互促进的。

近期的一些工作开始关注到文本端到端识别问题,并取的了显著的进展。面对不规则的文本,这些方法多采用分割的方式对文字区域进行描述。分割的方法常需要复杂的后处理,并且获取的文本框和识别分支之间并不可导,识别分支的文本语义信息无法通过反向传播来对文本框进行优化。

同时一些方法使用字符分割的方法进行识别,这使得识别器失去序列建模能力,并且需要额外的字符标注,增加了识别的训练难度以及标注成本。

二、原理简述

虽然边界点的预测理论上可以直接从水平候选框中预测(如图3(d)所示),但是自然场景中的文本呈现各种不同的形状、角度以及仿射变换等,这使得直接从水平候选框中预测边界点变得十分困难,不具有稳定性。

因此,我们在文本实例的最小外接四边形上预测边界点,这样可以将不同角度、形状的文本旋转为水平形状,在对齐后的文本实例上预测边界点对于网络更为高效,容易。

具体方法细节如图2所示,

图2. 总体框架

本文的方法的包含三个部分:多方向矩形包围框检测器(the Oriented Rectangular Box Detector),边界点检测器(the Boundary Point Detection Network),以及识别网络(the Recognition Network)。对于多方向矩形包围框检测器,该文首先使用RPN网络进行候选区提取。

为了产生多方向的矩形框,在提取出的候选区对目标矩形框的中心偏移量、宽度、高度和倾斜角度进行回归。获取了矩形包围框后,利用矩形框进行特征提取,并在提取的的候选区中进行文字边界点的回归。得到预测的边界点后,对文本区域的特征进行矫正,并将矫正的特征输入到后续的识别器中。

图3:回归过程图示

对于边界点检测网络,如图3(c)所示,该方法根据默认锚点(设定的参考点)进行回归,这些锚点被均匀的放置在最小矩形包围框的两个长边上,同时从文本实例的每个长边上等距采样K个点作为文字的目标边界点。本文采用预测相对偏移量的方式来获取边界点的坐标,即预测一个的向量(个边界点)。对于边界点

可从预测的偏移量获取,

,其中

代表定义的描点。

对于识别网络,识别器使用矫正的特征预测出字符序列。首先,编码器将矫正的特征编码为特征序列

。 然后基于注意力的解码器将F转化为字符序列

, 其中T是序列长度。当为第t时,解码器通过隐藏层状态

和上一步的结果

预测当前步的结果。

本文的方法采用完全端到端的训练方式,网络的损失函数包含四个部分,

, 其中

为RPN的损失,

为多方向矩形框回归的损失值,

为边界点回归的损失值,

为识别网络的损失。

三、主要实验结果及可视化效果

从表 1来看,

表 1:在全部文本上的结果。“ P”,“ R”和“ F”分别表示精度,召回率和F量度检测任务。“ E2E”表示端到端,“ None”表示没有任何词典的识别,“ Full”词典包含测试集中的所有单词。

文中的方法在曲形数据集上取得了优异的性能,大幅领先先前方法。总结来看,性能的提升主要来源于三点:

1) 相对于基于分割的方法MaskTextSpotter, 本文的识别器采用基于注意力的解码器,能够捕获字符之间的语义关系,而MaskTextSpotter独立地预测每个字符;

2) 相对于其他方法,本文使用边界点对文本区域的特征进行矫正,识别器拥有更好的特征;

3) 得益于更好的识别结果,由于检测和识别共享特征,检测的结果受特征影响得到进一步提升。

对于Table 2,

表2、ICDAR2015 和 ICDAR2013(DetEval)的结果。“ S”,“ W”和“ G”分别表示使用强,弱和通用词典进行识别。*表示使用MLT2017的训练数据集进行训练。

文中的方法在ICDAR15多方向数据集上取得较好的结果,得益于序列识别器,在只使用通用字典的情况下高于先前的结果。在ICDAR13水平数据集上,本文的方法未使用字符标注,也取得较好的结果。

图4:在Total-Text、ICDAR2015和ICDAR2013上的文本发现结果示例。

图4 展示了一些可视化的结果图。该方法能处理任意形状的文本,并且能很好地处理垂直文本,能够正确获取竖直文本的阅读顺序。

四、总结及讨论

本文提出了一个以边界点表示任意形状文本的端到端网络,实验证明了此种方法在端到端识别任务上的有效性和优越性。检测任务和识别任务均能从边界点这种表示形式中受益:

1)由于边界点的表示是可导的,因此识别分支的导数回传会进一步优化检测结果;

2)使用边界点对不规则文本的特征进行矫正能移除背景干扰,可以提升识别性能。

更多AAAI 2020信息,将在「AAAI 2020 交流群」中进行,加群方式:添加AI研习社顶会小助手(AIyanxishe2),备注「AAAI」,邀请入群

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-01-31,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 AI科技评论 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档