旷视科技提出SPCNet:一种任意形状的场景文本检测算法

作者:谢恩泽

来源:知乎

编辑:Amusi

本文作者谢恩泽,同济计算机研三学生,目前在Face++ Detection组实习。

【AAAI 2019】SPCNet

这篇文章是谢恩泽在face++实习期间完成的一个工作,被AAAI2019接收,主要是做任意形状的场景文本检测,同时抑制错误样本的检测。

arXiv:https://arxiv.org/abs/1811.08605

Motivation

过去场景文字检测模型大多分为如下两类:1,基于语义分割的检测。2,基于边界框回归的检测。

这些方法的劣势在于不能很好的处理弯曲文字,而弯曲文字在自然场景中也是大量存在的。

我们考虑到弯曲文字可以通过实例分割的方法去处理,于是基于Mask R-CNN 去做。

ECCV2018有一篇Mask Text Spottor也是用了mask rcnn做了端到端识别,比我们早一点,做研究有局部撞车是常态了。。。不过eccv那篇对Maskrcnn本身并未做过多修改,创新之处主要在识别部分。

言归正传,本文的SPCnet将Mask R-CNN作为baseline,同时引入了text context 模块和re-score机制,从而提高检测准确率,降低FP的出现。

这张图是re-score模块的可视化图,可以看到,mask rcnn将水平box的分类分数最终的score,对于倾斜文本不是很友好,并且可能会引入fp,我们在这里将语义分割图上的响应和原本的score融合起来,得到的fus-score可以缓解mask rcnn直接移植到文字检测上分类分数不准的问题。

整个网络流程如下,a是fpn结构,b是text context(TCM)模块,d是TCM具体的方法。

整个方法在mask rcnn的基础上多了一个分支做文字的语义分割,并把语义分割的中间特征和检测分支的特征融合起来,再把语义分割的预测结果作为一个attention mask 乘回feature map,起到一个对特征attention的作用。

这块是重打分的一个可视化说明,绿色的是水平box,红色的是instance seg的结果,下面的是全局语义分割的结果,我们把instance seg的结果投影到语义分割图上,并在该区域内算一个响应值,得到instance score,并和原来的classification score融合得到最终的score。

该部分是label generation部分,主要是bounding box, instance seg和semantic seg的label。

消融实验

我们在icdar2017 val上做了实验,发现TCM和RS分别能提高模型的最终结果。在recall保持一致的情况下precision涨点,说明能有效抑制FP。

在icdar17,15,13和total-text(多语言,多方向,水平文本,弯曲文本)上都是state-of-the-art,充分证明了该方法的有效性。

PS:ic17上文字scale比例差距很大,所以随便写了个简陋的多尺度测试居然涨4个点。。。。。

一些可视化效果图:

在ICDAR2015上对比一些经典方法的FP情况,可以看到我们的方法可以有效抑制FP。

总结:这个工作是的第一份正儿八经的科研工作,在旷视大约两个半月时间完成,还是比较欣慰的,二作是一个本科生,也参与了很多工作在里面,同时也感谢很多人给予了不少帮助。

希望自己以后能在计算机视觉领域多发表高水平paper,同时欢迎同行多多交流。下面是我的知乎原文链接,欢迎评论交流。点击阅读原文,也可以直接访问。

https://zhuanlan.zhihu.com/p/51397423

论文: https://arxiv.org/abs/1811.08605

原文发布于微信公众号 - CVer(CVerNews)

原文发表时间:2018-12-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券