扫描式SSD用于公式检测，代码已开源

SSD是大家常见的目标检测器，在类似COCO的日常生活类物体检测，或者人脸、行人检测上都有应用，不过是否可以用于文本领域的检测呢？

今天跟大家介绍一篇新出的论文 ScanSSD: Scanning Single Shot Detector for Mathematical Formulas in PDF Document Images，美国罗彻斯特理工学院提出一种扫描式SSD（ScanSSD），仅使用视觉特征，而不使用任何文本的版面信息，进行数学公式检测。

ScanSSD训练时文档图像大小为512 * 512，在给定600 dpi的文档页图像上，SSD检测器以多尺度滑动窗口的方式定位公式，然后把检测结果合并，得到最终的整个页面的公式。

常见的学术文献中数学公式示例：

可见，既有独占一行的公式（红色区域），也有嵌入进文本的公式（蓝色区域）

在实验中，作者使用了 TFD-ICDAR2019v2 数据集（构建于GTDB扫描数学文献库），ScanSSD可以高精度检测公式里的字符，在保持高召回率情况下可以达到0.926 f-score。

数据集统计数据：

ScanSSD用于公式检测的整体算法流程：

首先对文档图像划分滑动窗口，为提高检出率，滑动窗口之间是有重叠的。对每一块得到的图像区域进行独立的SSD公式检测，然后将检测的结果拼接起来，对拼接结果汇总（Pooling），得到最终的检测结果。

速度上，对于512 * 512大小的输入图像，GTX 1080 GPU上跑的结果是 ~27 FPS 。

既然是公式检测，一个很明显的特征是公式往往横纵比较高，所以作者修改了原始的SSD中预设box的横纵比{1, 2, 3, 1/2, 1/3}，可达到5、7、10。

如下图：

数据集中公式的横纵比统计：

考虑到检测包围框不一定准确，对于SSD检测结果进行了后处理，根据内部字符的连通性，外扩或者收缩包围框，如下图：

考虑到公式在文献中出现的不同情况，作者通过在有较大空白处拆分公式，在相邻文本行上合并公式，获得了很小的错误率。如下图 3 和 4 ：

该文算法在作者收集的数据集上得到的检测结果：

实验结果显示，在 IOU≥0.5 时 f-score 达到 0.796，IOU≥0.5 时 f-score 达到 0.733。

作者又做了字符级数学符号检测结果的比较：

该文使用常见的SSD进行公式检测，还开源了代码，可以作为相关研究与开发人员的参考！

论文地址：

https://arxiv.org/pdf/2003.08005.pdf

代码地址：

https://github.com/MaliParag/ScanSSD

END