扫描式SSD用于公式检测，代码已开源
SSD是大家常见的目标检测器，在类似COCO的日常生活类物体检测，或者人脸、行人检测上都有应用，不过是否可以用于文本领域的检测呢？
今天跟大家介绍一篇新出的论文 ScanSSD: Scanning Single Shot Detector for Mathematical Formulas in PDF Document Images，美国罗彻斯特理工学院提出一种扫描式SSD（ScanSSD），仅使用视觉特征，而不使用任何文本的版面信息，进行数学公式检测。
ScanSSD训练时文档图像大小为512 * 512，在给定600 dpi的文档页图像上，SSD检测器以多尺度滑动窗口的方式定位公式，然后把检测结果合并，得到最终的整个页面的公式。
常见的学术文献中数学公式示例：
可见，既有独占一行的公式（红色区域），也有嵌入进文本的公式（蓝色区域）
在实验中，作者使用了 TFD-ICDAR2019v2 数据集（构建于GTDB扫描数学文献库），ScanSSD可以高精度检测公式里的字符，在保持高召回率情况下可以达到0.926 f-score。
数据集统计数据：
ScanSSD用于公式检测的整体算法流程：
首先对文档图像划分滑动窗口，为提高检出率，滑动窗口之间是有重叠的。对每一块得到的图像区域进行独立的SSD公式检测，然后将检测的结果拼接起来，对拼接结果汇总（Pooling），得到最终的检测结果。
速度上，对于512 * 512大小的输入图像，GTX 1080 GPU上跑的结果是 ~27 FPS 。
既然是公式检测，一个很明显的特征是公式往往横纵比较高，所以作者修改了原始的SSD中预设box的横纵比{1, 2, 3, 1/2, 1/3}，可达到5、7、10。
如下图：
数据集中公式的横纵比统计：
考虑到检测包围框不一定准确，对于SSD检测结果进行了后处理，根据内部字符的连通性，外扩或者收缩包围框，如下图：
考虑到公式在文献中出现的不同情况，作者通过在有较大空白处拆分公式，在相邻文本行上合并公式，获得了很小的错误率。如下图 3 和 4 ：
该文算法在作者收集的数据集上得到的检测结果：
实验结果显示，在 IOU≥0.75 时 f-score 达到 0.796，IOU≥0.5 时 f-score 达到 0.733。
作者又做了字符级数学符号检测结果的比较：
该文使用常见的SSD进行公式检测，还开源了代码，可以作为相关研究与开发人员的参考！
论文地址：
https://arxiv.org/pdf/2003.08005.pdf
代码地址：
https://github.com/MaliParag/ScanSSD
END
备注：OCR
OCR交流群
OCR、文本检测与识别、手写识别、公式识别，若已为CV君其他账号好友请直接私信。
微信号:aicvml
QQ群:805388940
微博/知乎:@我爱计算机视觉
投稿:amos@52cv.net
网站:www.52cv.net
点个[在看]，就是最大的支持