学习
实践
活动
工具
TVP
写文章

深度解析文本检测网络CTPN

目录 文本检测概念初识 CTPN总体结构 特殊的anchor 双向LSTM RPN层 NMS 文本线构造算法 文本框矫正 损失函数 效果图 参考 文本检测概念初识 OCR(光学字符识别)是CV一个重要的研究领域 ,OCR分成文本检测文本识别两个步骤,其中文本准确检测的困难性又是OCR中最难的一环,而本文介绍的CTPN则是文本检测中的一个里程碑的模型。 文本检测有别于一般的目标检测,区别有以下几种:(1)一般的目标检测的每个目标一般是孤立的,所以每个目标的边界框都很明确,而对于文本检测中边界其实没有那么容易界定,因为文本(单词)其实是一个序列,在图像中每个单词中间是有空格的 (2)文本是一个序列,除去空间特征它还具有很重要的序列特征,它的上下文的序列信息对我们检测文本是有帮助的,而传统的目标检测提取的都是空间特征,自然效果不好。 效果图 这是去年做的银行卡号识别项目的效果图,可以看出CTPN对这种横向的文字检测效果还是很好的: ? 对于场景中的文本检测效果也是不错: ?

55920

场景文本检测—CTPN算法介绍

Text Proposal Network)方法就是在场景中提取文字的一个效果较好的算法,能将自然环境中的文本信息位置加以检测。 所以检测的过程中 不妨引入一个类似数学上“微分”的思想,如下图5所示,先检测一个个小的、固定宽度的文本段。在后处理部分再将这些小文本段连接起来,得到文本行。 对比图如下,红色框是使用了side-refinement的,而黄色框是没有使用side-refinement方法的结果: 纵观整个流程,该方法的最大两点也是在于将RNN引入了文本检测之中,同时将待检测的结果利用 “微分”的思路来减少误差,使用固定宽度的anchor来检测分割成许多块的proposal.最后合并之后的序列就是我们需要检测文本区域。 SIGAI 2018.5.25 [15] 机器学习在自动驾驶中的应用—以百度阿波罗平台为例(上) SIGAI 2018.5.29 [16] 理解牛顿法 SIGAI 2018.5.31 [17]【群话题精华

17.9K61
  • 广告
    关闭

    2022腾讯全球数字生态大会

    11月30-12月1日,邀您一起“数实创新,产业共进”!

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    文本检测算法EAST介绍

    EAST由旷世科技于2017年发表在CVPR的关于自然场景文本检测的一篇文章。EAST是用来解决多方向文本检测的问题的一种思路。其核心思想体现在了以下几点。 采用了FCN这样一种多尺度融合的方法来进行特征的抽取,用于后续的像素级的文本区域的预测。 EAST能够直接打到倾斜文本检测的目的,能够完成自然场景下文本检测的任务。 支持旋转矩形框、任意四边形两种文本区域的标注形式。换句话说EAST在回归文本区域的时候包括了旋转矩形框、矩形框加旋转角或者任意四边形这样两种不同的区域检测的过程。 由于考虑了方向信息,可以检测出各个方向的文本。 由于感受野的问题,对较长的文本检测效果欠佳。 EAST模型网络结构 在上图中我们可以看到它主要采用了FPN的思想来提取多尺度的融合特征。 EAST模型效果图 针对于自然场景下的文本图片,EAST能够检测出不同方向,不同角度,不同背景,不同环境,不同字体等等各种条件下的文本区域。

    62120

    使用Faster_RCNN做文本检测

    项目相关代码 和预训练模型 、数据集 获取: 关注微信公众号 datayx 然后回复 文本检测 即可获取。

    15410

    自然场景文本检测识别技术综述

    广而告之 SIGAI-AI学习交流群的目标是为学习者提供一个AI技术交流与分享的平台。 SIGAI特邀作者:海翎(视觉算法研究员) 青蛇: 姐, 图像文本检测和识别领域现在的研究热点是什么? ·WordSup方案中,采用半监督学习策略,用单词级标注数据来训练字符级文本检测模型。 下面用近年来出现的多个模型案例,介绍如何应用上述各方法提升图像文本检测的效果。 CTPN模型 CTPN是目前流传最广、影响最大的开源文本检测模型,可以检测水平或微斜的文本行。文本行可以被看成一个字符sequence,而不是一般物体检测中单个独立的目标。 ,其训练出的模型对倾斜文本检测效果更好。 根据开源工程中预训练模型的测试,该模型检测英文单词效果较好、检测中文长文本行效果欠佳。或许,根据中文数据特点进行针对性训练后,检测效果还有提升空间。

    2K20

    自然场景文本检测识别技术综述

    文本检测模型 文本检测模型的目标是从图片中尽可能准确地找出文字所在区域。 ·WordSup方案中,采用半监督学习策略,用单词级标注数据来训练字符级文本检测模型。 下面用近年来出现的多个模型案例,介绍如何应用上述各方法提升图像文本检测的效果。 CTPN模型 CTPN是目前流传最广、影响最大的开源文本检测模型,可以检测水平或微斜的文本行。文本行可以被看成一个字符sequence,而不是一般物体检测中单个独立的目标。 根据开源工程中预训练模型的测试,该模型检测英文单词效果较好、检测中文长文本行效果欠佳。或许,根据中文数据特点进行针对性训练后,检测效果还有提升空间。 SIGAI 2018.5.25 [15] 机器学习在自动驾驶中的应用—以百度阿波罗平台为例(上) SIGAI 2018.5.29 [16] 理解牛顿法 SIGAI 2018.5.31 [17]【群话题精华

    4.3K20

    文本检测与识别-白皮书】第二章:文本检测与识别技术发展历程

    2.文本检测与识别技术发展历程图片文本识别俗称光学字符识别,英文全称是Optical Character Recognition(简称OCR),它是利用光学技术和计算机技术把印刷体或手写体文本进行读取识别 OCR技术中,印刷体的文本识别是最成熟的一个,因其开展最早。早在1929年就被欧美国家利用来处理大量的报刊杂志、文件和单据报表等。 经过40多年的发展和完善,文本识别技术更加成熟,逐步实现了信息处理的“电子化”。 ,这是由于以上系统对印刷体文本形状变化(如文本模糊、笔划粘连、断笔、黑白不均、纸质质量差、油墨反透等等)的适应性和抗干扰性比较差造成的。 目前,印刷体汉字识别技术的研究热点已经从单纯的文本识别转移到了表格的自动识别与录入,图文混排和多语种混排的版面分析、版面理解和版面恢复,名片识别,金融票据识别和古籍识别等内容上。

    7720

    文本检测与识别-白皮书-3.1】第二节:基于分割的场景文本检测方法

    3.1.2 基于分割的场景文本检测方法基于分割的自然场景文本检测方法主要是借鉴传统的文本检测方法的思想,先通过卷积神经网络检测出基本的文本组件,然后通过一些后处理的方式将文本组件聚集成一个完整的文本实例 Zhang 等人(2016)的工作首次将文本像素分类预测用于自然场景文本检测任务当中,该方法首先通过一个FCN 预测得到文本区域的分割显著图。然后利用MSER 检测算子在文本区域内提取候选字符。 文本片段级别定义为字符或者文本的一部分,这类文本检测方法通常是利用目标检测算法从图像中检测出这样的文本片段。然后根据特征相似性,通过一些后处理算法把检测出的文本片段拼接成完整的文本实例。 ,但CTPN只能检测水平方向的文本。 Lyu 等人(2018a)则是提出了使用角点检测生成候选的四边形检测框,同时在整图级别进行逐像素分类得到文本的位置得分,随后两个结果相结合输出最后的文本检测结果。

    7610

    基于分割思想的文本检测算法

    本文使用 Zhihu On VSCode 创作并发布 在文本检测任务中,较少出现字符重合的情况(重合的字符人也认不出来啊),所以基于分割思想的文本检测算法也能得到很好的效果。 1. 使用人工特征 文本检测领域常见的人工特征算法有两种:SWT和MSER,这些方法的效率比滑窗法更高,精度也更好。 SWT算法思路:图片中的文本都具有一致宽度的线条。 深度学习文本检测 深度学习算法在误检方便表现比传统方法要好。 另外,虽然文本检测中比较少有重合字符,却还是需要处理字符粘连的情况,所以各种深度学习的模型在得到连通域之后,都需要再进行一步特殊的后处理过程。实现字符实例之间的区分。 因为感受野的问题,EAST对长文本效果较差,有长文本检测需求的可以尝试AdvancedEAST。 PixelLink 网络结构如下: ?

    90620

    FOTS:自然场景的文本检测与识别

    问题描述 数据集 关于数据 使用的损失函数 准备检测数据 准备识别数据 训练检测模型和识别模型 代码整合 显示结果 引用 问题描述 我们需要从任何图像(包含文本)检测文本区域,这个图像可以是任何具有不同背景的东西 在检测到图像后,我们也必须识别它。 FOTS的完整形式是快速定向文本点亮。可以在任何自然场景中检测和识别任何文本。 ? 现在这个任务可以用两个不同的部分检测和识别来完成。在检测部分检测场景中的文本区域,在识别部分识别文本,什么是文本? 在本文“FOTS”中,他们同时进行了检测和识别,这是端到端系统,意思是如果我们给出一个有文本的场景,那么它将返回检测到的文本区域,并对文本进行识别。 首先,他们提取特征图,用一些CNN检测文本区域,然后,他们在检测区域的序列解码的帮助下进行识别部分。

    41220

    AdvancedEAST高效场景文本检测(附Github地址)

    AdvancedEAST AdvancedEAST是一种用于场景图像文本检测的算法,主要基于 EAST: An Efficient and Accurate Scene Text Detector,并且还进行了重大改进 ,使长文本预测更加准确。 (欢迎关注“我爱计算机视觉”公众号,一个有价值有深度的公众号~) 优点 基于Keras,易于阅读和运行 基于EAST,一种先进的文本检测算法 易于训练模型 进行了重大改进,长文本预测更准确。 在作者的实验中,AdvancedEast获得了比East更好的预测准确性,特别是在长文本上。 检测示例: ? ? ? ? ? ? ? ? ? 项目地址: https://github.com/huoyijie/AdvancedEAST

    62140

    文本检测与识别-白皮书-3.1】第一节:常用的文本检测与识别方法

    图片3.常用的文本检测与识别方法3.1文本检测方法图片随着深度学习的快速发展,图像分类、目标检测、语义分割以及实例分割都取得了突破性的进展,这些方法成为自然场景文本检测的基础。 基于深度学习的自然场景文本检测方法在检测精度和泛化性能上远优于传统方法,逐渐成为了主流。图1 列举了文本检测方法近几年来的发展历程。 目前,根据检测文本对象的不同可以将基于深度学习的方法划分为基于回归的文本检测方法和基于分割的文本检测方法两大类,不同类别方法的流程如图所示。 图片3.1.1 基于回归的场景文本检测方法基于回归的自然场景文本检测方法主要是基于以深度学习为基础的目标检测技术或者实例分割技术,它将文本视为一种通用目标然后直接检测出整个文本实例。 ,针对文本不同于通用目标的表现形进行专门的改进,使之能在文本检测领域取得更好的检测性能。

    9730

    MSER+NMS检测图像中文本区域

    OCR相关工作都有一个第一步,那就是检测图像中的文本区域,只有找到了文本区域,才能对其内容进行识别,也只有找到了文本区域,才能更有针对性地判断该文本图像的质量好坏,我们期望达到如下的文本区域检测效果: MSER MSER就是一种检测图像中文本区域的方法,这是一种传统算法,所谓传统算法,是相对于现在大行其道的机器学习技术来说的,就准确率来说,MSER对文本区域的检测效果自然是不能和深度学习如CTPN、 Pixellink等相比的,但是如果只是想要对文本图像的文本区域图像质量做一个前置检查,那么使用这样一个传统算法来在效果和效率之间求取一个平衡,是不错的。 但是上面效果中的文本框形状太多变了,我们检测文本区域一般都会设法得到一个包含文本的矩形框,以便于后续从图像中通过坐标获取该区域,那怎么把这些区域转换成矩形框呢? NMS NMS是经常伴随图像区域检测的算法,作用是去除重复的区域,在人脸识别、物体检测等领域都经常使用,全称是非极大值抑制(non maximum suppression),顾名思义就是抑制不是极大值的元素

    15910

    扫码关注腾讯云开发者

    领取腾讯云代金券