需求：计算快递单号的非重复计数 ? (一) 需求分析 如果要计算非重复计数，我们很容易可以想到一个函数DistinctCount，那如果直接使用是不是就可以了呢？...因为DistinctCount在计算非重复计数的时候会把空值也作为一个值来进行计算，所以导致数据上的差异。...快递单号非重复计数:=Calculate(DistinctCount('表1'[快递单号]), Filter('表1','表1'[快递单号]<
在进行文本处理的时候，我们经常遇到要删除重复行的情况。那怎么解决呢？ 下面就是三种常见方法？ 第一，用sort+uniq，注意，单纯uniq是不行的。...shell> sort -k2n file | uniq 这里我做了个简单的测试，当file中的重复行不再一起的时候，uniq将服务删除所有的重复行。...经过排序后，所有相同的行都在相邻，因此unqi可以正常删除重复行。 第二，用sort+awk命令，注意，单纯awk同样不行，原因同上。...P; D' 最后附一个必须先用sort排序的文本的例子，当然，这个需要用sort排序的原因是很简单，就是后面算法设计的时候的“局部性”，相同的行可能分散出现在不同的区域，一旦有新的相同行出现，那么前面的已经出现的记录就被覆盖了...参考推荐： 删除文本中的重复行(sort+uniq/awk/sed)
前言 在实际开发过程中，web应用经常会出现网络延迟，接口处理时间略长，用户习惯等原因造成的客户连续多次点击提交按钮调用接口，导致数据库会出现重复数据或这接口业务逻辑bug等问题 方案 利用redis...锁实同一个用户同一个请求2秒内重复提交返回错误路由 SubmitLock 标记需要拦截的方法 @Target({ElementType.METHOD}) @Retention(RetentionPolicy.RUNTIME...System.out.println("tryLock fail, key = ["+key+"]"); return Result.errorResult().setMsg("重复请求
目录 文本检测概念初识 CTPN总体结构 特殊的anchor 双向LSTM RPN层 NMS 文本线构造算法 文本框矫正 损失函数 效果图 参考 文本检测概念初识 OCR（光学字符识别）是CV一个重要的研究领域...，OCR分成文本检测和文本识别两个步骤，其中文本准确检测的困难性又是OCR中最难的一环，而本文介绍的CTPN则是文本检测中的一个里程碑的模型。...文本检测有别于一般的目标检测，区别有以下几种：（1）一般的目标检测的每个目标一般是孤立的，所以每个目标的边界框都很明确，而对于文本检测中边界其实没有那么容易界定，因为文本（单词）其实是一个序列，在图像中每个单词中间是有空格的...（2）文本是一个序列，除去空间特征它还具有很重要的序列特征，它的上下文的序列信息对我们检测文本是有帮助的，而传统的目标检测提取的都是空间特征，自然效果不好。...效果图 这是去年做的银行卡号识别项目的效果图，可以看出CTPN对这种横向的文字检测效果还是很好的： ? 对于场景中的文本检测效果也是不错： ?
第三步，因为文本信息的特殊性质，需要进行行列分割，对单个字符，或者是连续几个字符进行检测。 第四步，将分割后的字符图像导入识别模型中进行处理，进而得到原图中的字符信息。...Text Proposal Network)方法就是在场景中提取文字的一个效果较好的算法，能将自然环境中的文本信息位置加以检测。...所以检测的过程中 不妨引入一个类似数学上“微分”的思想，如下图5所示，先检测一个个小的、固定宽度的文本段。在后处理部分再将这些小文本段连接起来，得到文本行。...对比图如下，红色框是使用了side-refinement的，而黄色框是没有使用side-refinement方法的结果： 纵观整个流程，该方法的最大两点也是在于将RNN引入了文本检测之中，同时将待检测的结果利用...“微分”的思路来减少误差，使用固定宽度的anchor来检测分割成许多块的proposal.最后合并之后的序列就是我们需要检测的文本区域。
EAST由旷世科技于2017年发表在CVPR的关于自然场景文本检测的一篇文章。EAST是用来解决多方向文本检测的问题的一种思路。其核心思想体现在了以下几点。...采用了FCN这样一种多尺度融合的方法来进行特征的抽取，用于后续的像素级的文本区域的预测。 EAST能够直接打到倾斜文本检测的目的，能够完成自然场景下文本检测的任务。...支持旋转矩形框、任意四边形两种文本区域的标注形式。换句话说EAST在回归文本区域的时候包括了旋转矩形框、矩形框加旋转角或者任意四边形这样两种不同的区域检测的过程。...由于考虑了方向信息，可以检测出各个方向的文本。 由于感受野的问题，对较长的文本检测效果欠佳。 EAST模型网络结构 在上图中我们可以看到它主要采用了FPN的思想来提取多尺度的融合特征。...EAST模型效果图 针对于自然场景下的文本图片，EAST能够检测出不同方向，不同角度，不同背景，不同环境，不同字体等等各种条件下的文本区域。
项目相关代码 和预训练模型 、数据集 获取： 关注微信公众号 datayx 然后回复 文本检测 即可获取。
(摘自arxiv: 1512.02325， “SSD: Single Shot MultiBox Detector”) 文本检测模型 文本检测模型的目标是从图片中尽可能准确地找出文字所在区域。...·WordSup方案中，采用半监督学习策略，用单词级标注数据来训练字符级文本检测模型。 下面用近年来出现的多个模型案例，介绍如何应用上述各方法提升图像文本检测的效果。...CTPN模型 CTPN是目前流传最广、影响最大的开源文本检测模型，可以检测水平或微斜的文本行。文本行可以被看成一个字符sequence，而不是一般物体检测中单个独立的目标。...，其训练出的模型对倾斜文本块检测效果更好。...根据开源工程中预训练模型的测试，该模型检测英文单词效果较好、检测中文长文本行效果欠佳。或许，根据中文数据特点进行针对性训练后，检测效果还有提升空间。
文本检测模型 文本检测模型的目标是从图片中尽可能准确地找出文字所在区域。...·WordSup方案中，采用半监督学习策略，用单词级标注数据来训练字符级文本检测模型。 下面用近年来出现的多个模型案例，介绍如何应用上述各方法提升图像文本检测的效果。...CTPN模型 CTPN是目前流传最广、影响最大的开源文本检测模型，可以检测水平或微斜的文本行。文本行可以被看成一个字符sequence，而不是一般物体检测中单个独立的目标。...根据开源工程中预训练模型的测试，该模型检测英文单词效果较好、检测中文长文本行效果欠佳。或许，根据中文数据特点进行针对性训练后，检测效果还有提升空间。...相比于CTPN等文本检测模型，SegLink的图片处理速度快很多。 如下图所示，该模型能够同时从6种尺度的特征图中检测小文字块。
2.文本检测与识别技术发展历程图片文本识别俗称光学字符识别，英文全称是Optical Character Recognition(简称OCR)，它是利用光学技术和计算机技术把印刷体或手写体文本进行读取识别...OCR技术中，印刷体的文本识别是最成熟的一个，因其开展最早。早在1929年就被欧美国家利用来处理大量的报刊杂志、文件和单据报表等。...经过40多年的发展和完善，文本识别技术更加成熟，逐步实现了信息处理的“电子化”。...，这是由于以上系统对印刷体文本形状变化(如文本模糊、笔划粘连、断笔、黑白不均、纸质质量差、油墨反透等等)的适应性和抗干扰性比较差造成的。...目前，印刷体汉字识别技术的研究热点已经从单纯的文本识别转移到了表格的自动识别与录入，图文混排和多语种混排的版面分析、版面理解和版面恢复，名片识别，金融票据识别和古籍识别等内容上。
3.1.2 基于分割的场景文本检测方法基于分割的自然场景文本检测方法主要是借鉴传统的文本检测方法的思想，先通过卷积神经网络检测出基本的文本组件，然后通过一些后处理的方式将文本组件聚集成一个完整的文本实例...Zhang 等人(2016)的工作首次将文本像素分类预测用于自然场景文本检测任务当中，该方法首先通过一个FCN 预测得到文本区域的分割显著图。然后利用MSER 检测算子在文本区域内提取候选字符。...文本片段级别定义为字符或者文本的一部分，这类文本检测方法通常是利用目标检测算法从图像中检测出这样的文本片段。然后根据特征相似性，通过一些后处理算法把检测出的文本片段拼接成完整的文本实例。...，但CTPN只能检测水平方向的文本。...Lyu 等人(2018a)则是提出了使用角点检测生成候选的四边形检测框，同时在整图级别进行逐像素分类得到文本的位置得分，随后两个结果相结合输出最后的文本检测结果。
计算机视觉研究院专栏 作者：Edison_G 近年来，在利用深度卷积网络检测目标方面取得了显著进展。然而，很少有目标检测器实现高精度和低计算成本。...一、简要 近年来，在利用深度卷积网络检测目标方面取得了显著进展。然而，很少有目标检测器实现高精度和低计算成本。...该框架适用于深度和浅层特征图中包含的信息的重复利用，具有较高的检测精度。...不同尺度的特征图 （2）采用卷积进行检测 与Yolo最后采用全连接层不同，SSD直接采用卷积对不同的特征图来进行提取检测结果。...SSD的先验框 SSD的检测值也与Yolo不太一样。对于每个单元的每个先验框，其都输出一套独立的检测值，对应一个边界框，主要分为两个部分。
本文使用 Zhihu On VSCode 创作并发布 在文本检测任务中，较少出现字符重合的情况（重合的字符人也认不出来啊），所以基于分割思想的文本检测算法也能得到很好的效果。 1....使用人工特征 文本检测领域常见的人工特征算法有两种：SWT和MSER，这些方法的效率比滑窗法更高，精度也更好。 SWT算法思路：图片中的文本都具有一致宽度的线条。...深度学习文本检测 深度学习算法在误检方便表现比传统方法要好。...另外，虽然文本检测中比较少有重合字符，却还是需要处理字符粘连的情况，所以各种深度学习的模型在得到连通域之后，都需要再进行一步特殊的后处理过程。实现字符实例之间的区分。...因为感受野的问题，EAST对长文本效果较差，有长文本检测需求的可以尝试AdvancedEAST。 PixelLink 网络结构如下： ?
AdvancedEAST AdvancedEAST是一种用于场景图像文本检测的算法，主要基于 EAST: An Efficient and Accurate Scene Text Detector，并且还进行了重大改进...，使长文本预测更加准确。...(欢迎关注“我爱计算机视觉”公众号，一个有价值有深度的公众号~) 优点 基于Keras，易于阅读和运行 基于EAST，一种先进的文本检测算法 易于训练模型 进行了重大改进，长文本预测更准确。...在作者的实验中，AdvancedEast获得了比East更好的预测准确性，特别是在长文本上。...检测示例： ? ? ? ? ? ? ? ? ? 项目地址： https://github.com/huoyijie/AdvancedEAST
为什么造轮子 全自动SQL注入点检测，市面上简直太多了，但我这个有优势，尤其在于盲注检测上，用了些最基础的机器学习知识，做文本内容相似度判断。 如下代码: 检测判断出method\id参数存在异常，如图。 通过我自己的burp插件，一键检测漏洞，method/id参数处存在异常，并且id参数存在sql注入漏洞，本章先聊异常检测。...list_html[0]是正常请求的响应包，通过以上代码判断，list_html存在异常，执行结果如图 可以判断出: list_html[2]和list_html[3] 存在异常， 原理就是设了个值80%的文本相似度...具体步骤， •步骤一: 用这list_html这五组数据进行标准化处理,也就是通过某种算法把文本内容转变成人看不懂，但是便于机器处理的数据矩阵。...其实本文最关键的就在这, sql盲注的检测基本已经没必要往下讲了，原理和异常检测一样....算了算了，还是拿注入举个例子,我这么懒的人呐... sql盲注检测 上面已经清楚了，method/id这两个参数通过
问题描述 数据集 关于数据 使用的损失函数 准备检测数据 准备识别数据 训练检测模型和识别模型 代码整合 显示结果 引用 问题描述 我们需要从任何图像(包含文本)检测文本区域，这个图像可以是任何具有不同背景的东西...在检测到图像后，我们也必须识别它。 FOTS的完整形式是快速定向文本点亮。可以在任何自然场景中检测和识别任何文本。 ?...现在这个任务可以用两个不同的部分检测和识别来完成。在检测部分检测场景中的文本区域，在识别部分识别文本，什么是文本?...在本文“FOTS”中，他们同时进行了检测和识别，这是端到端系统，意思是如果我们给出一个有文本的场景，那么它将返回检测到的文本区域，并对文本进行识别。...首先，他们提取特征图，用一些CNN检测文本区域，然后，他们在检测区域的序列解码的帮助下进行识别部分。
效果看图 【代码】 自定义函数1 '随机生成不重复指定位数文本,用法：brr=RndDigitText(位数, 个数) '.range("A1").Resize(UBound(...d(s) = "" Loop RndDigitText = Application.Transpose(d.keys) End Function 自定义函数2 '随机生成不重复指定位数文本...Loop RndDigitText2 = WorksheetFunction.Transpose(tempdic.keys) End Function 测试运行 Sub yhd随机生成不重复指定位数文本...() Dim brr, arr, crr With Worksheets("随机生成不重复指定位数文本") .range("A1").Resize(100, 3).NumberFormatLocal
图片3.常用的文本检测与识别方法3.1文本检测方法图片随着深度学习的快速发展，图像分类、目标检测、语义分割以及实例分割都取得了突破性的进展，这些方法成为自然场景文本检测的基础。...基于深度学习的自然场景文本检测方法在检测精度和泛化性能上远优于传统方法，逐渐成为了主流。图1 列举了文本检测方法近几年来的发展历程。...目前，根据检测文本对象的不同可以将基于深度学习的方法划分为基于回归的文本检测方法和基于分割的文本检测方法两大类，不同类别方法的流程如图所示。...图片3.1.1 基于回归的场景文本检测方法基于回归的自然场景文本检测方法主要是基于以深度学习为基础的目标检测技术或者实例分割技术，它将文本视为一种通用目标然后直接检测出整个文本实例。...，针对文本不同于通用目标的表现形进行专门的改进，使之能在文本检测领域取得更好的检测性能。
PSEnet核心是为了解决不能区分相邻文本的问题，以及对任意形状文本的检测问题。...PSEnet依然采用基于分割的方式，对文本行不同核大小做预测，然后采用渐进式扩展算法扩展小尺度kernel到最终的文本行大小。...因为在小尺度kernel之间存在比较大的margin，因此能够很好的区分相邻的文本行。...最终结果在icdar2015和icdar2017都取得了sota的效果，而其最大的亮点是在SCUT-CTW1500弯曲文本数据集上取得了超过先前最好算法6.37%的结果。...PSENet PANNet DBNet 三个文本检测算法异同 PSEnet 文本检测示例： ? ? ? ? ?
OCR相关工作都有一个第一步，那就是检测图像中的文本区域，只有找到了文本区域，才能对其内容进行识别，也只有找到了文本区域，才能更有针对性地判断该文本图像的质量好坏，我们期望达到如下的文本区域检测效果：...MSER MSER就是一种检测图像中文本区域的方法，这是一种传统算法，所谓传统算法，是相对于现在大行其道的机器学习技术来说的，就准确率来说，MSER对文本区域的检测效果自然是不能和深度学习如CTPN、...但是上面效果中的文本框形状太多变了，我们检测文本区域一般都会设法得到一个包含文本的矩形框，以便于后续从图像中通过坐标获取该区域，那怎么把这些区域转换成矩形框呢？...NMS NMS是经常伴随图像区域检测的算法，作用是去除重复的区域，在人脸识别、物体检测等领域都经常使用，全称是非极大值抑制（non maximum suppression），顾名思义就是抑制不是极大值的元素...使用NMS算法后，就可以去除我们重复的文本框了，效果如下： 完整代码如下： import cv2 import numpy as np def non_max_suppression_fast(boxes
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
腾讯会议
云直播
对象存储
