随着信息碎片化时代的来临，人们每天不得不被迫接受处理生活各种场景中无限砸向面前的信息，被各种终端图像、文字数据搞得力倦神疲。而针对大数据的处理，人工能力显然已经无法应对，人工智能与机器学习或将成为劳动力转移和工业革命的切口。过去一年来，研究人员和开发者在人工智能各领域取得多个重要突破。北京旷视科技旗下的 Megvii Image++团队近日刷新了2015 ICDAR 鲁棒阅读竞赛（Robust Reading Competition）和离线手写体汉字单字识别(公开测试集)双项赛事记录，实现了图像识别技术的又
我们需要 pillow 和 pytesseract 这两个库，pip install 安装就好。 还需要安装 Tesseract-OCR.exe 然后配置下就好了。 具体的环境配置方法请看 python 技术篇-使用pytesseract库进行图像识别之环境配置
最近接了一个新需求，需要获取一些信用黑名单数据，但是找了很多数据源，都是同样的几张图片，目测是excel表格的截图，就像下面这样：
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 。 。 。 。 。 。 。 全部 代码 ，视频，数据集 获取方式： 关注微信公众号 datayx 然后回复 唐宇迪 即可获取。 机器学习算法AI大数据技术 搜索公众号添加： datanlp 长按图片，识别二维码 ---- 阅读过本文的人还看了以下文章： TensorFlow 2.0深度学习案例实战 基于40万表格数据集TableBank，用MaskRCNN做表格检测 《基于深度学习的自然
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 所有论文 包括已经录制完成和之后将要介绍的论文。选取的原则是10年内深度学习里有影响力文章（必读文章），或者近期比较有意思的文章。当然这十年里重要的工作太多了，不可能一一过一遍。在选取的时候我会偏向一些之前 直播课 中没讲到过的。 总论文数 67，录制完成数 32 全部 代码 ,预训练模型 获取方式： 关注微信公众号 datayx 然后回复 论文 即可获取。 机器学习算法AI大数据技术 搜索公众号添加： d
俗称光学字符识别，英文全称是Optical Character Recognition(简称OCR)，它是利用光学技术和计算机技术把印刷体或手写体文本进行读取识别，转化成计算机和人都能够识读的格式。此间OCR技术是关键一环。OCR技术中，印刷体的文本识别是最成熟的一个，因其开展最早。早在1929年就被欧美国家利用来处理大量的报刊杂志、文件和单据报表等。经过40多年的发展和完善，文本识别技术更加成熟，逐步实现了信息处理的“电子化”。
由于最近在接触一些OCR的工作，所以本期《晓说AI》和大家分享一下我的一些总结，先从基本的概念讲起。如有错误，还请指正，谢你3千遍。如有疑问，欢迎留言，我会第一时间答复。
[ 导读 ]香侬科技近期提出 Glyce，首次在深度学习的框架下使用中文字形信息（Glyph），横扫 13 项中文自然语言任务记录，其中包括：(1) 字级别语言模型 (2) 词级别语言模型 (3) 中文分词 (4) 命名实体识别 (5) 词性标注 (6) 句法依存分析 (7) 语义决策标注 (8) 语义相似度 (9) 意图识别 (10) 情感分析 (11) 机器翻译 (12) 文本分类 (13) 篇章分析。
前言 文字识别是计算机视觉研究领域的分支之一，归属于模式识别和人工智能，是计算机科学的重要组成部分 本文将以上图为主要线索，简要阐述在文字识别领域中的各个组成部分。 一 ，文字识别简介 计算机文字识别，俗称光学字符识别，英文全称是Optical Character Recognition(简称OCR)，它是利用光学技术和计算机技术把印在或写在纸上的文字读取出来，并转换成一种计算机能够接受、人又可以理解的格式。OCR技术是实现文字高速录入的一项关键技术。 在OCR技术中，印刷体文字识别是开展最早，技术
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 在自然语言处理领域中，预训练语言模型（Pretrained Language Models）已成为非常重要的基础技术，本仓库主要收集目前网上公开的一些高质量中文预训练模型。 NLU系列 BERT RoBERTa ALBERT NEZHA XLNET MacBERT WoBERT ELECTRA ZEN ERNIE RoFormer StructBERT Lattice-BERT Mengzi-BER
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 安装依赖 pip install requests 使用方法 浏览器打开：https://order.jd.com/center/list.action 没登录就登录 F12 控制台 console 栏输入 console.log(_JdJrTdRiskFpInfo, _JdEid) 参数依次对应： _JdJrTdRiskFpInfo => self._JdJrTdRiskFpInfo _JdEid => self.
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx nerpy实现了BertSoftmax、BertCrf、BertSpan等多种命名实体识别模型，并在标准数据集上比较了各模型的效果。 https://github.com/shibing624/nerpy Evaluation 说明： 结果值均使用F1 结果均只用该数据集的train训练，在test上评估得到的表现，没用外部数据 shibing624/bert4ner-base-chinese模型达到同级别参数量SOT
车牌的检测和识别的应用非常广泛，比如交通违章车牌追踪，小区或地下车库门禁。在对车牌识别和检测的过程中，因为车牌往往是规整的矩形，长宽比相对固定，色调纹理相对固定，常用的方法有：基于形状、基于色调、基于纹理、基于文字特征等方法，近年来随着深度学习的发展也会使用目标检测的一些深度学习方法。该项目主要的流程如下图所示：
深度学习是一种受到生物学启发的机器学习方法，其目标是通过构建多层神经网络来模拟人脑的工作原理。它在过去几十年来取得了巨大的进展，并在图像识别、语音识别、自然语言处理等领域取得了突破性的成果。
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 实现思路 📷 数据处理 原始数据来源于 https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/static/wiki_crop.tar 原始数据集包含的图片数量很多，我从中筛选了大约10000张图片（筛选条件为：由OpenCV识别出的face数目为1、性别已知、男女各约5000张） 图片尺寸统一为 100x100，文件名格式统一为 编号-年龄-性别.png，其中性别1
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 基于Flask RESTful api的图像特征检索方案，api传入url/base64即可在毫秒内返回数据库匹配结果，主要用于图像去重，后续拓展使用范围。 1. 项目说明： 本项目基于开源框架PyRetri进行二次开发，同时结合facebook开源项目Facebook AI Similarity Search，设计出基于Flask的RESTful api接口，目的是为了解决以下几个场景问题： 1）本地已经存储大规模
随着互联网的飞速发展，图片成为信息传播的重要媒介，图片中的文本识别与检测技术也一度成为学界业界的研究热点，应用在诸如证件照识别、信息采集、书籍电子化等领域。
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 最近遇到一个问题，如何读取仪表中的指针指向的刻度 📷 解决方法有多种，比如，方案一：模板匹配+边缘检测+霍夫直线检测，方案二：神将网络（CNN）目标定位等， 其中CNN就有点麻烦了，需要一定数量的训练样本，太麻烦，而方案一太普通，最后我采用了方案三， 方案三:模板匹配+k-means+直线拟合 具体做法如下： 首先说一下模板匹配，它是OpenCV自带的一个算法，可以根据一个模板图到目标图上去寻找对应位置，如果模板找
本项目是利用YOLOv4进行口罩佩戴检测，使用PyTorch实现。虽然现在国内疫情基本得到有效遏制，但防控仍不可过于松懈，在一些公共场合佩戴口罩还是必不可少的。基于此，自己做了该项目，后续打算继续改进，争取将其运行到边缘设备上。希望本项目能给疫情常态化防控出一份力，也希望真正的新年早日到来。
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 在构建模型时，调参是极为重要的一个步骤，因为只有选择最佳的参数才能构建一个最优的模型。但是应该如何确定参数的值呢？所以这里记录一下选择参数的方法，以便后期复习以及分享。 （除了贝叶斯优化等方法）其它简单的验证有两种方法：1、通过经常使用某个模型的经验和高超的数学知识。2、通过交叉验证的方法，逐个来验证。 很显然我是属于后者所以我需要在这里记录一下 sklearn 的 cross_val_score： 我使用是cross_
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 项目描述 本项目是一个带有超级详细中文注释的基于GPT2模型的新闻标题生成项目。 本项目参考了GPT2-Chinese、GPT2-chitchat、CDial-GPT、GPT2等多个GPT2开源项目，并根据自己的理解，将代码进行重构，添加详细注释，希望可以帮助到有需要的人。 本项目使用HuggingFace的transformers实现GPT2模型代码编写、训练及测试。 本项目通过Flask框架搭建了一个Web服务，将新
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 中文微博情感分类语料库 "情感分析"是我本科的毕业设计, 也是我入门并爱上NLP的项目hhh, 当时网上相关语料库的质量都太低了, 索性就自己写了个爬虫, 一边标注一边爬, 现在就把它发出来供大家交流。因为是自己的项目,所以标注是相当认真的,还请了朋友帮忙校验,过滤掉了广告/太短/太长/表意不明等语料,语料质量是绝对可以保证的 带情感标注的微博语料数量: 10000(train.txt)+500(test.txt)
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx "情感分析"是我本科的毕业设计, 也是我入门并爱上NLP的项目hhh, 当时网上相关语料库的质量都太低了, 索性就自己写了个爬虫, 一边标注一边爬, 现在就把它发出来供大家交流。因为是自己的项目,所以标注是相当认真的,还请了朋友帮忙校验,过滤掉了广告/太短/太长/表意不明等语料,语料质量是绝对可以保证的 带情感标注的微博语料数量: 10000(train.txt)+500(test.txt) 数据格式 文档的每一行代
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 之前只用过单线程处理，加载模型进行测试，运行时间上也可以接受。但是现在需要处理比较大量的数据，如果进行线性处理，可能测试一次就花10个小时，而且还不知道结果怎么样，所以多线程就必须使用上了。有关线程部分主要参考：https://junyiseo.com/python/211.html 1 多线程 多线程类似于同时执行多个不同程序，线程在执行过程中与进程还是有区别的。每个独立的进程有一个程序运行的入口、顺序执行序列和程
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 上采样与上池化 图示理解，使用三张图进行说明： 📷 图（a）表示UnPooling的过程，特点是在Maxpooling的时候保留最大值的位置信息，之后在unPooling阶段使用该信息扩充Feature Map，除最大值位置以外，其余补0。 Unpooling是在CNN中常用的来表示max pooling的逆操作。 鉴于max pooling不可逆，因此使用近似的方式来反转得到max pooling操作之前的原始情
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 精度与速度远超 YOLOv5 和 YOLOX 的新框架 YOLOv6关键技术介绍 YOLOv6 主要在 Backbone、Neck、Head 以及训练策略等方面进行了诸多的改进： 我们统一设计了更高效的 Backbone 和 Neck ：受到硬件感知神经网络设计思想的启发，基于 RepVGG style[4] 设计了可重参数化、更高效的骨干网络 EfficientRep Backbone 和 Rep-PAN Neck。
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx doccano是一个开源文本标注工具。它提供了文本分类，序列标注和序列到序列的标注功能。因此，您可以为情绪分析，命名实体识别，文本摘要等创建标记数据。只需创建项目，上传数据并开始标注。 总结下来就3步，上传数据，标注，下载带有标签的数据。 官网：http://doccano.herokuapp.com/ 📷 📷 命名实体识别 第一个演示是序列标记任务之一，命名实体识别。您只需选择文本跨度并对其进行标注即可。由于doc
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 此项目可监控近千家中国企业的官方网站的新闻动态，如有更新，系统能在最短2分钟之内通过邮件发送更新的标题和链接。更新的信息流也可通过浏览器查看。监控的公司和站点可以添加删除。 原理：定期抓取网站html, 使用difflib比对新旧页面源码，发现增加的部分，提取url和text，过滤筛选，保存MySQL数据库。定期把更新的url和text，通过邮件发送给订阅者。 全部代码 获取方式： 关注微信公众号 datayx 然
向AI转型的程序员都关注了这个号👇👇👇 火爆全网的小游戏羊了个羊到底藏了什么套路？几乎所有人上班下班都在玩，可通关率据说还不到1%。 其实这个游戏和你的策略或技术没啥关系，完全是算法和运气在折磨你。十年前我们玩空当接龙的时候，所有牌都是明牌，理论上可以算出最优解；但羊了个羊不一样，策略再好也不能稳赢，因为你根本不知道一张牌底下藏着什么牌，这和斗地主还不一样，斗地主的牌堆是固定的，但游戏里的牌堆可以被算法改变。 知乎上有人算出了通关概率，游戏一共有14种图案，即使按照逐渐消层的最优解，底下的牌也有200多万
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 监督部分 第二章 感知机： 博客：统计学习方法|感知机原理剖析及实现 实现：perceptron/perceptron_dichotomy.py 第三章 K近邻： 博客：统计学习方法|K近邻原理剖析及实现 实现：KNN/KNN.py 第四章 朴素贝叶斯： 博客：统计学习方法|朴素贝叶斯原理剖析及实现 实现：NaiveBayes/NaiveBayes.py 第五章 决策树： 博客：统计学习方法|决策树原理剖析及实现 实现：
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 核酸检测报告已经是疫情这些年很多人出行必备的材料，而且很多机关单位、政府部门都需要检查核酸报告才能让相关的人员进出场所。如果有一个模型能够快速的识别并提取核酸报告里的关键信息，则能很大程度上提升那些需要提交核酸报告的OA流程审核效率，提升企事业的服务效率。 1.标注数据 标注方法和标注目标检测的数据一样，一个框加一个标签 pip install labelImg ==1.8.6 安装完毕后，键入命令： labelImg
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx DBnet文本检测网络加入多分类，可以实现模型很小又能够区分类别的功能，然后可以根据检测框的标签快速提取目标字段，在端侧部署的话就能达到非常高的精度和效率。 1.标注数据 标注方法和标注目标检测的数据一样，一个框加一个标签 pip install labelImg ==1.8.6 安装完毕后，键入命令： labelImg 或者下载工具 labelImg.exe链接：https://pan.baidu.com/s/14
因为我这里只是判断 【人没有带安全帽】、【人有带安全帽】、【人体】 3个类别 ，基于 data/coco128.yaml 文件，创建自己的数据集配置文件 custom_data.yaml
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 使用：pip install nlpcda https://github.com/425776024/nlpcda 介绍 一键中文数据增强工具，支持： 1.随机实体替换 2.近义词 3.近义近音字替换 4.随机字删除（内部细节：数字时间日期片段，内容不会删） 5.NER类 BIO 数据增强 6.随机置换邻近的字：研表究明，汉字序顺并不定一影响文字的阅读理解<<是乱序的 7.中文等价字替换（1 一 壹 ①，2 二 贰 ②）
音乐天才周杰伦是众多歌迷的偶像，李彦宏则是IT男心中的榜样：用技术改变世界。分别来自娱乐界和互联网界的两人之间本来很难联系到一起，近日却在一档全新的智力节目上相遇——《最强大脑》。这个节目邀请一些脑力出众的人，在节目中现场展示自己在记忆力、抽象能力等方面的特长。首期节目邀请的四位选手分别表演了肉眼识图、钢琴听辨、过目不忘和空间投射等能力。时下，智慧型综艺节目时下正在悄然兴起，例如CCTV《汉字听写大会》、同为江苏卫视的《一站到底》答题秀。 为科技布道，让更多人信仰技术 作为全球最大中文搜索引擎百度
向AI转型的程序员都关注了这个号👇👇👇 普通211硕士，方向是内燃机，现在研二，未来想换到自动驾驶，会matlab的编程计算，simulink有一定了解，目前想要深入学习，请问该如何提高自己，才能进去车企的自动驾驶团队，我知道可能我专业不太相符，但是较为喜欢自动驾驶和控制逻辑，请不吝赐教. 自动驾驶学习资料汇总 https://zhuanlan.zhihu.com/p/517710302 1. 课程资料 德国蒂宾根大学的自动驾驶课程 (Self-Driving Cars, lectureed by Pr
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 在大数据和人工智能技术加持下，不同行业各种新兴的风险控制手段也正在高速发展。但这些风险信息散落在互联网的海量资讯中，若能从中及时识别出风险事件并挖掘出潜在的风险特征，能够大幅提升识别和揭示风险的能力。而风险事件以文本的形式存在，需要采用自然语言理解模型实现风险事件的高精度智能识别，其本质是属于一个文本分类任务。 NLP（自然语言处理）作为人工智能领域皇冠上的“明珠”，其技术的科研创新一直精进不休。而文本分类在自然
本文介绍了一种基于keras的文字识别模型，包括数据集准备、模型构建和训练等方面。通过在GTX1080上运行，最终在测试集上获得了91%的准确率，基本可以识别大部分库里的汉字。
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 小布助手是OPPO公司为欧加集团三品牌手机和IoT设备自研的语音助手，为用户提供了有趣、贴心、便捷的对话式服务。意图识别是对话系统中的一个核心任务，而对话短文本语义匹配是意图识别的主流算法方案之一。 训练数据 训练数据包含输入query-pair，以及对应的真值。初赛训练样本10万，复赛训练样本30万，这份数据主要用于参赛队伍训练模型，为确保数据的高质量，每一个样本的真值都有进行人工标注校验。每行为一个训练样本，由que
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 目前支持蓝色标准车牌，黄色标准车牌，小型新能源车牌的车牌生成。 实际的车牌示例 实际的大型新能源车牌示例 📷 实际的小型新能源车牌示例 📷 生成的蓝色底牌车牌示例 📷 📷 生成的小型新能源车牌示例 📷 📷 全部代码 获取方式： 关注微信公众号 datayx 然后回复 车牌生成 即可获取。 程序结构说明 license_plate_elements.py: 车牌号元素，其中定义： 车牌号中，不同车牌位的取值范围； 不
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 项目简介 本项目基于PaddlePaddle和EasyDL平台，以教务处和学工为一级用户，高校教师为二级用户，针对提升整体课堂教学质量为目的开发的一款实时课堂监测系统。 本项目主要监测课堂的出勤人数、学生的上课状态、教师的语速、情感，以及语言的用词方面。项目中语音的模型均采用EasyDL平台进行训练，调用在线API进行预测分析。而图像模型由于在线API无法达到实时性的要求，采用本地训练Paddle模型库中的模型并使用。
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 商品识别在零售行业的应用 一、图像识别的应用场景，以及对零售行业的变革 1.以图搜图，拍照购物 说到图像识别，大家可能马上能想到以图搜图的方式，也就是“拍照购”。这个想法出现的很早，在零几年的时候就有很多公司开始做这方面的尝试。 美国硅谷的snaptell，他们早在零六年的时候就开始做拍照购物的应用场景，他们做的大部分是一些书籍和CD类的简单物品识别，2009年被Amazon收购。2015年Amazon收购了另一
看了很多回答,模棱两可、模糊不清,给岀一番没有意乂的解释,最终也没有给岀自己的意见。
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 递归神经网络 在传统神经网络中，模型不会关注上一时刻的处理会有什么信息可以用于下一时刻，每一次都只会关注当前时刻的处理。举个例子来说，我们想对一部影片中每一刻出现的事件进行分类，如果我们知道电影前面的事件信息，那么对当前时刻事件的分类就会非常容易。实际上，传统神经网络没有记忆功能，所以它对每一刻出现的事件进行分类时不会用到影片已经出现的信息，那么有什么方法可以让神经网络能够记住这些信息呢？答案就是Recurrent
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 随着信息通讯技术的不断发展，各行各业都产生了海量的数据，与此同时，一门新的学科应运而生—— 数据挖掘。数据挖掘是从大量数据（包括文本数据）中挖掘出隐含的、先前未知的、对决策有潜在价值的信 息、知识和关联关系，并基于这些信息和相应规则建立可用于决策支持与优化分析的模型，提供可支持预测 性决策的方法和工具。此外，数据挖掘还可帮助企业和科研团体发现业务与学科中的新趋势，揭示已知的 事实，预测未知的结果，因此“数据挖掘”已成为其
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 交通标志本身种类众多，大小不定，并且在交通复杂的十字路口场景下，由于光照、天气等因素的影响，使其被精确检测变得更加困难。提高上述场景下交通标志检测准确度，将有助于降低十字路口交通事故发生的概率。 提供真实场景的道路图片，部分图片给出了交通标志的标注结果，所有交通标志共计 5 个类别，分别为红灯、直行标志、向左转弯标志、禁止驶入和禁止临时停车。 数据示例如下： 初赛1/177，复赛1/12 全部 代码 ,方案详情 获取
移动互联网时代的开启使得图片的获取与分享越来越容易，图片已经成为人们交互的重要媒介。如何根据图像的视觉内容为图像赋予一个语义类别（例如，教室、街道等）是图像场景分类的目标，也是图像检索、图像内容分析和目标识别等问题的基础。但由于图片的尺度、角度、光照等因素的多样性以及场景定义的复杂性，场景分类一直是计算机视觉中的一个挑战性问题。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
