数据清理和特征工程是数据科学家和机器学习工程师们一天中最重要的部分之一，几乎我们每天都会和数据打交道，接触到这些数据工作。能够有效地清理数据获取干净核心的数据将保证后续工作有更好的结果。
在应用XGBoost模型之前，特征工程和数据预处理是至关重要的步骤。良好的特征工程和数据预处理可以显著提高模型的性能。本教程将介绍在Python中使用XGBoost进行特征工程和数据预处理的中级教程，通过代码示例详细说明各种技术和方法。
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 。 。 。 。 。 。 。 全部 代码 ，视频，数据集 获取方式： 关注微信公众号 datayx 然后回复 唐宇迪 即可获取。 机器学习算法AI大数据技术 搜索公众号添加： datanlp 长按图片，识别二维码 ---- 阅读过本文的人还看了以下文章： TensorFlow 2.0深度学习案例实战 基于40万表格数据集TableBank，用MaskRCNN做表格检测 《基于深度学习的自然
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 自动机器学习（AutoML）是将机器学习应用于现实问题的端到端流程自动化的过程。 传统机器学习模型大致可分为以下四个部分：数据采集、数据预处理、优化、应用； 其中数据预处理与模型优化部分往往需要具备专业知识的数据科学家来完成，他们建立起了数据到计算的桥梁。 然而，即使是数据科学家，也需要花费大量的精力来进行算法与模型的选择。 机器学习在各种应用中的成功，导致对机器学习从业人员的需求不断增长，因此我们希望实现真正意义上的机
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 所有论文 包括已经录制完成和之后将要介绍的论文。选取的原则是10年内深度学习里有影响力文章（必读文章），或者近期比较有意思的文章。当然这十年里重要的工作太多了，不可能一一过一遍。在选取的时候我会偏向一些之前 直播课 中没讲到过的。 总论文数 67，录制完成数 32 全部 代码 ,预训练模型 获取方式： 关注微信公众号 datayx 然后回复 论文 即可获取。 机器学习算法AI大数据技术 搜索公众号添加： d
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 一、特征工程 简单说，特征工程是能够将数据像艺术一样展现的技术。因为好的特征工程很好的混合了专业领域知识、直觉和基本的数学能力； 本质上说，呈现给算法的数据应该能拥有基本数据的相关结构或属性 。当你做特征工程时，其实是将数据属性转换为数据特征的过程，属性代表了数据的所有维度，在数据建模时，如果对原始数据的所有属性进行学习，并不能很好的找到数据的潜在趋势，而通过特征工程对你的数据进行预处理的话，你的算法模型能够减少受到噪声
我们常说机器学习是一门实验科学。所以相比较传统工程而言，机器学习分成两个大的阶段：
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 安装依赖 pip install requests 使用方法 浏览器打开：https://order.jd.com/center/list.action 没登录就登录 F12 控制台 console 栏输入 console.log(_JdJrTdRiskFpInfo, _JdEid) 参数依次对应： _JdJrTdRiskFpInfo => self._JdJrTdRiskFpInfo _JdEid => self.
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 此项目可监控近千家中国企业的官方网站的新闻动态，如有更新，系统能在最短2分钟之内通过邮件发送更新的标题和链接。更新的信息流也可通过浏览器查看。监控的公司和站点可以添加删除。 原理：定期抓取网站html, 使用difflib比对新旧页面源码，发现增加的部分，提取url和text，过滤筛选，保存MySQL数据库。定期把更新的url和text，通过邮件发送给订阅者。 全部代码 获取方式： 关注微信公众号 datayx 然
本文简要介绍特征工程的基本组成部分，并用直观的示例理解它们，最后给出使用Python Featuretools库实现自动化特征工程的操作过程。
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 在自然语言处理领域中，预训练语言模型（Pretrained Language Models）已成为非常重要的基础技术，本仓库主要收集目前网上公开的一些高质量中文预训练模型。 NLU系列 BERT RoBERTa ALBERT NEZHA XLNET MacBERT WoBERT ELECTRA ZEN ERNIE RoFormer StructBERT Lattice-BERT Mengzi-BER
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx nerpy实现了BertSoftmax、BertCrf、BertSpan等多种命名实体识别模型，并在标准数据集上比较了各模型的效果。 https://github.com/shibing624/nerpy Evaluation 说明： 结果值均使用F1 结果均只用该数据集的train训练，在test上评估得到的表现，没用外部数据 shibing624/bert4ner-base-chinese模型达到同级别参数量SOT
特征工程是机器学习中至关重要的一部分，它直接影响到模型的性能和泛化能力。在LightGBM中进行高级特征工程可以进一步提高模型的效果。本教程将详细介绍如何在Python中使用LightGBM进行高级特征工程，并提供相应的代码示例。
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 实现思路 📷 数据处理 原始数据来源于 https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/static/wiki_crop.tar 原始数据集包含的图片数量很多，我从中筛选了大约10000张图片（筛选条件为：由OpenCV识别出的face数目为1、性别已知、男女各约5000张） 图片尺寸统一为 100x100，文件名格式统一为 编号-年龄-性别.png，其中性别1
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 之前只用过单线程处理，加载模型进行测试，运行时间上也可以接受。但是现在需要处理比较大量的数据，如果进行线性处理，可能测试一次就花10个小时，而且还不知道结果怎么样，所以多线程就必须使用上了。有关线程部分主要参考：https://junyiseo.com/python/211.html 1 多线程 多线程类似于同时执行多个不同程序，线程在执行过程中与进程还是有区别的。每个独立的进程有一个程序运行的入口、顺序执行序列和程
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 最近遇到一个问题，如何读取仪表中的指针指向的刻度 📷 解决方法有多种，比如，方案一：模板匹配+边缘检测+霍夫直线检测，方案二：神将网络（CNN）目标定位等， 其中CNN就有点麻烦了，需要一定数量的训练样本，太麻烦，而方案一太普通，最后我采用了方案三， 方案三:模板匹配+k-means+直线拟合 具体做法如下： 首先说一下模板匹配，它是OpenCV自带的一个算法，可以根据一个模板图到目标图上去寻找对应位置，如果模板找
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 基于Flask RESTful api的图像特征检索方案，api传入url/base64即可在毫秒内返回数据库匹配结果，主要用于图像去重，后续拓展使用范围。 1. 项目说明： 本项目基于开源框架PyRetri进行二次开发，同时结合facebook开源项目Facebook AI Similarity Search，设计出基于Flask的RESTful api接口，目的是为了解决以下几个场景问题： 1）本地已经存储大规模
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx "情感分析"是我本科的毕业设计, 也是我入门并爱上NLP的项目hhh, 当时网上相关语料库的质量都太低了, 索性就自己写了个爬虫, 一边标注一边爬, 现在就把它发出来供大家交流。因为是自己的项目,所以标注是相当认真的,还请了朋友帮忙校验,过滤掉了广告/太短/太长/表意不明等语料,语料质量是绝对可以保证的 带情感标注的微博语料数量: 10000(train.txt)+500(test.txt) 数据格式 文档的每一行代
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 项目描述 本项目是一个带有超级详细中文注释的基于GPT2模型的新闻标题生成项目。 本项目参考了GPT2-Chinese、GPT2-chitchat、CDial-GPT、GPT2等多个GPT2开源项目，并根据自己的理解，将代码进行重构，添加详细注释，希望可以帮助到有需要的人。 本项目使用HuggingFace的transformers实现GPT2模型代码编写、训练及测试。 本项目通过Flask框架搭建了一个Web服务，将新
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 在构建模型时，调参是极为重要的一个步骤，因为只有选择最佳的参数才能构建一个最优的模型。但是应该如何确定参数的值呢？所以这里记录一下选择参数的方法，以便后期复习以及分享。 （除了贝叶斯优化等方法）其它简单的验证有两种方法：1、通过经常使用某个模型的经验和高超的数学知识。2、通过交叉验证的方法，逐个来验证。 很显然我是属于后者所以我需要在这里记录一下 sklearn 的 cross_val_score： 我使用是cross_
特征工程(feature engineering)指的是：利用领域知识和现有数据，创造出新的特征，用于机器学习算法。
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 中文微博情感分类语料库 "情感分析"是我本科的毕业设计, 也是我入门并爱上NLP的项目hhh, 当时网上相关语料库的质量都太低了, 索性就自己写了个爬虫, 一边标注一边爬, 现在就把它发出来供大家交流。因为是自己的项目,所以标注是相当认真的,还请了朋友帮忙校验,过滤掉了广告/太短/太长/表意不明等语料,语料质量是绝对可以保证的 带情感标注的微博语料数量: 10000(train.txt)+500(test.txt)
XGBoost是一种强大的机器学习算法，广泛应用于各种领域的数据建模任务中。但是，在处理时间序列数据时，需要特别注意数据的特点和模型的选择。本教程将深入探讨如何在Python中使用XGBoost建模时间序列数据，包括数据准备、特征工程和模型训练等方面，并提供相应的代码示例。
向AI转型的程序员都关注了这个号👇👇👇 火爆全网的小游戏羊了个羊到底藏了什么套路？几乎所有人上班下班都在玩，可通关率据说还不到1%。 其实这个游戏和你的策略或技术没啥关系，完全是算法和运气在折磨你。十年前我们玩空当接龙的时候，所有牌都是明牌，理论上可以算出最优解；但羊了个羊不一样，策略再好也不能稳赢，因为你根本不知道一张牌底下藏着什么牌，这和斗地主还不一样，斗地主的牌堆是固定的，但游戏里的牌堆可以被算法改变。 知乎上有人算出了通关概率，游戏一共有14种图案，即使按照逐渐消层的最优解，底下的牌也有200多万
本项目是利用YOLOv4进行口罩佩戴检测，使用PyTorch实现。虽然现在国内疫情基本得到有效遏制，但防控仍不可过于松懈，在一些公共场合佩戴口罩还是必不可少的。基于此，自己做了该项目，后续打算继续改进，争取将其运行到边缘设备上。希望本项目能给疫情常态化防控出一份力，也希望真正的新年早日到来。
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 上采样与上池化 图示理解，使用三张图进行说明： 📷 图（a）表示UnPooling的过程，特点是在Maxpooling的时候保留最大值的位置信息，之后在unPooling阶段使用该信息扩充Feature Map，除最大值位置以外，其余补0。 Unpooling是在CNN中常用的来表示max pooling的逆操作。 鉴于max pooling不可逆，因此使用近似的方式来反转得到max pooling操作之前的原始情
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 精度与速度远超 YOLOv5 和 YOLOX 的新框架 YOLOv6关键技术介绍 YOLOv6 主要在 Backbone、Neck、Head 以及训练策略等方面进行了诸多的改进： 我们统一设计了更高效的 Backbone 和 Neck ：受到硬件感知神经网络设计思想的启发，基于 RepVGG style[4] 设计了可重参数化、更高效的骨干网络 EfficientRep Backbone 和 Rep-PAN Neck。
因为我这里只是判断 【人没有带安全帽】、【人有带安全帽】、【人体】 3个类别 ，基于 data/coco128.yaml 文件，创建自己的数据集配置文件 custom_data.yaml
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 监督部分 第二章 感知机： 博客：统计学习方法|感知机原理剖析及实现 实现：perceptron/perceptron_dichotomy.py 第三章 K近邻： 博客：统计学习方法|K近邻原理剖析及实现 实现：KNN/KNN.py 第四章 朴素贝叶斯： 博客：统计学习方法|朴素贝叶斯原理剖析及实现 实现：NaiveBayes/NaiveBayes.py 第五章 决策树： 博客：统计学习方法|决策树原理剖析及实现 实现：
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx doccano是一个开源文本标注工具。它提供了文本分类，序列标注和序列到序列的标注功能。因此，您可以为情绪分析，命名实体识别，文本摘要等创建标记数据。只需创建项目，上传数据并开始标注。 总结下来就3步，上传数据，标注，下载带有标签的数据。 官网：http://doccano.herokuapp.com/ 📷 📷 命名实体识别 第一个演示是序列标记任务之一，命名实体识别。您只需选择文本跨度并对其进行标注即可。由于doc
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx DBnet文本检测网络加入多分类，可以实现模型很小又能够区分类别的功能，然后可以根据检测框的标签快速提取目标字段，在端侧部署的话就能达到非常高的精度和效率。 1.标注数据 标注方法和标注目标检测的数据一样，一个框加一个标签 pip install labelImg ==1.8.6 安装完毕后，键入命令： labelImg 或者下载工具 labelImg.exe链接：https://pan.baidu.com/s/14
任何参与过机器学习比赛的人，都能深深体会特征工程在构建机器学习模型中的重要性，它决定了你在比赛排行榜中的位置。
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 核酸检测报告已经是疫情这些年很多人出行必备的材料，而且很多机关单位、政府部门都需要检查核酸报告才能让相关的人员进出场所。如果有一个模型能够快速的识别并提取核酸报告里的关键信息，则能很大程度上提升那些需要提交核酸报告的OA流程审核效率，提升企事业的服务效率。 1.标注数据 标注方法和标注目标检测的数据一样，一个框加一个标签 pip install labelImg ==1.8.6 安装完毕后，键入命令： labelImg
车牌的检测和识别的应用非常广泛，比如交通违章车牌追踪，小区或地下车库门禁。在对车牌识别和检测的过程中，因为车牌往往是规整的矩形，长宽比相对固定，色调纹理相对固定，常用的方法有：基于形状、基于色调、基于纹理、基于文字特征等方法，近年来随着深度学习的发展也会使用目标检测的一些深度学习方法。该项目主要的流程如下图所示：
XGBoost是一种强大的机器学习算法，但在处理大规模数据时，单节点的计算资源可能不足以满足需求。因此，分布式计算是必不可少的。本教程将介绍如何在Python中使用XGBoost进行分布式计算和大规模数据处理，包括设置分布式环境、使用分布式特征和训练大规模数据集等，并提供相应的代码示例。
向AI转型的程序员都关注了这个号👇👇👇 普通211硕士，方向是内燃机，现在研二，未来想换到自动驾驶，会matlab的编程计算，simulink有一定了解，目前想要深入学习，请问该如何提高自己，才能进去车企的自动驾驶团队，我知道可能我专业不太相符，但是较为喜欢自动驾驶和控制逻辑，请不吝赐教. 自动驾驶学习资料汇总 https://zhuanlan.zhihu.com/p/517710302 1. 课程资料 德国蒂宾根大学的自动驾驶课程 (Self-Driving Cars, lectureed by Pr
写文章的目的在于之前面试的时候，提到某一个时间序列项目的特征工程处理。我说的大多数都是一些数据清洗、数据去除异常点、针对数据特性做出的特别的特征工程的操作，然后面试官给我的建议是下一次面试多说一下常规的特征工程处理，因为这样面试官才会跟你有共鸣，能更好的理解你说的特征工程是什么。
【导读】近年来，我们在自动模型选择和超参数调优方面取得了进展，但机器学习流程中最重要的方面-- 特征工程，在很大程度上被我们所忽略。在本文中，我们将使用 Featuretools 库来了解自动化特征工程如何改变并优化机器学习的工作方式。
关键字全网搜索最新排名 【机器学习算法】：排名第一 【机器学习】：排名第二 【Python】：排名第三 【算法】：排名第四 特征工程所涵盖的问题 本文主要想强调特征工程中涵盖了哪些问题以及通过哪些方式
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 在大数据和人工智能技术加持下，不同行业各种新兴的风险控制手段也正在高速发展。但这些风险信息散落在互联网的海量资讯中，若能从中及时识别出风险事件并挖掘出潜在的风险特征，能够大幅提升识别和揭示风险的能力。而风险事件以文本的形式存在，需要采用自然语言理解模型实现风险事件的高精度智能识别，其本质是属于一个文本分类任务。 NLP（自然语言处理）作为人工智能领域皇冠上的“明珠”，其技术的科研创新一直精进不休。而文本分类在自然
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 随着信息通讯技术的不断发展，各行各业都产生了海量的数据，与此同时，一门新的学科应运而生—— 数据挖掘。数据挖掘是从大量数据（包括文本数据）中挖掘出隐含的、先前未知的、对决策有潜在价值的信 息、知识和关联关系，并基于这些信息和相应规则建立可用于决策支持与优化分析的模型，提供可支持预测 性决策的方法和工具。此外，数据挖掘还可帮助企业和科研团体发现业务与学科中的新趋势，揭示已知的 事实，预测未知的结果，因此“数据挖掘”已成为其
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 目前支持蓝色标准车牌，黄色标准车牌，小型新能源车牌的车牌生成。 实际的车牌示例 实际的大型新能源车牌示例 📷 实际的小型新能源车牌示例 📷 生成的蓝色底牌车牌示例 📷 📷 生成的小型新能源车牌示例 📷 📷 全部代码 获取方式： 关注微信公众号 datayx 然后回复 车牌生成 即可获取。 程序结构说明 license_plate_elements.py: 车牌号元素，其中定义： 车牌号中，不同车牌位的取值范围； 不
机器学习将数据拟合到数学模型中来获得结论或者做出预测。这些模型吸纳特征作为输入。特征就是原始数据某方面的数学表现。在机器学习流水线中特征位于数据和模型之间。特征工程是一项从数据中提取特征，然后转换成适合机器学习模型的格式的艺术。这是机器学习流水线关键的一步，因为正确的特征可以减轻建模的难度，并因此使流水线能输出更高质量的结果。从业者们认为构建机器学习流水线的绝大多数时间都花在特征工程和数据清洗上。然后，尽管它很重要，这个话题却很少单独讨论。也许是因为正确的特征只能在模型和数据的背景中定义。由于数据和模型如此多样化，所以很难概括项目中特征工程的实践。
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 随着监管政策步入关键落地期，受合规监管标的限额影响，曾备受追捧的大额标的逐渐消失，小额分散的车贷业务成为网贷平台转型的主要方向之一。车贷资产由于进入门槛低、借款额度低、流动性高、限期短等优点，但做好风险防控依然是行业的主要问题之一。 国内某贷款机构就面临了这样的难题，该机构的借款人往往拖欠还款或拒不还款，导致该机构的不良贷款率居高不下。面对如此头疼的问题，该机构将部分贷款数据开放，诚邀大家帮助他们建立风险识别模型来预
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 小布助手是OPPO公司为欧加集团三品牌手机和IoT设备自研的语音助手，为用户提供了有趣、贴心、便捷的对话式服务。意图识别是对话系统中的一个核心任务，而对话短文本语义匹配是意图识别的主流算法方案之一。 训练数据 训练数据包含输入query-pair，以及对应的真值。初赛训练样本10万，复赛训练样本30万，这份数据主要用于参赛队伍训练模型，为确保数据的高质量，每一个样本的真值都有进行人工标注校验。每行为一个训练样本，由que
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 项目简介 本项目基于PaddlePaddle和EasyDL平台，以教务处和学工为一级用户，高校教师为二级用户，针对提升整体课堂教学质量为目的开发的一款实时课堂监测系统。 本项目主要监测课堂的出勤人数、学生的上课状态、教师的语速、情感，以及语言的用词方面。项目中语音的模型均采用EasyDL平台进行训练，调用在线API进行预测分析。而图像模型由于在线API无法达到实时性的要求，采用本地训练Paddle模型库中的模型并使用。
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 期研究了一下以图搜图这个炫酷的东西。百度和谷歌都有提供以图搜图的功能，有兴趣可以找一下。当然，不是很深入。深入的话，得运用到深度学习这货。Python深度学习当然不在话下。 这个功能最核心的东西就是怎么让电脑识别图片。 这个问题也是困扰了我，在偶然的机会，看到哈希感知算法。这个分两种，一种是基本的均值哈希感知算法(dHash)，一种是余弦变换哈希感知算法(pHash)。dHash是我自己命名的，为了和pHash区分。
关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~
📷 向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 递归神经网络 在传统神经网络中，模型不会关注上一时刻的处理会有什么信息可以用于下一时刻，每一次都只会关注当前时刻的处理。举个例子来说，我们想对一部影片中每一刻出现的事件进行分类，如果我们知道电影前面的事件信息，那么对当前时刻事件的分类就会非常容易。实际上，传统神经网络没有记忆功能，所以它对每一刻出现的事件进行分类时不会用到影片已经出现的信息，那么有什么方法可以让神经网络能够记住这些信息呢？答案就是Recurrent
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 交通标志本身种类众多，大小不定，并且在交通复杂的十字路口场景下，由于光照、天气等因素的影响，使其被精确检测变得更加困难。提高上述场景下交通标志检测准确度，将有助于降低十字路口交通事故发生的概率。 提供真实场景的道路图片，部分图片给出了交通标志的标注结果，所有交通标志共计 5 个类别，分别为红灯、直行标志、向左转弯标志、禁止驶入和禁止临时停车。 数据示例如下： 初赛1/177，复赛1/12 全部 代码 ,方案详情 获取
领取专属 10元无门槛券
手把手带您无忧上云
