Dataset Search 测试版地址：https://toolbox.google.com/datasetsearch
scikit-learn（以下简称为sklearn）是用Python开发的机器学习库，其中包含大量机器学习算法、数据集，是数据挖掘方便的工具。本教程参考《Python机器学习及实战》、《scikit-learn机器学习》和sklearn的官方文档，详细讲解如何使用sklearn实现机器学习算法。首先，依旧讲讲写本系列教程的原因：第一，相比于直接编写各种算法，sklearn简单容易上手；第二，参考书籍有些部分讲解不细致，sklearn版本的更新，官方文档虽然齐全，但是是英文等等，希望通过编写这个教程，可以让读
本文讲解什么是决策树回归模型，以及如何在Python中创建和实现决策树回归模型，只需要5个步骤。
作者 Bunmi Akinremi 我清楚地记得两年前参加的一次机器学习黑客马拉松，当时我正处于数据科学职业生涯的初期。这是由尼日利亚数据科学组织的训练营的资格预审黑客马拉松。 该数据集包含有关某些员工的信息。我必须预测员工是否应该升职。在尝试改进和设计功能几天后，该模型的准确率似乎在 80% 左右波动。 我需要做点什么来提高我在排行榜上的分数。我开始手动调整模型——得到了更好的结果。通过更改参数，移动的准确度提高到 82%（这一移动非常重要，任何参加过黑客马拉松的人都会证明这一点！）。很兴奋，我开始调整其
Elasticsearch 在 8.6 中引入了一种新型向量！该向量具有 8 位整数维度，其中每个维度的范围为 -128, 127。这比当前具有 32 位浮点维度的向量小 4 倍，这可以节省大量空间。
学习器模型中一般有两类参数，一类是可以从数据中学习估计得到，我们称为参数（Parameter）。还有一类参数时无法从数据中估计，只能靠人的经验进行设计指定，我们称为超参数（Hyper parameter）。超参数是在开始学习过程之前设置值的参数。相反，其他参数的值通过训练得出。
在许多情况下，机器学习模型比传统线性模型更受欢迎，因为它们具有更好的预测性能和处理复杂非线性数据的能力。然而，机器学习模型的一个常见问题是它们缺乏可解释性。例如，集成方法如XGBoost和随机森林将许多个体学习器的结果组合起来生成结果。尽管这通常会带来更好的性能，但它使得难以知道数据集中每个特征对输出的贡献。为了解决这个问题，可解释人工智能（explainable AI, xAI）被提出并越来越受欢迎。xAI领域旨在解释这些不可解释的模型（所谓的黑匣子模型）如何进行预测，实现最佳的预测准确性和可解释性。这样做的动机在于，许多机器学习的真实应用场景不仅需要良好的预测性能，还要解释生成结果的方式。例如，在医疗领域，可能会根据模型做出的决策而失去或挽救生命，因此了解决策的驱动因素非常重要。此外，能够识别重要变量对于识别机制或治疗途径也很有帮助。最受欢迎、最有效的xAI技术之一是SHAP。
每个机器学习项目都有自己独特的形式。对于每个项目，都可以遵循一组预定义的步骤。尽管没有严格的流程，但是可以提出一个通用模板。
在构建全文搜索体验（例如FAQ搜索或Wiki搜索）时，有多种方法可以使用Elasticsearch Query DSL来应对挑战。对于全文搜索，我们的武器库中有很多可用的选项，从最简单的match查询到强大的intervals查询。
一个易于理解的scikit-learn教程，可以帮助您开始使用Python机器学习。
数据科学已经成为21世纪最热门的工作领域，但如何才能成为数据科学家呢？ 作为一名有抱负的数据科学家，或是准备从事数据科学工作的学生，你应该做好哪些准备？ 需要什么技能？不要担心！ 本文将会回答以上所有问题，并提供相关的资源链接，帮助你开启新的职业生涯！
纯机器学习（ML）模型的训练与建立端到端的数据科学解决方案与实际企业需要之间存在巨大差异。 本文总结了我们团队与来自不同行业的数十家企业客户（包括制造业，金融服务业，零售业，娱乐业和医疗保健业等）合作两年后所总结的经验教训。 企业面临的最常见的ML问题是什么？除了训练ML模型之外还有什么？ 如何解决数据收集问题？ 如何扩展到大型数据集？ 为什么特征工程如此重要？ 如何从生产中的模型转变为功能完备的系统？ 我们是否需要数据科学平台？
支持向量机（SVM）广泛应用于模式分类和非线性回归领域。SVM算法的原始形式由Vladimir N.Vapnik和Alexey Ya提出。自从那以后，SVM已经被巨大地改变以成功地用于许多现实世界问题。
流程图用于通过可视媒体阐明决策过程。设计需要对整个系统有完整的了解，因此也需要人的专业知识。问题是：“就流程的复杂性而言，是否可以自动创建流程图以使其设计更快，更便宜且更具可扩展性？” 答案就是决策树！
中文 NLP 数据集搜索：https://www.cluebenchmarks.com/dataSet_search.html
假设要解决一个时序问题：根据过往两年的数据（2012 年 8 月至 2014 年 8月），需要用这些数据预测接下来 7 个月的乘客数量。
本项目将分三个阶段分支，分别是入门级 、进阶级 和最终级 分支，当前为进阶级，随着级别的提升，识别准确率也随之提升，也更适合实际项目使用，敬请关注！
数据可视化项目的良好数据集是公开发布数据的新闻网站，他们通常会提供清理过的数据，并且已经有了可以复制或改进的图表，我们既可以从这些图表中找寻灵感，也可以对这些图表直接进行二次改进
网上有人用libsvm2.89在Python2.6成功。（一定要libsvm2.89搭配python2.6，其他版本都不能成功，我就是浪费了大量时间在这里！） python 搭建libsvm方法。python版本和libsvm版本匹配很重要！ 两步： 1.将libsvm-2.89\windows\python目录下的svmc.pyd文件复制到C:\Python26\DLLs； 2.将libsvm-2.89\python目录下的svm.py放到C:\Python26\Lib目录里。 from svm impo
目前，化学反应数据通常以非结构化的形式存储，这给下游应用（包括机器学习模型的训练）带来了重大阻碍。
选自GitHub 机器之心编译 参与：吴攀、晏奇 Facebook 近日在 GitHub 上开源了一个可用于在多种开放可用的对话数据集上训练和评估人工智能模型的框架 ParlAI，机器之心在本文中对
我在保险行业工作，每天处理大量数据。有一次，我受命将多个Excel文件合并到一个“主电子表格”中。每个Excel文件都有不同的保险单数据字段，如保单编号、年龄、性别、投保金额等。这些文件有一个共同的列，即保单ID。在过去，我只会使用Excel和VLOOKUP公式，或者Power Query的合并数据函数。这些工具工作得很好，然而，当我们需要处理大型数据集时，它们就成了一种负担。
在接下来的几篇博文中，作者将带领大家训练一个「计算机视觉+深度学习」的模型来执行人脸识别任务。但是，要想训练出能够识别图像或视频流中人脸的模型，我们首先得收集人脸图像的数据集。
周末在家无聊闲逛github，发现一个很有趣的开源项目，作者用手绘图的方式讲解了机器学习模型构建的全流程，逻辑清晰、生动形象。同时，作者也对几张图进行了详细的讲解，学习之后，收获很多，于是将其翻译下来，和大家一起学习。
k近邻法（或简称为kNN）是一种易于理解和实现的算法，也是一种功能强大的工具。
Iris也称鸢尾花卉数据集，是一类多重变量分析的数据集。通过花萼长度，花萼宽度，花瓣长度，花瓣宽度4个属性预测鸢尾花卉属于（Setosa，Versicolour，Virginica）三个种类中的哪一类。
机器学习常见算法的一种合理分类：生成/识别，参数/非参数，监督/无监督等。例如，Scikit-Learn文档页面通过学习机制对算法进行分组，产生类别如：1，广义线性模型，2，支持向量机，3，最近邻居法，4，决策树，5，神经网络，等等…但这样的分类并不实用。应用机器学习时通常不会直接想，“今天训练一个支持向量机”，而是通常有一个最终目标，例如利用某算法来预测结果或分类观察。 📷 图1机器学习技术的机器人大脑 机器学习中，有一种叫做“没有免费的午餐”的定理，意思是说没有任何一种算法可以完美地解决每个问题，这对于
本章中，你会假装作为被一家地产公司刚刚雇佣的数据科学家，完整地学习一个案例项目。下面是主要步骤： 项目概述。 获取数据。 发现并可视化数据，发现规律。 为机器学习算法准备数据。 选择模型，进行训练。 微调模型。 给出解决方案。 部署、监控、维护系统。 使用真实数据 学习机器学习时，最好使用真实数据，而不是人工数据集。幸运的是，有上千个开源数据集可以进行选择，涵盖多个领域。以下是一些可以查找的数据的地方： 流行的开源数据仓库： UC Irvine Machine Learning Repository K
第2章 一个完整的机器学习项目 来源：ApacheCN《Sklearn 与 TensorFlow 机器学习实用指南》翻译项目 译者：@SeanCheney 校对：@Lisanaaa @飞龙 本章中，你会假装作为被一家地产公司刚刚雇佣的数据科学家，完整地学习一个案例项目。下面是主要步骤： 项目概述。 获取数据。 发现并可视化数据，发现规律。 为机器学习算法准备数据。 选择模型，进行训练。 微调模型。 给出解决方案。 部署、监控、维护系统。 使用真实数据 学习机器学习时，最好使用真实数据，而不是人工数
LSTM（long short term memory，长短期记忆网络）是预测时间序列最常用的神经网络模型之一。但是这种神经网络模型相当复杂，需要特定的结构、数据前期处理等操作。
研究数据集以查看哪些变量具有相关性时，这是我首先执行的任务之一。这使我更好地了解我正在处理的数据。这也是培养对数据的兴趣并建立一些初步问题以尝试回答的好方法。
编译 | AI科技大本营 参与 | 王柯凝 编辑 | 明明 【AI科技大本营导读】继马斯克的重型火箭猎鹰火箭（Falcon Heavy）发射成功后，营长的朋友圈被持续刷屏，虽然特斯拉Roadster飞偏了，但不可否认未来是属于科技的，更是属于人工智能和机器学习的，任何一个不了解这些技术的人都会很快发现自己将落后于这个时代。 对于人工智能和机器学习来说，目前有很多种可以实施的技术和工具用来解决实时问题，其中，监督学习（Supervised Learning）是最常用的方法之一。什么是监督学习？监督学习如
Google AI 终于发布了 AutoML 的 beta 版，有人说这项服务将彻底改变深度学习的方式。
我们都喜欢免费的东西，对吧？实际上，虽然网络上充斥着各种免费信息，但这些信息有时是错误或具有误导性的。但以下这 20 个是被广泛认为相当可信的免费数据源。
【导读】XGBoost、LightGBM 和 Catboost 是三个基于 GBDT（Gradient Boosting Decision Tree）代表性的算法实现，今天，我们将在三轮 Battle 中，根据训练和预测的时间、预测得分和可解释性等评测指标，让三个算法一决高下！
在数据处理和分析过程中，经常会遇到数据中存在缺失值的情况。合理处理缺失值能够帮助我们完善数据质量，提高建模和分析的准确性。下面将介绍 Python 中常用的数据填充和缺失值处理方法，包括删除缺失值、插值法和回归方法等，以及如何选择合适的方法来处理不同类型的缺失值。
虽然机器学习技术可以实现良好的性能，但提取与目标变量的因果关系并不直观。换句话说，就是：哪些变量对目标变量有直接的因果影响？
数据集可以讲述很多故事。要想了解这些故事的展开，最好的方法就是从检查变量之间的相关性开始。在研究数据集时，我首先执行的任务之一是查看哪些变量具有相关性。这让我更好地理解我正在使用的数据。这也是培养对数据的兴趣和建立一些初始问题来尝试回答的好方法。简单地说，相关性是非常重要的。
在现实生活中，通常只能使用一个小数据集。基于少量观测数据所训练出的模型往往会过度拟合，产生不准确的结果。所以即使可用的数据是极其有限的，也需要了解如何避免过度拟合，并获得准确的预测。
校对：欧阳锦 本文约3200字，建议阅读5分钟本文介绍了Python数据分析的一个利器——Bamboolib，它无需编码技能，能够自动生成pandas代码。
探索性数据分析（Exploratory Data Analysis ,EDA）是对数据进行分析并得出规律的一种数据分析方法。它是一个数据试图讲述的故事。EDA是一种利用各种工具和图形技术(如柱状图、直方图等)分析数据的方法。
上一篇文章介绍了性能评估标准，但如何进行模型评估呢，如何对数据集进行划分出训练集、验证集和测试集呢？如何应对可能的过拟合和欠拟合问题，还有超参数的调优，如何更好更快找到最优的参数呢？
副本分片的主要目的就是为了故障转移，如果持有主分片的节点挂掉了，一个副本分片就会晋升为主分片的角色。
Redis是内存数据库，我们能时时刻刻能感受到Redis作者为更好地使用内存而费尽各种心思，例如最明显的是对于同一种数据结构在不同应用场景下提供了基于不同底层编码的实现（如压缩列表、跳跃表等）。
在本教程中，我们将讨论一种非常强大的优化（或自动化）算法，即网格搜索算法。它最常用于机器学习模型中的超参数调整。我们将学习如何使用Python来实现它，以及如何将其应用到实际应用程序中，以了解它如何帮助我们为模型选择最佳参数并提高其准确性。
对于关注数据科学的同学来说，Kaggle 上庞大的数据集是一个极好的资源池，但是这么多的数据，如何进行更精准的搜索？近日，Kaggle 官方博客就刊登了 Rachael Tatman 的一篇文章，向大家安利如何更高效的搜索数据集，具体怎么操作？AI研习社将文章编译整理如下。 目前，在 Kaggle 上有成千上万的数据集，而且每天都会有新的增加。虽说 Kaggle 是一个非常棒的资源池，但是想在这么多的数据集里精准地找到与自己感兴趣的主题相关的，有时会有点棘手。在过去的几个月里，我学到了一些技巧和小窍门，或许
AI科技评论按：对于关注数据科学的同学来说，Kaggle上庞大的数据集是一个极好的资源池，但是这么多的数据，如何进行更精准的搜索？近日，Kaggle官方博客就刊登了Rachael Tatman的一篇文章，向大家安利如何更高效的搜索数据集，具体怎么操作？ AI科技评论将文章编译整理如下： 目前，在Kaggle上有成千上万的数据集，而且每天都会有新的增加。虽说Kaggle是一个非常棒的资源池，但是想在这么多的数据集里精准地找到与自己感兴趣的主题相关的，有时会有点棘手。在过去的几个月里，我学到了一些技巧和小窍门，
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
