如果你的电脑内存较小那么想在本地做一些事情是很有局限性的（哭丧脸），比如想拿一个kaggle上面的竞赛来练练手，你会发现多数训练数据集都是大几G或者几十G的，自己那小破电脑根本跑不起来。行，你有8000w条样本你牛逼，我就取400w条出来跑跑总行了吧（狡滑脸）。
【新智元导读】近期，Kaggle发布了新的数据分析及可视化工具——Kaggle Kerneler bot，用户只需上传数据集，便可用Python为用户自动获取相关的深度数据分析结果。本文将带领读者体验一下这款便捷而又高效的工具。
它非常有力地推动了计算机视觉、自然语言处理、自动语音识别、强化学习和统计建模等多个领域的快速发展。
Kaggle Kerneler bot是一个自动生成的kernel，其中包含了演示如何读取数据以及分析工作的starter代码。用户可以进入任意一个已经发布的项目，点击顶部的“Fork Notebook”来编辑自己的副本。接下来，小编将以最热门的两个项目作为例子，带领读者了解该如何使用这款便捷的工具。
我们知道机器学习的关键是数据和算法，提到数据，我们必须要有在这个大数据时代挑选我们需要的，优质的数据来训练我们的模型，这里分享几个数据获取平台
比赛的官网：https://www.kaggle.com/c/digit-recognizer
pandas虽然是个非常流行的数据分析利器，但很多朋友在使用pandas处理较大规模的数据集的时候经常会反映pandas运算“慢”，且内存开销“大”。
目前常用的深度学习框架主要包括tensorflow、caffe、pytorch、mxnet等；
推荐系统（推荐引擎）是根据用户行为和兴趣点等信息去预测并推送用户当前需要或感兴趣的物品（服务）的一类应用。常见推荐系统包括电影、书籍、音乐或新闻文章推荐系统等。
由于乘客姓名Name、乘票信息Ticket与客舱名称Cabin特征对于乘客的存活影响很小，所以下面首先将其从train_data中剔除：
现代机器学习为了更精确地构建模型需要处理大量数据。大量数据的处理对于时间的要求有了很大的挑战，在Python提供很多数据处理的函数库，今天给大家介绍一个高效的数据处理函数库Python Datatable。 它是一个用于以最大可能的速度在单节点机器上执行大数据（超过100GB）操作的函数库。DAtatable库与Pandas库非常类似，但更侧重于速度和大数据支持，Python datatable还致力于实现良好的用户体验，明确的错误提醒和强大的API。 在本文中，我们将比较一下在大型数据集中使用Datatable和Pandas的性能。
今天我们用的是一个新的数据集，也是在kaggle上的一个比赛，大家可以先去下载一下：
选自Kaggle 作者：Ben Hamner 机器之心编译 参与：黄小天 上个月，Kaggle 联合创始人兼 CTO Ben Hamner 在 Quora 上回答了有关 Kaggle、机器学习和人工智能的一系列问题。对于 Hamner 给出的《机器学习的八个步骤》的建议，Kaggle Team 重新整理并做了核心摘要。 现在学习机器学习和人工智能比以往任何时候都更好。近年来，这一领域飞速发展并硕果累累。专家们开源了各种高质量的软件工具和库，新的线上资源和博文也层出不穷。机器学习带动了产业内数十亿美元的收入
Women in Data Science 与合作伙伴共同发起了 WiDS 数据马拉松竞赛（WiDS datathon）。赛题是创建一个能够预测卫星图像上油棕种植园存在情况的模型。
Kaggle是一个数据分析的竞赛平台，网址：https://www.kaggle.com/，网站主页面如下：
【导读】大家好，我是泳鱼，一个乐于探索和分享AI知识的码农。今天介绍一篇关于机器学习的入门级好文。对于程序员来说，机器学习的重要性毋庸赘言。也许你还没有开始，也许曾经失败过，都没有关系，你将在这里找到或者重拾自信。只要粗通Python，略知NumPy，认真读完这21句话，逐行敲完示例代码，就可以由此进入自由的AI王国。
在上一篇【sklearn】1.分类决策树学习了sklearn决策树的一些接口后，现在利用kaggle上泰坦尼克号的数据集进行实践。
卷积神经网络参考：http://yann.lecun.com/exdb/lenet/ 比赛的官网：https://www.kaggle.com/c/digit-recognizer 若是下载数据集困难，可以去我的百度网盘下载：链接：http://pan.baidu.com/s/1sl50KjV 密码：ca56
在使用Pytorch训练神经网络时，最常见的与速度相关的瓶颈是数据加载的模块。如果我们将数据通过网络传输，除了预取和缓存之外，没有任何其他的简单优化方式。
Kaggle ICR比赛现在在进行中，这个比赛是一个典型的数据挖掘比赛，很适合入门学习。本文将介绍现在ICR基础的解决方案。
本文介绍如何使用Python pandas库实现Excel中的SUMIF函数和COUNTIF函数功能。
这是分享的第一个Kaggle比赛，也是Kaggle中难度最低的比赛之一，房价预测是一个回归问题，给出了房子的一些特征要求预测房子的价格。本文使用Pytorch构建一个线性模型来完成预测。比赛地址为：我们可以在房价预测⽐赛的⽹⻚上了解⽐赛信息和参赛者成绩，也可以下载数据集并提交⾃⼰的预测结果。该⽐赛的⽹⻚地址是 https://www.kaggle.com/c/house-prices-advanced-regression-techniques 。
探索性数据分析（Exploratory Data Analysis ,EDA）是对数据进行分析并得出规律的一种数据分析方法。它是一个数据试图讲述的故事。EDA是一种利用各种工具和图形技术(如柱状图、直方图等)分析数据的方法。
上次讲了利用Python实现波士顿房价预测的回归模型，这时小明一脸懵逼，心想回归模型是什么鬼？?️？ （咳咳，敲黑板～科普一下，在机器学习中，根据目标变量（因变量）是否是连续值可以分为回归和分类两种
1、使用model_select子模块中的train_test_split函数进行划分
不过，Julia自2009年出现以来，凭借其速度、性能、易用性及语言的互操性等优势，已然掀起一股全新的浪潮。
作者 | June Tao Ching 编译 | VK 来源 | Towards Data Science
在世界杯⚽️期间，想起一个主题，根据往年的球队信息，进行一些分析，如果可以预测今年球队名次更佳（😄美滋滋💯 ）。
k-NN 是一种监督学习算法，全称 K-Nearest Neighbor，中文称之为 K近邻算法。
k-NN (k-nearest neighbor) 由 Cover 和 Hart 于 1968 年提出，属于机器学习算法中的监督学习算法，可以用来解决分类和回归问题。
链接：https://www.jianshu.com/p/ab35ed21df87
可以说，Fastai的出现给Kaggle上很多以迁移学习为主的比赛带来了新的方法，冲击了很多传统框架，因为Fastai的封装更多更详细，使用者更方便。本文以一个简单的分类赛为例，介绍如何在Kaggle中使用Fastai取得不错的成绩。本文只列举代码的细节，主要是Fastai解决视觉问题的Pipeline，具体框架用法不多设计，我的系列博客已经具体讲解了。
作者：Siddharth M翻译：王可汗校对：欧阳锦 本文约1300字，建议阅读6分钟本文教你如何利用LSTM网络预测股价走势，并对开盘和收盘价进行可视化。
现在的天气是一天比一天热，好多人周末休息在家的时候，就会选择点外卖，毕竟出去一趟又晒又热。
各个 tab 下可以查看数据Data、代码编写Notebooks、讨论、排名、比赛规则、队伍
今天我们在进行一个Python数据可视化的实战练习，用到的模块叫做Panel，我们通过调用此模块来绘制动态可交互的图表以及数据大屏的制作，而本地需要用到的数据集，可在kaggle上面获取
随着我们在机器学习、数据建模、数据挖掘分析这条发展路上越走越远，其实越会感觉到特征工程的重要性，平时我们在很多地方都会看到一些很好的特征工程技巧，但是都会是一个完整项目去阅读，虽然说这样子也可以学习挖掘思路，但有的时候浓缩的技巧总结也是十分重要！
随着我们在机器学习、数据建模、数据挖掘分析这条发展路上越走越远，其实越会感觉到机器学习理论知识和特征工程的重要性，这里有两本一位好友整理的学习资料，都是满满干货！分别是《machine learning knowledge》和 《Tips of feature engineering》，全文加起来超过10万字！
作者：俊欣 来源：关于数据分析与可视化 前言 大家好，这里是俊欣，今天和大家来分享几个Pandas方法可以有效地帮助我们在数据分析与数据清洗过程当中提高效率，加快工作的进程，希望大家看了之后会有收获。 首先导入模块和读取数据，这回用到的数据集中有各种各样类型的数据,链接为：https://www.kaggle.com/dgomonov/new-york-city-airbnb-open-data import pandas as pd df = pd.read_csv("AB_NYC_2019.csv")
深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。
这里我们要解决的任务是来自于Kaggle上的一道赛题（https://www.kaggle.com/c/statoil-iceberg-classifier-challenge），简单介绍一下赛题的背景：在加拿大的东海岸经常会有漂流的冰山，这对航行在该海域的船舶造成了很大的威胁。挪威国家石油公司(Statoil)是一家在全球运营的国际能源公司，该公司曾与C-CORE等公司合作，C-CORE基于其卫星数据和计算机视觉技术建立了一个监控系统。Statoil发布该赛题的目的是希望利用机器学习的技术，更准确的及早发现和识别出威胁船舶航行的冰山。
如今，深度学习和机器学习算法正在统治世界。PyTorch是最常用的深度学习框架之一，用于实现各种深度学习算法。另一方面，基于学习的方法本质上需要一些带注释的训练数据集，这些数据集可以被模型用来提取输入数据和标签之间的关系。为了给神经网络提供数据，我们定义了一个数据加载器。
上一个锦囊，分享了给大家通过skew的方法来找到数据集中有数据倾斜的特征（特征锦囊：怎么找出数据集中有数据倾斜的特征？），那么怎么去修正它呢？正是今天要分享给大家的锦囊！
Dataset Search 测试版地址：https://toolbox.google.com/datasetsearch
数据来源:https://www.kaggle.com/c/facebook-v-predicting-check-ins
在非常多的问题中，例如商品推荐数据存储（大量的用户和商品，还有购买金额等信息），金融数据存储（大量的标的，价格等），我们不可避免的都会碰到数据过大的问题，如果对这类数据进行处理显得直观重要，本文我们介绍碰到大数据时，我们采用的四种策略。
在多标签分类问题中，训练集由实例组成，每个实例可以被分配有表示为一组目标标签的多个类别，并且任务是预测测试数据的标签集。例如：
几个月前，我在悉尼参加了一个会议。会上，fast.ai向我介绍了一门在线机器学习课程，那时候我根本没注意。这周，在Kaggle竞赛寻找提高分数的方法时，我又遇到了这门课程。我决定试一试。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
