前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Kaggle搭积木式刷分大法: LB 0.11666(排名前15%)

Kaggle搭积木式刷分大法: LB 0.11666(排名前15%)

作者头像
Python中文社区
发布2018-02-01 11:09:17
7040
发布2018-02-01 11:09:17
举报
文章被收录于专栏:Python中文社区

專 欄

❈本文作者:王勇,目前感兴趣项目商业分析、Python、机器学习、Kaggle。17年项目管理,通信业干了11年项目经理管合同交付,制造业干了6年项目管理:PMO,变革,生产转移,清算和资产处理。MBA, PMI-PBA, PMP。❈

我参加了两个Kaggle 比赛,一个是Titanic (分类),另一个是HousePrice(回归)。分别获得了前7% (花了约3个月业余时间)和前13%排名(花了约2个月业余时间)的成绩。由于刚刚上手5个月机器学习,其中花了很多时间作重复和无用功。

本文的目的主要是分享和探讨:

一、我总结的搭积木式刷分大法。(即,利用Pandas 的Pipe 和 Sklearn的 Pipeline)

二、特征工程中做法的自我理解。(例如:为什么要Log transfer,正态化等)

三、将自己碰到的问题(特征工程导致的过拟合)分享出来,求高人解惑

1、首先,重要的事情说三遍。

特征工程、特征工程、特征工程

机器学习的目的是已知的数据(包含X(特征), Y(标签)),采用一定算法,训练出某模型。用这个模型对新的数据进行预测 ,到预测的结果(标签)。

对于,已知的数据以及新的数据中的(特征)都需要通过特征工程处理。才能去训练模型,或者进行预测。

采用不同特征工程方法处理过的数据,训练时得出的模型不一样,调参的结果不一样,预测的结果更是有不同的结果。 因此在机器学习中,特征工程往往花掉80%时间,而模型训练之用到了20%的时间。

我在第一个Titanic 比赛中花了大量的时间,学习和测试各种调参,集成方法。 在House Price 比赛中也试图采用同样的策略,结果效果不是很好。往往结果会互相影响,甚至有的时候有机器学习是玄学的感觉。

重新审视了之后,我将整个House Price 的机器学习分成两个大步骤 :即:

1 . 特征工程(只使用Pandas, StatsModel,scipy,numpy, seaborn等库)

1.1 输入: 原始Train, Test 数据集,将原始Train和Test 合并成一个数据集combined

1.2 处理: Pandas Pipe

根据各种可能和各种特征工程方法定义各种函数(输入combined, 输入pre_combined)

用PandasPipe 将这个函数像搭积木一样连在一起。用列表按序存放这些函数)

例如: pipe_basic = [pipe_basic_fillna,pipe_fillna_ascat,pipe_bypass,pipe_bypass,pipe_log_getdummies,pipe_export,pipe_r2test]

这个列表就是,1. 基本的填充空值, 2. 转换数据类型, 3. 空白函数(为了对齐美观而以,啥事不做),4. log 转换,类别数据哑元处理, 5. 导出到hdf5文件, 6.检查R2值

利用各种排列组合,或者各种参数组合,可以产生丰富的pipes,每一个pipes都可以产生一个预处理过的文件。

1.3 输出:某文件夹下 的N个预处理过的hdf5文件。 针对各种特征工程的排列组合,或者是Kaggle上面的各种新奇的特征工程方法。

在特征工程处理完后, 已经产生了大量的预处理数据。 和这些预处理数据的R2值[0~1]。如果R2值过低,例如小于80%,那么可以考虑直接删除。因为预处理的数据中的X只能解释80%的Y值。R2值太低,没有进一步处理的价值。

2. 机器学习阶段(训练和产生模型,目标是尽可能获得尽可能低的RMSE值(针对训练数据),同时要具有范化的能力(针对测试数据))

第一步,建立基准,筛选出最好的一个(几个)预处理文件(随机数设成固定值)

第二步,针对筛选出来的预处理文件,进行调参。找到最合适的几个算法(通常是RMSE值最低,且不同Kernel)(随机数设成固定值)

第三步,用调好的参数来预处理文件中的Traing数据的做average 和stacking.

第四部,生成csv文件,提交到Kaggle 看看得分如何。

我采用上述方法后,基本上获得的LB分数就比较稳定向上,避免了之前的忽上忽下。而且避免了大量的重复工作。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2017-11-16,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Python中文社区 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
项目管理
CODING 项目管理(CODING Project Management,CODING-PM)工具包含迭代管理、需求管理、任务管理、缺陷管理、文件/wiki 等功能,适用于研发团队进行项目管理或敏捷开发实践。结合敏捷研发理念,帮助您对产品进行迭代规划,让每个迭代中的需求、任务、缺陷无障碍沟通流转, 让项目开发过程风险可控,达到可持续性快速迭代。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档