Kaggle搭积木式刷分大法: LB 0.11666（排名前１５％）

專 欄

❈本文作者：王勇，目前感兴趣项目商业分析、Python、机器学习、Kaggle。17年项目管理，通信业干了11年项目经理管合同交付，制造业干了6年项目管理：PMO,变革，生产转移，清算和资产处理。MBA, PMI-PBA, PMP。❈

我参加了两个Kaggle 比赛，一个是Titanic (分类），另一个是HousePrice(回归）。分别获得了前7% （花了约3个月业余时间）和前13%排名（花了约2个月业余时间）的成绩。由于刚刚上手5个月机器学习，其中花了很多时间作重复和无用功。

本文的目的主要是分享和探讨：

一、我总结的搭积木式刷分大法。（即，利用Pandas 的Pipe 和 Sklearn的 Pipeline)

二、特征工程中做法的自我理解。（例如：为什么要Log transfer，正态化等）

三、将自己碰到的问题（特征工程导致的过拟合）分享出来，求高人解惑

1、首先，重要的事情说三遍。

特征工程、特征工程、特征工程

机器学习的目的是已知的数据（包含X(特征）, Y（标签）)，采用一定算法，训练出某模型。用这个模型对新的数据进行预测 ，到预测的结果（标签）。

对于，已知的数据以及新的数据中的(特征）都需要通过特征工程处理。才能去训练模型，或者进行预测。

采用不同特征工程方法处理过的数据，训练时得出的模型不一样，调参的结果不一样，预测的结果更是有不同的结果。 因此在机器学习中，特征工程往往花掉80%时间，而模型训练之用到了20%的时间。

我在第一个Titanic 比赛中花了大量的时间，学习和测试各种调参，集成方法。 在House Price 比赛中也试图采用同样的策略，结果效果不是很好。往往结果会互相影响，甚至有的时候有机器学习是玄学的感觉。

重新审视了之后，我将整个House Price 的机器学习分成两个大步骤 ：即：

1 . 特征工程（只使用Pandas, StatsModel，scipy,numpy, seaborn等库）

1.1 输入： 原始Train, Test 数据集，将原始Train和Test 合并成一个数据集combined

1.2 处理： Pandas Pipe

根据各种可能和各种特征工程方法定义各种函数（输入combined, 输入pre_combined)

用PandasPipe 将这个函数像搭积木一样连在一起。用列表按序存放这些函数）

例如： pipe_basic = [pipe_basic_fillna,pipe_fillna_ascat,pipe_bypass,pipe_bypass,pipe_log_getdummies,pipe_export,pipe_r2test]

这个列表就是，1. 基本的填充空值, 2. 转换数据类型， 3. 空白函数（为了对齐美观而以，啥事不做），4. log 转换，类别数据哑元处理， 5. 导出到hdf5文件， 6.检查R2值

利用各种排列组合，或者各种参数组合，可以产生丰富的pipes，每一个pipes都可以产生一个预处理过的文件。

1.3 输出：某文件夹下 的N个预处理过的hdf5文件。 针对各种特征工程的排列组合，或者是Kaggle上面的各种新奇的特征工程方法。

在特征工程处理完后， 已经产生了大量的预处理数据。 和这些预处理数据的R2值[0~1]。如果R2值过低，例如小于80%，那么可以考虑直接删除。因为预处理的数据中的X只能解释80%的Y值。R2值太低，没有进一步处理的价值。

2. 机器学习阶段（训练和产生模型，目标是尽可能获得尽可能低的RMSE值（针对训练数据），同时要具有范化的能力（针对测试数据））

第一步，建立基准，筛选出最好的一个（几个）预处理文件（随机数设成固定值）

第二步，针对筛选出来的预处理文件，进行调参。找到最合适的几个算法（通常是RMSE值最低，且不同Kernel）（随机数设成固定值）

第三步，用调好的参数来预处理文件中的Traing数据的做average 和stacking.

第四部，生成csv文件，提交到Kaggle 看看得分如何。

我采用上述方法后，基本上获得的LB分数就比较稳定向上，避免了之前的忽上忽下。而且避免了大量的重复工作。