阿里天池大数据竞赛实战:RF&GBRT 完成过程

一点比赛心得,供不太熟悉Xlab RF和GBRT调用的同学参考,不喜勿喷,大神绕道----------

6月初的时候LR 做到4.9后一直上不去,看群里火热的讨论RF,转而使用RF,几经折腾上手后,在当时的那批对LR来说很好的特征处理下,结果F1只有3.5左右,心灰意冷。。。然后又看到火热讨论GBRT,再转gbrt,刚上手,效果和RF差不多,看到别的同学直接从LR转到RF和GBRT都效果好很多,那个急啊,然后又是考试周,就一直拖拉到6月下旬,终于下定决心重新做一遍,因为gbrt训练时间比较长,且RF和GBRT对特征的效果相当,RF预测时间相对较短一些,便重新做RF,慢慢的有效果了,停止了F1终于开始往上涨:4.9->5.16->5.66...最近开始再添加特征,相信还会有提升,下面把我们的RF和GBRT的训练和预测方法大概讲一下(主要以截图为主)

1、Xlab GBRT上手

准备

训练的特征表gbrt_offline_section_one_24格式为:user_id,brand_id,feature1,feature2...Label

见下图:

1.2 、建立特征稀疏表,为训练做准备

特征稀疏表可直接在Xlab由原始特征表转换得到,截图如下

进入普通表转稀疏矩阵界面后,在选择列里填上: user_id对应的列号(表默认从0列开始),brand_id对应的列号,以及想要使用的众多特征对应的列号(不需要填写标签对应的列号!!!);然后在输出表里填上转换成的稀疏矩阵:gbrt_offline_section_one_24_1;如下图

1.3 、GBRT训练

利用训练的特征表gbrt_offline_section_one_24,进行GBRT训练,如下图所以

进入配置界面,勾选训练的标签,稀疏矩阵名处输入刚才转好的稀疏矩阵gbrt_offline_section_one_24_1,模型输出表处填写模型输出表名,参数配置处根据效果进行配置(最开始默认就可以的)。如下图所示:

配置好只好就可以进行训练了,等待训练好之后等到GBRT预测模型:gbrt_offline_section_one_25;

1.4、GBRT预测特征表准备

训练的特征表gbrt_offline_section_two_11格式与训练特征表格式一样,为:user_id, brand_id, feature1, feature2...Label 见下图:

1.5、建立预测稀疏矩阵表

特征稀疏表可直接在Xlab由原始特征表转换得到,方法和原来一样,直接截图如下:

需要注意的是,选择列必须和训练时候一样!!!

1.6、GBRT预测

利用转好的预测稀疏矩阵表gbrt_offline_section_two_11_1进行预测,如下图所示

进入界面如下:model 处填写刚才训练好的GBRT模型表:gbrt_offline_section_one_25;输出表名处填写预测结果输出表 gbrt_offline_section_two_13,然后进行预测,如下图所示:

1.7、GBRT碎碎念

GBRT预测好之后,得到的结果为与原始预测表gbrt_offline_section_two_11一一对应的单列值y_var(搞不懂为什么不提供类似RF那样预测结果追加user_id,brand_id 列),如下图:

所以,还得进行追加ID列,进行zxs_gbrt_offline_section_two_13_1和zxs_gbrt_offline_section_two_11_1两张表的合并,得到类似user_id,brand_id,y_val的表,取阈值进行推荐就可以了,下图为xlab里提供的脚本,追加ID列代码。

另外:附上脚本实现的代码,方便测试:

2、Xlab RF上手

2.1、训练特征表准备

训练的特征表

2.2、RF训练

利用训练的特征表gbrt_offline_section_one_24,进行RF训练,如下图所以

进入配置界面,在Features 框里勾选训练特征以及该特征连续与否,在Class框里目标处选择标签列,模型输出表处填写输出模型表名:gbrt_offline_section_one_25;进一步,点击参数配置选项卡,进入参数配置界面,进行参数配置,我们主要配置了树的棵树,配置好后,进行训练,如下图所示:

训练结束,得到RF模型表gbrt_offline_section_one_25。

2.3、RF预测

利用预测特征表gbrt_offline_section_two_11进行RF预测,如下图所示:

进入配置界面:在结果附加列中添加user_id ,brand_id 列,勾选目标列2分类,主分类为1,这样预测结果表中就会给出预测为1 的概率值,输出信息处填写预测输出表,进行预测,如下图:

预测完成之后即可根据conclusion=1判断预测的正样本,或者根据probability阈值判断(从一位哈工大同学大帅那里得到了如下控制推荐条数的好方法),如下图:

(via: http://blog.csdn.net/u010691898/article/details/37567783)

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2015-07-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏宏伦工作室

动手实现notMNIST数据集图片分类

1553
来自专栏ATYUN订阅号

【机器学习】伪标签(Pseudo-Labelling)的介绍:一种半监督机器学习技术

我们在解决监督机器学习的问题上取得了巨大的进步。这也意味着我们需要大量的数据来构建我们的图像分类器。但是,这并不是人类思维的学习方式。一个人的大脑不需要上百万个...

5156
来自专栏大数据挖掘DT机器学习

用libsvm进行回归预测

作者:kongmeng http://www.cnblogs.com/hdu-2010/p 最近因工作需要,学习了台湾大学林智仁(Lin Chih-Jen)教授...

3267
来自专栏数据科学与人工智能

【Python环境】python的Orange包实现机器学习与数据挖掘的分类问题

Orange是Python语言中一个强大的机器学习包,主要用于实现数据挖掘和有监督的机器学习,包括分类,回归等等。在Orange的使用过程中并不需要用户像使用S...

3179
来自专栏程序生活

斯坦福tensorflow教程(三) 线性和逻辑回归1. 线性回归:根据出生率来预测平均寿命

1437
来自专栏大数据智能实战

基于tensorflow 1.0的图像叙事功能测试(model/im2txt)

作为多模态数据处理的经典,图像自动打标签(图像叙事功能)一直是一项非常前沿的技术,涉及到机器视觉,自然语言处理等模块。 幸运的是,谷歌基于tensorflow将...

4086
来自专栏专知

【前沿】NIPS2017贝叶斯生成对抗网络TensorFlow实现(附GAN资料下载)

导读 今年五月份康奈尔大学的 Andrew Gordon Wilson 和 Permutation Venture 的 Yunus Saatchi 提出了一个贝...

3808
来自专栏云计算教程系列

如何使用Scikit-learn在Python中构建机器学习分类器

机器学习是计算机科学、人工智能和统计学的研究领域。机器学习的重点是训练算法以学习模式并根据数据进行预测。机器学习特别有价值,因为它让我们可以使用计算机来自动化决...

1325
来自专栏深度学习那些事儿

A trap of parameter 'size_average' in pytorch

上面的程序很简单,设定一个loss函数,然后设定一个input和target进行loss计算,然后再backward。

1113
来自专栏量子位

想尝试搭建图像识别系统?这里有一份TensorFlow速成教程

李林 编译整理 量子位 出品 | 公众号 QbitAI 从我们见到的各种图像识别软件来看,机器似乎能认出人脸、猫、狗、花草、各种汽车等等日常生活中出现的物体,但...

4287

扫描关注云+社区