【 SPA大赛 】关于数据挖掘的理论与实践

这是我第一次参加数据挖掘类的比赛,幸运的是在比赛中认识了两个小伙伴,能够一起讨论,分享,得出成果,对我来说,受益良多。下面按照数据挖掘过程:数据预处理、特征工程、模型融合这三个方面进行一下总结,谈谈感受。

1. 数据预处理

1.1 稀疏特征值处理

在初赛中,数据量在百万级别,因为我们没有做稀疏特征值的处理,但是决赛这种数据量增长了10倍的情况下,稀疏特征值的处理能够影响模型的稳定性,因此我们会对特征值中少于10次出现的值进行统一的稀疏标记。

1.2 验证集的构建

构建验证集是比较重要的,目的是为了让线下成果与线上测试集结果保持一致,在几个周冠军的分享中,也都提到了构建有效的验证集的事情。在初赛中,我们直接使用了29号的数据进行验证,因为30号的数据不够准确,直接被我们舍弃了。在决赛中,我们会尝试一下方法进行验证集的构造:使用29号的数据,使用训练数据的10%(10%取决于训练集与测试集的比例)。

2. 特征工程

特征工程一般有三步:找到新的特征,然后进行简单的统计分析,判断其价值,再使用模型判断其是否有用。

2.1 特征产生

在本次比赛中,我们将所有特征分成以下几类:

特征分类

描述

原始特征

数据当中原有的特征

组合特征

将原来特征中的两个或多个直接进行组合

计数特征

主要针对用户,广告进行时序,非时序的统计

先验概率特征

类别特征的历史转化率

gbdt特征

利用gbdt模型对部分特征进行学习,将gbdt结果的叶子特征作为新的特征

在产生新的特征的过程中,如何初步判断特征的有效性是非常重要的,我们可以采取一些初步的统计进行比较,然后进行特征验证。

2.2 特征筛选

在本次比赛中,最让我感到困惑的地方就在于特征筛选,特征筛选的流程一般如下图所示:

在一开始的时候,我们将生面提到的所有特征一股脑的塞到模型里面,尽管有些特征的重要性很低,然而在我们删除了某些特征以后,模型的效果还是下降了,然而我们之后再删除特征的情况下,进行了模型参数的调整,把xgboost训练的树的深度增加以后,线下验证集的效果就提升了很多。其实,现在的特征中有很多冗余的特征,特征之间相关度比较高,目前正在采用单个特征逐步验证的方法,希望能够有所提升。

2.3 特征验证

此次比赛中,我们使用了xgboost来进行特征的验证,之所以选择这个,是因为本次比赛中的很多特征都是类别特征,用传统的lr模型进行分类的话,会遇到onehot维度爆炸的情况,而是用xgboost则比较便捷,并且能够很好的查看特征的重要性。

3. 模型融合

在初赛中,我们并没有采用模型融合的方法,但是“三个臭皮匠,赛过诸葛亮”,据此次比赛中的小伙伴们实践分享,模型融合能够大幅度提升效果。

在类似的比赛中(广告点击率预估),比较常用的模型包括ffm,ftlr,xgboost,这些模型在各个优胜大佬们的分享中都起到了很大作用,值得尝试一下。模型融合方法有简单的平均,均值平均,或者是stacking等,初步的计划是使用不同的模型进行训练,然后讲给结果进行stacking。

参加这次比赛,能让我将理论与实践相结合,是一次很不错的经历。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

窦凯丽的专栏

1 篇文章1 人订阅

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏技术翻译

深度学习和神经网络的六大趋势

神经网络的基本思想是模拟计算机“大脑”中的多个相互关联的细胞,这样它就可以从环境中学习、识别不同的模式,并做出与人类相似的决定。

1321
来自专栏IT大咖说

百度:深度学习模型设计的经验分享

内容来源:2018 年 05 月 18 日,百度资深研发工程师刘凡平在“百度深度学习公开课·杭州站:AI工程师的快速进阶之路”进行的《深度学习模型设计经验分享》...

581
来自专栏机器之心

机器学习系统性能不尽人意?吴恩达教你如何选择改进策略

3017
来自专栏新智元

OpenAI概念学习新模型:学会概念仅需5次示范,实现跨领域概念迁移

衡量是否达到人类智能,涉及由有限的经验,通过抽象推理和规划、类比推理、创造性问题解决和语言能力的概括,从而将经验整合到概念中,将概念作为理解和推理的基本架构。

843
来自专栏人工智能

机器学习系统性能不尽人意?吴恩达教你如何选择改进策略

选自towardsdatascience 作者:Kritika Jalan 机器之心编译 参与:陈韵竹、路雪 搭建机器学习系统好几周,性能却不尽如人意?Krit...

1847
来自专栏专知

36页最新《深度学习在推荐系统上的应用》综述论文,209篇参考论文

【导读】随着在线信息量的不断增长,推荐系统已成为克服此类信息过载的有效策略。鉴于其在许多网络应用中的广泛采用,以及其改善与过度选择相关的许多问题的潜在影响,推荐...

1212
来自专栏磐创AI技术团队的专栏

10000+谷歌员工学过的谷歌内部图像分类课程公开了!

1857
来自专栏机器学习算法与Python学习

机器学习(36)之协同过滤典型算法概述【精华】

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 前言 推荐算法具有非常多的应用场景和...

4066
来自专栏AI科技评论

干货 | UT Austin博士生沈彦尧:基于深度主动学习的命名实体识别

沈彦尧基于亚马逊实习项目延伸探讨了主动学习在深度学习中的应用与思考,并分享了多篇深度主动学习的 ICLR,ICML 文章。

942
来自专栏大数据文摘

LeCun、Bengio、Hinton三巨头曾合体,Nature发文综述深度学习(论文精华)

2054

扫码关注云+社区