【SPA大赛】数据处理经验以及特征选择方法

零 自我介绍

我们是TripleLift队,来自中国科学院大学。

第一次接触这样的比赛,前期花了很多时间来尝试错误的处理方式,特征筛选方式,靠了很多拍脑门决定的以及突发奇想的特征拿到了初赛66名。想一想真是全看运气。

不过,也是有很多特征是经过一个很煎熬的过程,直到某一刻才发现的。比如我在这篇文章中重点介绍的两个特征,posflag,stay_time.

一 . 特征概述

对特征工程的理解

1.特征工程是成功的99%。

2.单特征得分很高的,并不一定和其他特征很搭。

3.特征工程本质上是求特征的最优组合,是一个搜索问题。

So,你得先有特征才行。

制造交叉特征

1.这两个特征相关性不能太强,相关性太强,做了等于白做。比如第一个特征为x,第二个特征为y,假设相关性太强以至于y=f(x),那无论你怎么交叉,你都是在用x这一个属性。

2.尽量避免出现(a,b),(b,c)这样的交叉特征组合,保证每个特征只有一个交叉特征,原理同1。

3.二阶的交叉特征其实FFM,FM都可以自动化生成,但其实对解决问题来说,并不一定有好效果。

So,你的交叉特征只是一部分。

由专业知识提取的特征

1.这才是解决问题的核心。

2.在这个回流率预估的情境下,又知道广告位价钱不等,所以我们可以先考虑一下,广告位有什么特点。

3.为什么会有推广计划,推广计划决定了对象,那么推广计划对于ROI之外的回流率肯定很低吧?

4.有一个很重要的,但是又常常被忽略的特征,停留时间。

二 .特征详解

铺垫了这么多,其实就是为了讲这俩特征。

  • posflag

还记得那天我刚加进去二群(一群满了),抱着投桃报李的心态,这个特征我在二群提出来。。。可惜太年轻了。

当天我的QQ快爆炸了,都是来要特征的。之后我在群里开源了,结果他们不会用。。。orz。。。。

这个特征就是贝叶斯平滑后的positionID的回流率。

曾经有一段时间,我统计了positionID的回流率,但是点击次数有的特别少,还有的竟然点击1转化1,这个要是当特征,简直爆炸。

我想,次数多的比较可信,但是次数低的怎么处理呢,而且次数低的在未来出现的次数会很多,又不能删掉,咋办呢?

于是我找到了一种方式:贝叶斯平滑

很明显,处理之后不会出现转化率为1或0的情况了,而且转化率连续性更好了。

这个使得点击次数多的,转化率几乎不变,次数少的,转化率大变。- -

其实这个特征基于一个假设。

我先统计了所有的训练集然后放到训练集上当特征,其实这时候应该是过拟合的,but,线上提高了两个千分点。

我思考了一下,可能positionID所代表的广告位其实无论放啥,平均回流率都差不多,所以你统计的越多反而越准。

  • stay_time

stay_time=对同一用户,记录与上次点击的时间差,如果是第一次点击,置为-1

这个特征一开始我觉得应该不会有用,因为这个数不准。

BUT,它解决了连点好几次的问题啊,这个就是trick。

复赛开始了,看到这个数据集大小我已经瑟瑟发抖,有空再继续更新 吧。。。To be continued。。。

.

.

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

晁涌耀的专栏

1 篇文章1 人订阅

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据科学与人工智能

【数据科学】数据科学书上很少提及的三点经验

【编者按】本文作者指出了关于数据科学书上很少提及的三点经验:模型评价方法是关键,特征提取是根本,模型选择而非数据集规模最费时间。文章指出,处理上万维的特征和几十...

22810
来自专栏ATYUN订阅号

【学术】神经网络正在学习“记忆”和“忘记”

记忆是一种珍贵的资源,所以人类已经能够记忆重要的技能,忘记无关紧要的技能。现在机器也被设计成这样。 ? 深度学习正在改变我们使用和思考机器的方式。在各种任务中,...

2714
来自专栏PPV课数据科学社区

收藏 | 27个机器学习小抄(附学习资源)

本文多资源,建议收藏。 本文针对机器学习基本概念及编程和数学基础,为你列出相应的学习资源。

1041
来自专栏AI科技大本营的专栏

AI 每周必读:The Ones

【AI100 导读】本周的 The Ones 为大家推荐了一篇 GAN 在 Chatbot 领域应用的 paper,一个基于 matlab 的深度学习框架 Li...

3078
来自专栏PPV课数据科学社区

技术 | 从算法原理,看推荐策略

协同过滤推荐算法应该算是一种用的最多的推荐算法,它是通过用户的历史数据来构建“用户相似矩阵”和“产品相似矩阵”来对用户进行相关item的推荐,以达到精准满足用户...

2336
来自专栏量子位

绿幕通通扔掉 ੧ᐛ੭ | 谷歌AI实时「抠」背景

大场面的科幻动作片,拍摄过程肯定离不开绿幕。 ? 制作过程更加磨人。 抠绿+后期要做到完美(空间位置关系、光影关系),不仅要求细心,还得堆大量时间。 为了让影视...

3254

流行的深度学习库

哪些是值得学习的、好的专业库,而哪些又是应该避免的边缘项目,我们应该如何区分。

1717
来自专栏人工智能头条

关于数据科学,书上不曾提及的三点经验

1112
来自专栏张耀琦的专栏

【机器学习入门系列】 Error 的来源:偏差和方差

本文讨论 error 的两个来源:偏差和方差。并提出估测偏差和方差的具体方法。由此对比说明偏差和方差对真正 error 的影响。对于不同的 error 原因有不...

3840
来自专栏雪地二货笔记库

什么是数据科学

在搞懂什么是大数据前,先来了解下什么是数据科学。 因为在个人眼里所谓的大数据其实是数据科学的一个高阶状态。

411

扫码关注云+社区