【SPA大赛】分享推荐类大数据的相关经验

很荣幸能够在腾云阁分享技术经验。

本人很幸运在刚刚结束的京东算法大赛中取得第四的成绩,腾讯广告点击大赛目前排名前五十,在比赛过程中学到了许多知识,同时也有一些经验分享给大家。后面也有队友李强在腾讯社交广告高校算法大赛中的分享。

首先,推荐类的赛题,成绩的关键在于特征的挖掘,因此,在比赛的前期,耐心分析数据,寻找特征是非常必要的。有些选手感觉特征挖掘难以下手,这里我一般从三个方面挖掘特征:数据分析、业务理解、特征交叉。数据分析的重要性不必多提,业务理解也能帮助更好地挖掘特征,比如京东比赛预测用户买不买商品的问题,我就从用户的活跃度、购买差异、购买能力、购买习惯等方面考虑,挖掘出的特征是非常有用的。

谈到提取特征,就不得不提特征选择的问题,有些选手单纯的根据基于树模型的特征重要性删选特征,我觉得这样是不太可取的,一方面,有的强特征相关性较强,这样如果其中一个特征重要性认为很强,其他的特征重要性就会变得很低。另外一方面有些不太重要的特征结合起来也会变成比较强的特征,因此不要很随意地抛弃不太重要的特征。不过,特征重要性可以作为特征挖掘方向的参考,比如可以通过重点研究重要性比较强的特征,找一些相类似的特征,同时也可以对某些强特征进行有意义的交叉,这样对结果都是有提升的。

另外,特征的设计一定要注意细节问题,有些细节可能直接决定着特征的好坏。

当然啦,做比赛,建立稳定的线下是非常重要的,保证线下与线上同增同减,能够帮助我们突破线上提交次数的限制,通过线下成绩的反馈,能够更好地确定特征地好坏,从而可以指引我们挖掘特征地方向。很多选手表示线下并不准,有两种原因:一种是选择的验证集不合适,一种是没有进行交叉验证,解决了这两个原因,一般来说线下还是相对稳定的。

最后,在这里对新手提一些小小的建议:首先,笨鸟先飞,既然是新手,就要早早开始参加比赛,前期竞争相对小,容易出成绩,这时如果有了好的排名,与自己排名相近的参赛队员组队,是非常不错的选择, 通过交流,能够让自己更快地学习进步。因此,我鼓励新手能够组队参加比赛,一起学习交流。新手千万不要因为自己没参加过就觉得自己不行,盲目地否认自己,我觉得,大部分赛题,对新手来说还是比较友好的,赛题比较贴近现实,更容易挖掘特征,赛程持续时间较长,给了新手充分学习的时间。我相信,只要努力去做,静下心认真学,新手也能取得不错的成绩。

一次比赛,确实能够让我们学习到非常多的知识,这对我们以后,都是非常有帮助的,而一起奋斗过的队友,也会建立深厚的友谊,这也是一笔宝贵的财富。

目前,我的队友李强在腾讯社交广告高校算法大赛取得不错的成绩,他也有一些针对此次比赛的经验要分享:

  • 线下训练集测试集划分 因为数据带有时序,那么可以用时序分割。另一种方法是挑选train数据集中的小部分作为线下测试。这里可以通过提交来验证线上线下的结果是否一致,只要同增减就可以。
  • 特征工程 比赛的关键在于特征工程,我们验证一个特征好坏的时候可以直接在线下预测集中评估,如果加入这个特征线下验证集合有所提高,那么这个这个特征是比较可信的(建立在线上线下同增减的情况下),还可以直接算特征和label的相关性来确定特征的好坏。
  • 特征的穿越 很多小伙伴往往会遇到一个情况,线下加入一个特征导致loss无限接近于0或者线下提高很大线上爆炸的情况,这时候往往是你用了未来的信息,或者用到了和label直接相关的特征,如转化时间。
  • 模型的调参 比赛前期,不建议频繁的调各种参数,一方面,调参带来的提升仅仅是小量的提升,取胜的关键不在这,另一方面,频繁根据线上成绩更改各种参数,会让自己的结果过拟合线上,这样的结果在换榜时是非常不利的。这里我选用的是固定变量法,就是固定其他参数,然后通过CV寻找最优的参数取值。如在xgboost中我们可以固定其他变量,然后可以通过cv求得最佳的迭代次数。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

电脑识别图像的极限在何处?

23111
来自专栏PPV课数据科学社区

技术帖:解析今日头条公开的推荐算法

1月11日,北京今日头条总部,一场问诊算法、建言算法的“让算法公开透明”分享会正在进行,雷锋网(公众号:雷锋网)观察到,包括BAT等在内的诸多科技公司算法工程师...

6029
来自专栏机器之心

前沿 | 上交大&南科大最新PRL论文:成功用机器学习实现量子态分类器

据介绍,目前学术界对量子机器学习这一交叉领域包括两方面研究:一方面是利用量子力学的相干叠加或者纠缠等特性,构建能有实现加速的量子机器学习算法,如量子版本的 PC...

1130
来自专栏机器之心

机器学习中的数学,这是一份新鲜出炉的热门草稿

作者:Marc Peter Deisenroth、A Aldo Faisal、Cheng Soon Ong

1134
来自专栏携程技术中心

干货 | 助理来也胡一川:深度学习在智能助理中的应用

作者简介 胡一川,来也联合创始人和CTO。来也专注于智能对话技术,让每个人拥有助理。此前,胡一川联合创立了影视推荐引擎"今晚看啥"并被百度收购,后加入百度任资深...

3827
来自专栏机器之心

演讲 | Yann LeCun 现身上海交大,对话中国人工智能科技新锐

机器之心报道 参与:高静宜 7 月初,Facebook 人工智能研究院院长、纽约大学终身教授 Yann LeCun 受邀现身上海交通大学闵行校区,围绕 Deep...

2884
来自专栏邵宗文的专栏

机器学习实战

本次很荣幸能邀请到邵宗文为我们带来《机器学习实战》主题分享。他有10多年运营开发、海量运维和架构规划经验,精通海量服务的架构设计和自动化运维建设,目前专注于大数...

2801
来自专栏机器学习算法与Python学习

爆料 | 解析阿里妈妈如何将深度学习应用在广告、推荐及搜索业务

2796
来自专栏人工智能头条

面试了8家公司,他们问了我这些机器学习题目......

2266
来自专栏小小挖掘机

推荐系统遇上深度学习(十四)--强化学习与推荐系统的强强联合!

之前学习了强化学习的一些内容以及推荐系统的一些内容,二者能否联系起来呢!今天阅读了一篇论文,题目叫《DRN: A Deep Reinforcement Lear...

1573

扫码关注云+社区