专栏首页李智的专栏【SPA大赛】分享推荐类大数据的相关经验
原创

【SPA大赛】分享推荐类大数据的相关经验

很荣幸能够在腾云阁分享技术经验。

本人很幸运在刚刚结束的京东算法大赛中取得第四的成绩,腾讯广告点击大赛目前排名前五十,在比赛过程中学到了许多知识,同时也有一些经验分享给大家。后面也有队友李强在腾讯社交广告高校算法大赛中的分享。

首先,推荐类的赛题,成绩的关键在于特征的挖掘,因此,在比赛的前期,耐心分析数据,寻找特征是非常必要的。有些选手感觉特征挖掘难以下手,这里我一般从三个方面挖掘特征:数据分析、业务理解、特征交叉。数据分析的重要性不必多提,业务理解也能帮助更好地挖掘特征,比如京东比赛预测用户买不买商品的问题,我就从用户的活跃度、购买差异、购买能力、购买习惯等方面考虑,挖掘出的特征是非常有用的。

谈到提取特征,就不得不提特征选择的问题,有些选手单纯的根据基于树模型的特征重要性删选特征,我觉得这样是不太可取的,一方面,有的强特征相关性较强,这样如果其中一个特征重要性认为很强,其他的特征重要性就会变得很低。另外一方面有些不太重要的特征结合起来也会变成比较强的特征,因此不要很随意地抛弃不太重要的特征。不过,特征重要性可以作为特征挖掘方向的参考,比如可以通过重点研究重要性比较强的特征,找一些相类似的特征,同时也可以对某些强特征进行有意义的交叉,这样对结果都是有提升的。

另外,特征的设计一定要注意细节问题,有些细节可能直接决定着特征的好坏。

当然啦,做比赛,建立稳定的线下是非常重要的,保证线下与线上同增同减,能够帮助我们突破线上提交次数的限制,通过线下成绩的反馈,能够更好地确定特征地好坏,从而可以指引我们挖掘特征地方向。很多选手表示线下并不准,有两种原因:一种是选择的验证集不合适,一种是没有进行交叉验证,解决了这两个原因,一般来说线下还是相对稳定的。

最后,在这里对新手提一些小小的建议:首先,笨鸟先飞,既然是新手,就要早早开始参加比赛,前期竞争相对小,容易出成绩,这时如果有了好的排名,与自己排名相近的参赛队员组队,是非常不错的选择, 通过交流,能够让自己更快地学习进步。因此,我鼓励新手能够组队参加比赛,一起学习交流。新手千万不要因为自己没参加过就觉得自己不行,盲目地否认自己,我觉得,大部分赛题,对新手来说还是比较友好的,赛题比较贴近现实,更容易挖掘特征,赛程持续时间较长,给了新手充分学习的时间。我相信,只要努力去做,静下心认真学,新手也能取得不错的成绩。

一次比赛,确实能够让我们学习到非常多的知识,这对我们以后,都是非常有帮助的,而一起奋斗过的队友,也会建立深厚的友谊,这也是一笔宝贵的财富。

目前,我的队友李强在腾讯社交广告高校算法大赛取得不错的成绩,他也有一些针对此次比赛的经验要分享:

  • 线下训练集测试集划分 因为数据带有时序,那么可以用时序分割。另一种方法是挑选train数据集中的小部分作为线下测试。这里可以通过提交来验证线上线下的结果是否一致,只要同增减就可以。
  • 特征工程 比赛的关键在于特征工程,我们验证一个特征好坏的时候可以直接在线下预测集中评估,如果加入这个特征线下验证集合有所提高,那么这个这个特征是比较可信的(建立在线上线下同增减的情况下),还可以直接算特征和label的相关性来确定特征的好坏。
  • 特征的穿越 很多小伙伴往往会遇到一个情况,线下加入一个特征导致loss无限接近于0或者线下提高很大线上爆炸的情况,这时候往往是你用了未来的信息,或者用到了和label直接相关的特征,如转化时间。
  • 模型的调参 比赛前期,不建议频繁的调各种参数,一方面,调参带来的提升仅仅是小量的提升,取胜的关键不在这,另一方面,频繁根据线上成绩更改各种参数,会让自己的结果过拟合线上,这样的结果在换榜时是非常不利的。这里我选用的是固定变量法,就是固定其他参数,然后通过CV寻找最优的参数取值。如在xgboost中我们可以固定其他变量,然后可以通过cv求得最佳的迭代次数。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python-OpenCV人脸检测(代码)

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/...

    李智
  • 斯坦福CS231n - CNN for Visual Recognition(4)-lecture4反向传播

      在神经网络中,对应的是损失函数LL,输入xx包含训练数据和神经网络的权重。比如,损失函数为SVMSVM,输入包括了训练数据xi,yix_i,y_i、权重WW...

    李智
  • 网络基础原理

    2001:0410:0000:0001:0000:0000:0000:45ff/64 压缩格式:2001:410:0:1::45ff/64(以零开头可以省...

    李智
  • 谷歌机器学习白皮书全解析 43条黄金法则(二)

    【AI科技评论按】:此白皮书为谷歌总结的机器学习(ML)最优实践方法,浓缩了其多年技术积累与经验,尤其是 YouTube、Google Play 和 Googl...

    AI科技评论
  • ​特征工程系列:特征构造之概览篇

    关于作者:JunLiang,一个热爱挖掘的数据从业者,勤学好问、动手达人,期待与大家一起交流探讨机器学习相关内容~

    木东居士
  • 特征工程之特征选择

        特征工程是数据分析中最耗时间和精力的一部分工作,它不像算法和模型那样是确定的步骤,更多是工程上的经验和权衡。因此没有统一的方法。这里只是对一些常用的方法...

    刘建平Pinard
  • 【技术分享】推荐系统中的自动化特征工程

    在机器学习的各个子领域中,特征工程都扮演着重要的角色。业界有这么一句话,数据和特征决定了机器学习算法的上限,而模型、算法的选择和优化只是在不断逼近这个上限。通过...

    腾讯智能钛AI开发者
  • 不想累死就来看看 : 特征工程之特征选择

    地址:https://www.cnblogs.com/pinard/p/9032759.html

    机器学习算法工程师
  • 手把手 | 如何用Python做自动化特征工程

    机器学习的模型训练越来越自动化,但特征工程还是一个漫长的手动过程,依赖于专业的领域知识,直觉和数据处理。而特征选取恰恰是机器学习重要的先期步骤,虽然不如模型训练...

    大数据文摘
  • 神盾推荐——离线算法平台

    腾讯QQ大数据

扫码关注云+社区

领取腾讯云代金券