【SPA大赛】分享推荐类大数据的相关经验

很荣幸能够在腾云阁分享技术经验。

本人很幸运在刚刚结束的京东算法大赛中取得第四的成绩,腾讯广告点击大赛目前排名前五十,在比赛过程中学到了许多知识,同时也有一些经验分享给大家。后面也有队友李强在腾讯社交广告高校算法大赛中的分享。

首先,推荐类的赛题,成绩的关键在于特征的挖掘,因此,在比赛的前期,耐心分析数据,寻找特征是非常必要的。有些选手感觉特征挖掘难以下手,这里我一般从三个方面挖掘特征:数据分析、业务理解、特征交叉。数据分析的重要性不必多提,业务理解也能帮助更好地挖掘特征,比如京东比赛预测用户买不买商品的问题,我就从用户的活跃度、购买差异、购买能力、购买习惯等方面考虑,挖掘出的特征是非常有用的。

谈到提取特征,就不得不提特征选择的问题,有些选手单纯的根据基于树模型的特征重要性删选特征,我觉得这样是不太可取的,一方面,有的强特征相关性较强,这样如果其中一个特征重要性认为很强,其他的特征重要性就会变得很低。另外一方面有些不太重要的特征结合起来也会变成比较强的特征,因此不要很随意地抛弃不太重要的特征。不过,特征重要性可以作为特征挖掘方向的参考,比如可以通过重点研究重要性比较强的特征,找一些相类似的特征,同时也可以对某些强特征进行有意义的交叉,这样对结果都是有提升的。

另外,特征的设计一定要注意细节问题,有些细节可能直接决定着特征的好坏。

当然啦,做比赛,建立稳定的线下是非常重要的,保证线下与线上同增同减,能够帮助我们突破线上提交次数的限制,通过线下成绩的反馈,能够更好地确定特征地好坏,从而可以指引我们挖掘特征地方向。很多选手表示线下并不准,有两种原因:一种是选择的验证集不合适,一种是没有进行交叉验证,解决了这两个原因,一般来说线下还是相对稳定的。

最后,在这里对新手提一些小小的建议:首先,笨鸟先飞,既然是新手,就要早早开始参加比赛,前期竞争相对小,容易出成绩,这时如果有了好的排名,与自己排名相近的参赛队员组队,是非常不错的选择, 通过交流,能够让自己更快地学习进步。因此,我鼓励新手能够组队参加比赛,一起学习交流。新手千万不要因为自己没参加过就觉得自己不行,盲目地否认自己,我觉得,大部分赛题,对新手来说还是比较友好的,赛题比较贴近现实,更容易挖掘特征,赛程持续时间较长,给了新手充分学习的时间。我相信,只要努力去做,静下心认真学,新手也能取得不错的成绩。

一次比赛,确实能够让我们学习到非常多的知识,这对我们以后,都是非常有帮助的,而一起奋斗过的队友,也会建立深厚的友谊,这也是一笔宝贵的财富。

目前,我的队友李强在腾讯社交广告高校算法大赛取得不错的成绩,他也有一些针对此次比赛的经验要分享:

  • 线下训练集测试集划分 因为数据带有时序,那么可以用时序分割。另一种方法是挑选train数据集中的小部分作为线下测试。这里可以通过提交来验证线上线下的结果是否一致,只要同增减就可以。
  • 特征工程 比赛的关键在于特征工程,我们验证一个特征好坏的时候可以直接在线下预测集中评估,如果加入这个特征线下验证集合有所提高,那么这个这个特征是比较可信的(建立在线上线下同增减的情况下),还可以直接算特征和label的相关性来确定特征的好坏。
  • 特征的穿越 很多小伙伴往往会遇到一个情况,线下加入一个特征导致loss无限接近于0或者线下提高很大线上爆炸的情况,这时候往往是你用了未来的信息,或者用到了和label直接相关的特征,如转化时间。
  • 模型的调参 比赛前期,不建议频繁的调各种参数,一方面,调参带来的提升仅仅是小量的提升,取胜的关键不在这,另一方面,频繁根据线上成绩更改各种参数,会让自己的结果过拟合线上,这样的结果在换榜时是非常不利的。这里我选用的是固定变量法,就是固定其他参数,然后通过CV寻找最优的参数取值。如在xgboost中我们可以固定其他变量,然后可以通过cv求得最佳的迭代次数。

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【Bengio一人署名论文】提出“意识RNN”,用4页纸进军通用AI

【新智元导读】深度学习三巨头之一的Yoshua Bengio昨天在arXiv上传论文,署名只有他一人。Bengio在文中提出了一种“意识先验”,认为在现有模型和...

1894
来自专栏新智元

线性模型可解释一定比DNN高?UCSD科学家:大错特错!

【新智元导读】人们对深度学习模型的真正运行机制还远远没有完全了解,如何提高预测模型的“可解释性”成了一个日益重要的话题。近来的一篇论文讨论了机器学习模型的“可解...

382
来自专栏机器之心

学界 | 定量研究:当前机器学习领域十大研究主题

选自arXiv 作者:Patrick Glauner等 机器之心编译 参与:韩小西、李泽南 机器学习的发展日新月异,目前最热门的研究方向是什么?近日,来自卢森堡...

2393
来自专栏灯塔大数据

深度|一篇文章搞懂人工智能、机器学习和深度学习之间的区别

2015年11月9日,Google发布人工智能系统TensorFlow并宣布开源。这两年在不管在国内还是在国外,人工智能、机器学习仿佛一夜之前传遍大街小巷。 概...

35510
来自专栏Spark学习技巧

Emdedding向量技术在蘑菇街推荐场景的应用

1393
来自专栏AI研习社

深度学习如何影响运筹学?

本文为知乎答主,运筹学博士郝井华在「深度学习如何影响运筹学?」问题下的答案,AI 研习社获其授权转载。 这个问题比较前沿一些,原来看起来相关性不那么强的技术领域...

2694
来自专栏人工智能

网络入侵检测的机器学习算法评估与比较

摘要:入侵检测传统方法的准确性和有效性已经无法满足大数据时代的需求,机器学习算法日趋成为主流。现主要研究侧重于机器学习算法中的支持向量机,但其也有自身的缺点。因...

3498
来自专栏计算机视觉战队

视频中的深度学习

视频分级介绍 视频分析是计算机视觉领域中的一项重要研究内容。它借助计算机和视频采集设备,在无人监督的情况下,自动完成人类视觉的部分功能。对人类视觉皮层机理的研...

3706
来自专栏计算机视觉战队

深度学习的昨天、今天和明天

机器学习是人工智能领域的一个重要学科。 自从20世纪80年代以来, 机器学习在算法、理论和应用等方面都获得巨大成功。2006年以来, 机器学习领域中一个叫“ 深...

3224
来自专栏人工智能快报

全球顶尖人工智能科学家回答网友提问

2016年1月20日,全球最顶尖的人工智能科学家之一、加拿大蒙特利尔大学教授Yoshua Bengio在知名问答社区Quora针对网友的提问给出了自己的一些见解...

3697

扫码关注云+社区