关于电商推荐系统的一点小思考~

分享嘉宾:张小凡

内容来源:作者授权

出品社区:DataFun

注:欢迎转载,转载请注明出处。

一、概述

从18年11月开始,接触推荐系统半年左右时间,对推荐系统有了基本的认识。相比于之前做的 nlp 任务,推荐系统复杂更多,数据来源更复杂、pipeline 更复杂、场景更复杂、业务更复杂、指标更复杂。在 NLP 部分的时候,绝大多数时间花在了数据-模型以及其 match 上。而在推荐里由于系统复杂度提升,多了更多的功夫在系统架构、代码重构、快速部署上,工程侧的东西在复杂系统中显得更为重要。秉着精益算法的思想,延续之前的系列,这里我结合自己的经验,给大家分享下如何快速的搭建一个不错 baseline 的推荐系统。请各位吸取精华、去其糟柏即可。

二、问题描述

今日主角:电商推荐系统

问题定义:为用户提供其最有可能产生交互的商品 ( 点击、购买、分享 )

问题举例:

  • 活动页场景:淘宝、京东各电商首页、各个活动界面的商品推荐
  • 购物中后置链路:购物车商品推荐、订单页商品推荐

技术价值:作为电商主要的业务场景,通过算法实现千人千面,由货找人,最大化商业指标

三、推荐 pipeline

据我说知,电商推荐系统大的框架如下,为了方便说明问题,我画了个图来解释下。

  • trigger:触发阶段,该阶段是推荐的源头,可以是用户历史浏览商品、用户偏好。通常这些数据直接从日志获取,加以简单处理。
  • match:召回阶段,通过触发器,我们拿到一些商品或者触发源 ( 类目、品牌 ) 后,我们去关联一些商品。这里比较重要的一部分就是通过商品-商品的关联。也就是推荐里面协同过滤发挥作用的地方。
  • rank:排序阶段,召回后的商品量很大,我们可以通过一些 ctr ( 点击率 ) 、cvr ( 转化率 ) 模型对 topN 进行精细化排序。
  • rerank:重排序,多为全局性考虑,需要对结果再次排序。比如类目打散、品牌打散,所以很多时候也叫打散阶段。

推荐pipeline

好叻,根据上图简单介绍下推荐流程:

  • trigger:一个用户浏览一件连衣裙。
  • match:看了这件连衣裙的用户也看了很多别的连衣裙。
  • rank:对关联出来的 n 件商品进行点击率预估,此处加入个性化。
  • rerank:对时间因素、品牌因素进行一些大散,避免品牌过于集中等。

四、推荐 pipeline 的思考

这里针对每个阶段进行一个细节讲解,指出个人觉得重要的地方。

思考1:关于 trigger 选取

  • 电商场景中 trigger 的时效性很重要,用户越近操作的商品对于商业指标越好。
  • trigger 多样性很重要,多路 trigger 能提升丰富度。
  • trigger 中重点关注用户直接操作过的商品。

思考2:关于是否需要 trigger

  • 向量化的思路席卷各个领域,user-vector item-vector 的匹配可以替换现有的 trigger+ 协同过滤的方案。该方案目前没有进行尝试,不确实是否是个比较好的 baseline ,一方面 vector 的 graph embedding 不一定能训练出来,中间不可控因素较多,在初期建议以可控的方式去搭建系统。
  • 全向量化无疑是个值得探索的路子,更优雅。据说效果也更好,后续有积累后再分享。

思考3:协同过滤 user to item VS item to item

电商场景 item to item 可能更为合适:商品变化小、用户变化快;item-item 比 user to item 的结果上兴趣度更集中。

思考4:协同过滤的优劣

  • 协同过滤是推荐的老姜了,协同的效果也非常 ok ,比内容匹配的指标要好很多。协同的力量是强大的。
  • 劣势一般都来自冷启动,所以一定要搭配内容匹配去辅助冷启动。
  • 匹配能力:深度学习来后,很多会进行高阶匹配,相比之下协同过滤也是有劣势的,不过这里很细了,不多说,更多会在 rank 做这部分改进。

思考5:rank VS match

  • match 和 rank 都有打分功能,为什么要单独弄 rank ,大部分原因还是来自复杂度,如果复杂度允许的情况下,当然全局打分最好了。目前阿里在这个上面有出文章:任意深度学习+树状全库检索 https://zhuanlan.zhihu.com/p/35030348
  • 通常 match 量比较大,进行一个粗略的打分,然后对较为匹配的商品再给 rank 精细打分。

思考6:rank 模型

  • 关于模型,这可以单开一篇了,这里以 wdl 做 baseline 即可。
  • 做 ctr 、cvr 的话 ESMM 是一个非常好的通用架构,个人觉得该模型泛化能力强,可以尽早入手。
  • 关于深度模型:DeepFM DCN DIN DIEN 这里模型太多,需要积累一段时间后才需要在 rank 阶段深耕,前期没必要在这里投入太多。

思考7:rerank VS rank

  • 打散阶段更多是一个全局的考虑,目前的 rank 模型都是单个打分,没有全局打分的,全局信息目前来看包括时效性、兴趣集中度、业务逻辑等。
  • 现在有些研究直接对序列进行打分,主要问题还在复杂度上,目前没有看到特别好的案例,所以基本还是分开这两个步骤,理论上可以统一的吧。

五、推荐业务思考

思考1:推荐场景差异度巨大

  • 推荐活动场景、购物前置链路、购物后置链路差异巨大,需要差异化对待。
  • 购物前置链路可能逛的需求更高,后置链路买的需求更高。
  • 应该为每个场景培养用户心智,而不是大一统模型。

思考2:如何发现迭代点

任何看上去不合理的地方都是优化点,能做到像阿里这样的不多,很多公司的推荐、搜索仔细看都是能看出问题的,这里就是迭代点。

思考3:迭代流程

  • 发现一个迭代点,找到可能有增益的地方,如果可以的话,事先评估下收益。
  • 开发,评估,验证和思路是否不符。
  • 如果没有提升:当所有可被证明的思路被证明后,仍然无提升,可以终止本次迭代,得出结论。
  • 通常对一个不合理的地方进行迭代,都是可以有提升的,不要轻易放弃。

六、推荐系统思考

思考1:数据很重要,数据很重要,数据很重要!!!

同样是数据,相比于 NLP 中的数据,推荐的数据来源很杂,可控度不是那么高,里面噪声多,需要更细的去查,在做任何模型的时候要全面检查数据各个指标。分布是否合理,数值范围,默认值,数据规模,数据源,是否重复等。走模型前对数据一定要心里有数。

思考2:探案一样进行探索

一个迭代动作做完之后,如果没有效果或者负向效果,仔细去对比每个步骤,找到可以说服自己的理由。如果找不到就更细化的去分析,分用户,分不同 trigger 去分析。就像探案一样,推荐很多时候解释性还是非常强的,环环相扣,不要因为系统复杂有蒙混的心理。解释不通的地方通常可能会有惊喜。

思考3:快速部署

推荐系统比较复杂,搭建更快的部署方案能让开发时间大大缩减。把系统做好后,算法同学更好的集中精力处理问题,而不是花费大量的时间在部署上。

思考4:关于深度学习

做好 wdl 可能对于很多场景来说已经够了。做好细节可能比搞个高大上的模型有效的多,系统初期不建议花很多时间追高大尚的模型。

思考5:关于离线评估

推荐很多时候是做 ctr 、cvr 等指标。所以线下不好评估。但是找到一个合适的指标非常重要。比如 auc 、gauc ( 按用户级别平均 ) 、xgboost 里面的特征重要性。比如常用的 auc 可能就不是个好指标,因为用户等级不同,点击率分布就不同,随便一个模型就能把 auc 提升,但平均 auc 则不尽然。所以一个合适的离线指标很重要。有的时候需要和线上多次对比才能找到一个合适的指标。

思考6:推荐系统高性价比部分

  • 复用组件:组件化能方便开发。
  • AB测试:有效的线上测试是迭代的基础。
  • 监控:对核心指标监控能让我们及时发现问题。

本文首发地址:

https://www.jianshu.com/p/fb99db68860f

原文发布于微信公众号 - 小小挖掘机(wAIsjwj)

原文发表时间:2019-06-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券