个性化推荐系统(二)---构建推荐引擎

  当下推荐系统包含的层级特别的多,整个线上推荐系统包含:最上层线上推荐服务、中层各个推荐数据召回集(数据主题、分类池子)、底层各种推荐模型。

        推荐系统介入线上各种业务,推荐系统当下已经介入内容方面:文章、问答、评论等各个业务系统,商品sku:纯商品、消息push、素材,混合多个业务同时推荐。如此多得业务每个业务开发一套相似的代码也是可以的但缺点是投入极大,并且每个业务代码都差不多,对大家能力提高也很不友好,开发推荐引擎就是一件既能提升大家技术水平,又能很好的应对各个推荐频道快速发展。

        推荐引擎是一定要搞得了,业务发展极快,哪个业务都要接入个性化推荐。构建推荐引擎没什么好探讨的了,现在需要思考和探讨的是怎么构建推荐引擎。

        从哪个角度思考呢?杉枫是从个性化推荐系统、广告投放系统、搜索引擎三个既存在相似又有差异的系统着手思考的。搜索引擎有极好的开源实现以及大量的架构分享文章,确定从搜索引擎入手,借鉴搜索引擎打造属于我们自己推荐引擎。

       有了搜索引擎可以借鉴,但推荐系统虽然像搜索引擎,但毕竟不是搜索,推荐比搜索多得是,召回流程更多、更广泛,并且需要召回的范围是基于用户画像来构建的,搜索核心是输入词与文章之间的匹配程度,搜索引擎核心到今天依然是,在搜索架构基础上需要扩展的是增加召回流程以及召回次数,后边再根据召回集拉取特征集进行打分排序。

        整个推荐引擎核心流程就是第一步拉取类别召回集,线上服务收到用户请求,根据用户请求拉取主题、标签、素材、品类召回集,再根据当前召回集拉取偏好、相似召回集,完成第一步类别拉取,构建类别过滤集合包含但不仅仅是已购买、已曝光、已点击,其中每种过滤集合都包含实时、离线,对类别召回集进行过滤。

       第二步根据已拉取类别召回集,拉取素材召回集,例如:文章、sku等等,构建素材过滤集合,已购买、已曝光、已点击等等。通过过滤集合过滤素材召回集。

       第三步如是策略算法,根据策略对类别、品牌、品类进行隔断,提升用户体验,对结果进行返回。另外一种是基于当下机器学习、深度学习进行CTR打分预估。这种场景下就要根据素材,拉取几十个维度的特征,将特征实时传入模型进行点击量预估,根据机器学习模型、深度学习模型实时打分,对素材进行排序,并对排序结果进行类别、品牌、品类进行隔断,隔断的目的提升用户展现时的体验,至于为什么隔断?可以想象一下如果今日头条一次刷新给你推得内容全是手机、或是淘宝下拉给你返回全是笔记本,种种情况下一定会让你抓狂的。

        第四步每个业务拉取的集合均不相同,需要每个召回集合都是可以通过配置平台灵活配置的。机器学习、深度学习模型通过模型管理平台进行管理,实现对于模型的动态加载、模型灵活动态更新。隔断策略平台配置化,能够按每个业务定制灵活配置策略。

        通过以上这些服务、配置化、平台初步实现一般推荐引擎,从而使大部分业务不用每次去重复开发一次相似又有差异的代码,阶段性提升小组每个人的技术水平。

        个性化推荐是一个正在蓬勃发展的技术,推荐引擎会不断吸收内部、外部,以及其他领域的结果不断进行完善。

         非偏好用户怎么进行推荐、热门集合、通用集合、实时新闻构建等,后续会写篇文章详细介绍下。

   微信搜索:debugme123

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

在图片中加入噪点就能骗过Google最顶尖的图像识别AI

25830
来自专栏携程技术中心

涨姿势 | App定位和地图的那些坑

开发App时会遇到各种坑,本文分享我们在iOS/Android系统中定位和地图中遇到的坑,以及携程App的解决方案。 定位 定位即获取用户当前经纬度,iOS平台...

78160
来自专栏FreeBuf

在图片中加入噪点就能骗过Google最顶尖的图像识别AI

近期,一群来自华盛顿大学网络安全实验室(NSL)的计算机专家发现,恶意攻击者可以欺骗Google的CloudVision API,这将导致API对用户提交的图片...

221100
来自专栏嵌入式程序猿

安全实验,且行且注意

对于嵌入式工程师来说,经常要做实验,接触电学,被电过的工程师应该不在少数,曾经跟几个同事聊天,谈到这个问题,都反映被电过,有的被220V电...

38070
来自专栏数说工作室

懂点硬件 | AlphaGo、图像搜索、街景......背后都有它的影子:TPU

去年,谷歌曾在I/O开发者大会上透露了一款名为TPU的芯片,全称Tensor Processing Unit 张量处理器,是不是有点眼熟?(谷歌推出的机器学习框...

32250
来自专栏程序员宝库

百度跨平台 AI 推理加速引擎 -- Anakin

AI技术包含训练和推理两个阶段。推理阶段的性能好坏既关系到用户体验,又关系到企业的服务成本,甚至在一些极端应用上(比如无人驾驶)直接关系到个人生命财产安全。目前...

22040
来自专栏AI研习社

如何用TensorFlow快速搭建神经网络?来看看DeepMind新开源工具Sonnet!

去年 DeepMind 作出决定,将全部研究搬到 TensorFlow 框架上进行。 近一年时间过去,回头来看,DeepMind 认为这项选择十分正确——许多模...

37590
来自专栏新智元

专访田渊栋 | Torch升级版PyTorch开源,Python为先,强GPU加速

【新智元导读】 PyTorch今天发布,这是一个支持强大的 GPU 加速的张量计算(类似numpy),构建基于 tape 的 autograd 系统的深度神经...

45180
来自专栏机器人网

【回顾】2017年最受欢迎的十大机器学习Python库

2017 年即将结束,又到了总结的时刻。本文作者把范围限定为机器学习,盘点了 2017 年以来最受欢迎的十大 Python 库;同时在这十个非常流行与强大的 P...

32380
来自专栏技术翻译

用于Web开发的前5个机器学习框架

目前,机器学习是软件开发中最热门的趋势之一。许多分析师甚至认为,机器学习将彻底改变几个程序的Web开发过程,包括Web和移动应用程序。

6000

扫码关注云+社区

领取腾讯云代金券