专栏首页IT大咖说自主研发、不断总结经验,美团搜索推荐机器学习平台

自主研发、不断总结经验,美团搜索推荐机器学习平台

内容来源:2018 年 5 月 26 日,美团点评技术专家杨一帆在“饿了么技术沙龙·第25弹【搜索推荐】”进行《Why WAI: 美团点评搜索推荐机器学习平台》演讲分享。IT 大咖说(微信id:itdakashuo)作为独家视频合作方,经主办方和讲者审阅授权发布。

阅读字数:3308 | 9分钟阅读

摘要

本次分享主要介绍如何从机器学习实践过程中不断总结经验,搭建集数据处理、特征工程、模型训练、打分预测、实时监控、在线学习等步骤为一体的机器学习平台WAI,以及该平台如何赋能业务不断优化搜索推荐用户体验。

获取嘉宾演讲视频及PPT,扫一扫下方二维码即可。

What

什么是机器学习

机器学习本质上是计算机模拟人类学习行为从数据中提取发现知识结构获取新的知识和技能,并通过迭代的方式改善自身性能。机器学习有几个比较典型的类别,面临一个问题的时候可以根据该问题特性、样本属性或样本量等来决定其归属于哪类机器学习范畴以及对应模型。

美团点评的机器学习应用大部分还是围绕业务来开展,包括搜索推荐、金融、外卖、打车、广告等。

机器学习通用流程

机器学习整个流程包含几个部分。数据准备部分涉及到数据收集清洗,质量探测和特征工程;模型训练部分包括选择合适的模式和计算资源,模型上线之后进行定期更新;模型评估部分主要查看各个特征的重要度和离线指标,有条件的话还要做线上的近线评估;线上部署后自行选择打分方式,并支持平滑的模型切换以及AB实验;效果监控方面最好能做到实时监控,给出打分解释,也方便进行在线学习。这一整套流程仅有简单的5步,但内部有很多细节需要处理。

什么是WAI

WAI全称为workbench of AI,它是点评搜索团队自主研发的系统,可以一站式的托管机器学习流程,能够通过可视化拖拽配置,支持开发自定义组件,对标业界先进平台,比如阿里PAI。目前(截止到演讲时间)WAI平台上实验数近一百五,运行记录破五千,托管了包括点击率预估、文本处理、图片识别等各种训练目标的任务,公司内部推广进行中。

Why

流派对比

机器学习系统可以分为平台派和工具派。

平台派典型的代表有PAI和WAI,它们的定位是用来托管完整的机器学习流程,赋能所有业务接入AI的能力,特点在于交互性强,通过简单拖拽就能完成配置,流程清晰所见即所得。采用一站式托管,覆盖从离线训练到线上部署和监控的完整流程。

工具派定位是预先定义开发机器学习库,输入参数直接就能使用,重点关注如何优化模型训练性能,比如如何进行超大规模特征模型训练。

这两个流派能很好的结合起来,比如平台可以将工具视作底层提交的任务类型。

机器学习痛点

以下是我们在平时的机器学习实践中总结的一些痛点。

  • 业务应用门槛高,普通的业务很难搭建起整套系统。
  • 训练流程维护困难。一般大家都是通过脚本来维护训练流程,相互之间无法借鉴,如果相关人员离职部分工作可能会丢失。另外流程的各步骤割裂,数据获取成本高,且执行过程无法控制,试错成本也很高。
  • 计算资源对接不便。比如我们公司有多个计算集群,每个集群的对接方式都不相同。也无法灵活切换计算资源,每个团队资源的分配额度相对固定。
  • 复用借鉴能力弱。业务特征无法共享,数据处理和特征生成逻辑无法相互借鉴。
  • 业务差异导致重复建设。

针对这些痛点我们也提出了解决方案,包括一站式托管完整流程,将整个流程可视化,做到灵活控制,屏蔽底层集群对接和资源调配细节,集中管理特征和模型,统一特征服务和模型打分逻辑。

How

系统架构

上图是我们平台的系统架构,从底层往上分别是计算层、框架层、数据算法层、服务层、应用层。计算层关注于数据平台多种计算能力集成,以及屏蔽使用细节降低对接成本。框架层封装了多种框架包,实现了按需对接。数据算法层支持完整的pipeline流程,封装了特征处理体系和一些模型优化手段。服务层拥有统一的特征服务,并且封装好了打分逻辑,有完善的监控机制。

流程实现

这张图展示的是离线层和近线层在模型训练的各个步骤中具体负责的内容。首先是数据管理,离线层会通过数据预处理生成一系列的数据集合,包括存放特征的特征池、用于训练的样本集、待预测的数据集。近线层一方面拿到离线特征池进到特征服务,另一边直接对实时流进行处理生成实时特征和实时样本。

模型训练步骤中离线层就是传统的训练过程,近线层会用实时样本和特征服务进行模型的在线学习和动态更新。

模型评估阶段离线层离线评估完后会直接进入模型仓库,方便复用。线上的模型评估一方面会使用模型仓库中的模型在真正上线生效之前进行预上线,另一边会对线上实时生效的模型进行实时评估。

部署打分方面,离线层支持直接进行批量预测。线上层通过模型加载从特征服务获取特征进行实时预测。

效果监控方面有各种监控告警,还支持结果解释。

下面会详细介绍下每一个步骤的具体情况。

数据管理

我们目前已支持几种常见的数据收集方式,包括SQL读取、文件上传、目录指定等。采样过滤方面支持随机采样、加权采样、分层采样。分布探索和缺失填充是常用的统计分析方式。

特征工程方面有一套特征的处理算子,实现了特征解析、组合、变换功能,它是基于已有特征简单配置上线新的特征,对于未支持的复杂操作我们也提供了自定义的算子开发接口。

统一特征服务这块一方面支持统一特征读取接口,方便各方调用。另一方面还支持统一入库方式,实现特征共享。一致性保障上主要基于这几点。首先特征在获取过程中落地日志,离线训练的时候可以直接取日志,保证了离线获取到的特征一定是在当时线上排序的时候模型所用到的特征。其次不同业务使用统一特征,保证数据一致。另外还支持实时特征和实时统计特征。

模型训练

模型训练上支持常规的分类、聚类、回归、深度模型,其中深度模型包括DNN、Deep&Wide、CNN、LSTM+CRF等。为方便使用我们还提供了任务的拷贝修改,以及执行记录的完整保存。

配置完成后接下来就是任务运行,为了尽可能的让任务结果符合预期,平台在任务运行的时候会采取各种措施。包括屏蔽任务提交细节,清晰可见的展示任务进展,自动解析拓扑结构,最大化并发执行,还有友好的推送提示。

对于模型的执行控制我们做了如下优化:

1、支持小数据量试运行,方便快速纠错。

2、每步运行结果都可查看。

3、支持单步执行、断点重跑等复杂操作。

模型评估

离线评估的常见指标ROC/PR/AUC/GAUC/MAP/NDCG都会以图表的形式展现,包括特征的重要度。近线评估支持模型预上线和多模型并行打分,通过打分和用户的实际反馈可以预估出上线之后AUC和MAP大致的表现。

模型部署

模型的部署有几种不同方式。一种是定制加载,它自身封装了打分逻辑,只要是通过本平台训练的模型,通过这种方式都可以实现并行打分,降低整体预测性能。另外就是离线部署和服务化部署。模型更新方面可以直接配置定时替换,或近线评估达到某一阈值再进行替换,还可以在替换的时候指定流量比例进行AB测试。

效果监控

模型上线之后的打分解释我们做了两部分工作。一部分是常规的树模型,可以直观的展现得分曲线图和残差曲线图,能够获取到特征重要度和特征贡献度。另一部分是深度模型,我们会先针对某一个样本的特征值做随机扰动生成一批样本,然后根据这些样本局部拟合出一个线性模型,用线性模型每个特征的权重来解释当前深度模型的打分结果。

实时监控是通过定长滑动窗口对实时日志流不断滚动并进行计算得到线上的实时指标,之所以采用定长窗口是为了保证样本集大小固定。由此获得的指标包括Query维度和样本维度。

规划展望

最后谈一下我们对未来的规划和展望,也是从几个层面出发。

首先是计算层,我们正在和公司数据平台共同建设实现计算资源量的智能调度,自动选择合适的计算资源。框架层方面会集成更多的工具派的机器学习系统,实现一键切换不同框架的功能。数据算法层则是向深度模型结构的可视化,还有自动机器学习的方向发展。服务层也正在考虑模型打分服务化。

以上为今天的分享内容,谢谢大家!

本文分享自微信公众号 - IT大咖说(itdakashuo),作者:杨一帆

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-08-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 2018全球机器学习技术大会40位大神即将开讲!

    ​​​"Can Machine Think?" 1936年阿兰· 图灵提出「图灵机」以及机器具备「思维」的可能性。历经82年,以机器学习为代表的人工智能经过近几...

    活动家
  • 算法开发人员的安身之本:如何将机器学习与各行各业进行深度结合

    近10年来,机器学习发展势头迅猛,被广泛应用于搜索系统,推荐系统、垃圾邮件检索、信用评分、欺诈检测、股票交易、医疗、自动驾驶、人脸识别等多个方面。机器学习所散发...

    AI科技大本营
  • 美团餐饮娱乐知识图谱——美团大脑揭秘

    “ I’m sorry. I can’t do that, Dave.” 这是经典科幻电影《2001: A Space Odyssey》里HAL 9000机器人...

    美团技术团队
  • 深度学习模型实战-深度学习模型在各大公司实际生产环境的应用讲解文章

    仓库地址:https://github.com/DA-southampton/Tech_Aarticle/edit/master/README.md

    致Great
  • 阿里、京东、快手、华为......他们是如何构建一个个推荐系统“帝国”的?

    推荐系统在人们的日常生活中随处可见,成为我们生命中不可或缺的一部分。作为当今应用最为广泛和成熟的 AI 技术之一,它是信息生产者、传播者与用户之间的桥梁,可以让...

    AI科技大本营
  • 美团餐饮娱乐知识图谱——美团大脑揭秘

    大家好,我是本公众号的主持人,美团技术团队的程序员鼓励师美美。今天是感恩节,我们特别感谢读者朋友们的一路相伴,感恩有你。文末还有我们的感恩福利呦,欢迎领取~

    美团技术团队
  • CIKM 2020 | 一文详解美团6篇精选论文

    CIKM是信息检索、知识管理和数据库领域中顶级的国际学术会议,自1992年以来,CIKM成功汇聚上述三个领域的一流研究人员和开发人员,为交流有关信息与知识管理研...

    美团技术团队
  • SDCC 2015算法专场札记:知名互联网公司的算法实践

    【编者按】11月21日,为期三天的SDCC2015中国软件开发者大会成功闭幕,主办方总计邀请了95余位演讲嘉宾,为参会者奉献了10个主题演讲,9大技术专场论坛(...

    CSDN技术头条
  • BDTC 2015之机器学习关注:金榕、漆远、余轶南的分享,百度、阿里、滴滴、微博的实践

    用户1737318
  • 机器之心年度奖项Synced Machine Intelligence Awards正式发布

    机器之心
  • 【大讲堂专属福利】DAMS峰会:数据治理、中台、AIOps、混沌工程、DataOps、机器学习,以及大型银行的金融科技实践

    近年来,因数据衍生、关联、发展起来的技术层出不穷,我们不断探索数据从资源转化为资产的方法,又面临在数据共享和互通中引发的安全隐患;我们迫切希望进行企业核心数据...

    腾讯大讲堂
  • 前百度主任架构师创业,两年融资千万美元,他说AI新药研发将迎来黄金十年

    要在AI医疗领域创业,扎实的AI技术和对医疗行业背景的了解缺一不可,这也是许多创业者想要在此掘金却望而止步或中道崩溃的原因。但是,也总有一些开拓者能不断探索前路...

    AI科技大本营
  • 哈工大-腾讯联合实验室亮相国际学术会议COLING 2016

    小Q在COLING: COLING,The International Conference on Computational Linguistics,国际计算...

    腾讯高校合作
  • 腾讯AI Lab与哈工大SCIR共探NLP前沿

    3月1日至3日,哈工大-腾讯联合实验室自然语言处理专题交流活动在哈尔滨工业大学顺利进行。腾讯AI Lab及腾讯高校合作团队一行九人访问哈尔滨工业大学,与社会计算...

    腾讯高校合作
  • 【重磅】腾讯任命张潼为AI Lab主任,“无”恩达时代BAT人工智能三国杀(投票)

    【新智元导读】腾讯 AI Lab实验室今天迎来一名重量级人物,人工智能领域的顶尖科学家张潼将出任腾讯人工智能实验室第一负责人。张潼此前曾IBM研究院研究员、雅虎...

    新智元
  • 业界 | 前微软亚洲研究院资深研究员梅涛博士加盟京东,担纲计算机视觉与多媒体研发

    机器之心
  • 【驯服BAT】中国新一代技术巨头TMD利用AI崛起虎口夺食

    作者:裴七 弗朗西斯 小芹 【新智元导读】自中国拥抱互联网时代以来,催生了三大互联网公司BAT,它们主宰着中国的技术领域,也在挑战国际巨头。而现在,中国正在目睹...

    新智元
  • AI in 美团:吃喝玩乐背后的黑科技

    很多人都会发现日常生活已经越来越离不开美团了,这个互联网平台涵盖了吃、住、行、游、购、娱……能帮我们做很多事情,非常接地气。黄色的美团外卖骑手,橙色的摩拜单车,...

    AI科技大本营
  • 专访阿里研究员袁全:从 AI 玩《星际争霸》谈认知智能的现状与趋势

    用户1737318

扫码关注云+社区

领取腾讯云代金券