第一章 问题建模
最近学习了用户画像方面的内容,本文主要是学习《美团机器学习实践》的读书笔记。什么是用户画像?用户模型和用户画像的区别。...用户画像数据挖掘画像数据挖掘架构用户画像标签体系,从开发实现,通常分为两大类:经过策略统计分析(通过统计);经过机器学习模型预测。...机器学习模型有特征库后,就需要对标签做机器学习建模。需要用算法完成:特征选择,模型训练,效果评估,预测。模型训练常用工具:spark MLib,sklearn,XGBoost,Tensorflow等。...以美团推荐业务为例:推荐业务根据每个美团用户的画像进行个性化推荐,展示改用户可能感兴趣的团购单或者店铺。...以美团推送业务为例:推送业务从美团海量用户中筛选出目标用户人群 ,向他们发送优惠券或者促销通知。这其中重要环节就是通过画像搜索人群。
第七章 评论挖掘 第八章 O2O场景下的查询理解和用户引导 第九章 O2O场景下排序的特点 第十章 推荐在O2O场景中的应用 第十一章 O2O场景下的广告营销 第十二章 用户偏好和损失建模 第十三章 深度学习概述...第十四章 深度学习在文本领域中的应用 第十五章 深度学习在计算机视觉中的应用 第十六章 大规模机器学习 第十七章 特征工程和实验平台
第七章 评论挖掘 第八章 O2O场景下的查询理解和用户引导 第九章 O2O场景下排序的特点 第十章 推荐在O2O场景中的应用 第十一章 O2O场景下的广告营销 第十二章 用户偏好和损失建模 第十三章 深度学习概述...第十四章 深度学习在文本领域中的应用 第十五章 深度学习在计算机视觉中的应用 第十六章 大规模机器学习 第十七章 特征工程和实验平台 原文链接:http://www.cnblogs.com/xing901022
美团技术解析 ? × 全文共计6532字 预计阅读时间17分钟 简介:何仁清,美团配送AI方向负责人。...本文重点解读美团在即时配送领域机器学习技术的最新进展,构建对线下真实世界各种场景的感知能力,还原并预测配送过程各个细节。...为了满足这些要求,我们建设了美团“超脑”配送系统,包含以下几个方面: 大数据处理和计算能力 算法数据和计算平台:包括实时特征计算、离线数据处理、机器学习平台等。...机器学习技术挑战 如何构建一个在真实物理世界运行的AI系统,就是我们最大的挑战。...通过机器学习方法,我们已经将外卖配送几乎所有环节都进行了精准预估预测。
本文介绍了美团网推荐系统的构建和优化过程中的一些做法,包括数据层、触发层、融合过滤层和排序层五个层次,采用了HBase、Hive、storm、Spark和机器学习等技术。...美团作为国内发展较快的O2O网站,有着大量的用户和丰富的用户行为,这些为推荐系统的应用和优化提供了很好的条件。本文由美团技术团队成员撰写,介绍其推荐系统的构建和优化过程中的一些做法。 框架 ?...排序层主要是利用机器学习的模型对触发层筛选出来的候选集进行重排序。 同时,对与候选集触发和重排序两层而言,为了效果迭代是需要频繁修改的两层,因此需要支持ABtest。...用户主动行为数据记录了用户在美团平台上不同的环节的各种行为,这些行为一方面用于候选集触发算法(在下一部分介绍)中的离线计算(主要是浏览、下单),另外一方面,这些行为代表的意图的强弱不同,因此在训练重排序模型时可以针对不同的行为设定不同的回归目标值...只是根据算法的历史效果决定算法产生的item的位置显得有些简单粗暴,同时,在每个算法的内部,不同item的顺序也只是简单的由一个或者几个因素决定,这些排序的方法只能用于第一步的初选过程,最终的排序结果需要借助机器学习的方法
美团正在告别美团,将目光投向了全新的发展战局之中。对于美团来讲,这是一个新的开始,这同样是一次顺势而为。因为只有这样,美团才会和那些曾经和它一起成长起来的玩家们一道共赴一个全新的发展新纪元。...一 以往我们所认识的美团,更多地是和外卖一词联系在一起的,提及美团,在很多情况下,便会提及「外卖」的字眼。这是由美团本身的发展历程所决定的。...以往,提及美团,我们看到的更多的是,它在流量的获取上,规模的做大上所做的诸多动作,比如,美团与大众点评的合并;比如,美团收购摩拜单车等,都是这一现象的直接体现;现在,提及美团,沃恩看到的更多的是,它在科技研发上的投入...从美团今年以来的表现来看,我们同样可以非常明显地感受到,美团与科技之间的连接同样是越来越强了,科技给美团带来的改变越来越多了,科技让美团开始有了更多的想象空间。...结语 透过美团的财报,我们可以非常明显地感受到,美团在这条路上走得愈发坚定。这样一条路,便是美团开始告别以往的自己,投身到新科技的星辰大海之中。
本文介绍了美团网推荐系统的构建和优化过程中的一些做法,包括数据层、触发层、融合过滤层和排序层五个层次,采用了HBase、Hive、storm、Spark和机器学习等技术。...美团作为国内发展较快的O2O网站,有着大量的用户和丰富的用户行为,这些为推荐系统的应用和优化提供了很好的条件。本文由美团技术团队成员撰写,介绍其推荐系统的构建和优化过程中的一些做法。 1、框架 ?...排序层主要是利用机器学习的模型对触发层筛选出来的候选集进行重排序。 同时,对与候选集触发和重排序两层而言,为了效果迭代是需要频繁修改的两层,因此需要支持ABtest。...1、用户主动行为数据记录了用户在美团平台上不同的环节的各种行为,这些行为一方面用于候选集触发算法(在下一部分介绍)中的离线计算(主要是浏览、下单),另外一方面,这些行为代表的意图的强弱不同,因此在训练重排序模型时可以针对不同的行为设定不同的回归目标值...只是根据算法的历史效果决定算法产生的item的位置显得有些简单粗暴,同时,在每个算法的内部,不同item的顺序也只是简单的由一个或者几个因素决定,这些排序的方法只能用于第一步的初选过程,最终的排序结果需要借助机器学习的方法
本文将基于美团到店餐饮技术部的精细化数据运营实践,介绍 R 在数据分析与可视化方面的工程能力,希望能够抛砖引玉,也欢迎业界同行给我们提供更多的建议。...R 在美团数据产品中的落地实践 美团到店餐饮数据团队从 2015 年开始逐步将 R 作为数据产品的辅助开发语言,截至 2018 年 8 月,已经成功应用在面向管理层的日周月数据报告、面向数据仓库治理的分析工具...下图是美团到店餐饮数据团队在数据治理过程中,使用 R 开发的 ETL 间依赖关系可视化工具: ?...作者简介 喻灿,美团到店餐饮技术部数据系统与数据产品团队负责人,2015 年加入美团,长期从事数据平台、数据仓库、数据应用方面的开发工作。...同时也在美团研发和商业分析团队中积极推动 R 的发展。
数据和特征决定了机器学习的上限,而模型和算法只是无限逼近这个上限而已。 基于大量数据的简单模型胜于基于少量数据的复杂模型;更多的数据胜于聪明的算法,而好的数据胜于多的数据。...概念 从数学角度讲,特征工程就是将原始数据空间变换到新的特征空间,或者说是换一种数据的表达方式,在新的特征空间中,模型能够更好地学习数据的规律。...+r_{f_kf_1}})} \Big] 其中, 封装方法 由于过滤方法与具体的机器学习算法相互独立,因此过滤方法没有考虑选择的特征集合在具体机器学习算法上的效果。...与过滤方法不同,封装方法直接使用机器学习算法评估特征子集的效果,它可以检测出两个或者多个特征之间的交互关系,而且选择的特征子集让模型的效果达到最优。...嵌入方法 将特征选择嵌入到模型的构建过程中,具有封装方法与机器学习算法相结合的优点,而且具有过滤方法计算效率高的优点,嵌入方法是实际应用中最常见的方法,弥补了前面两种方法的不足。
不管是工业界还是学术界,机器学习都是一个炙手可热的方向,但是学术界和工业界对机器学习的研究各有侧重,学术界侧重于对机器学习理论的研究,工业界侧重于如何用机器学习来解决实际问题。...我们结合美团在机器学习上的实践,介绍机器学习在解决工业界问题的实战中所需的基本技术、经验和技巧。...下文分为1)机器学习的概述,2)对问题建模,3)准备训练数据,4)抽取特征,5)训练模型,6)优化模型,7)总结 共7个章节进行介绍。 机器学习的概述: 什么是机器学习?...为什么要用机器学习解决问题?...对问题建模 本文以DEAL(团购单)交易额预估问题为例(就是预估一个给定DEAL一段时间内卖了多少钱),介绍使用机器学习如何解决问题。
、推荐、广告、风控、智能调度、语音识别、机器人、无人配送等多个领域,帮助美团3.2亿消费者和400多万商户改善服务和体验,帮大家吃得更好,生活更好。...另外,业界第一部全面讲述互联网机器学习实践的图书《美团机器学习实践》也即将上市,敬请期待。...美团海量的用户与商家数据,广告复杂的场景下众多的影响因素,为深度学习方法的应用落地提供了丰富的场景。本文将结合广告特殊的业务场景,介绍美团搜索广告场景下深度学习的应用和探索。...二、从机器学习到深度学习的模型探索 2.1 场景与特征 美团搜索广告业务囊括了关键词搜索、频道筛选等业务,覆盖了美食、休娱、酒店、丽人、结婚、亲子等200多种应用场景,用户需求具有多样性。...玉林,2015年5月加入美团,主要从事搜索广告排序相关的工程优化工作。 王新,2017年4月加入美团,主要从事GPU集群管理与深度学习工程优化的工作。
在美团商家版中,美团为商家搭建的数据指标体系,很好的指导了商家的经营发展方向以及提供经营状况概览。 本文通过体验美团商家版经营数据子功能,对美团商家版数据指标体系搭建的情况做出一个概述。...美团商家版的店铺子功能下,有一个经营数据子版块,针对商家经营过程中的数据指标进行统计。 以下是数据指标搭建的具体概况,经营数据一共分为五个板块依次呈现,分别为总览、营业、流量、顾客和商品。...06 竞品分析 饿了么作为外卖市场上美团的绝对竞品,在数据指标体系搭建上值得对比。...美团商家版通过搭建为商家经营服务的数据指标体系,让商户更好的了解自己的经营状况;从而对于自身的发展以及服务做出相应的改变,也更加容易成为产品的忠实使用者。
KDC是对该协议中第三方认证服务的一种具体实现,一直以来都是美团点评数据平台的核心服务之一,在Hive、HDFS、YARN等开源组件的权限认证方面有着广泛的应用。...优化之前,线上KDC服务启动的单进程;为最低风险的完成美团和点评数据的融合,KDC中keytab都开启了PREAUTH属性;承载KDC服务的部分服务器没有做RAID。...使用BDB提供的工具,查看美团点评数据平台KDC服务的BDB缓存命中率为99%,如图7所示。 ? 图6 无RAID多KDC进程服务器磁盘IO ?...图7 美团点评KDC缓存命中率 KDC AS处理能力在多进程做RAID条件下,有无preauth属性,KDC服务是否有瓶颈?如果有在哪里?...SRE组,离线计算组SRE负责人,2015年11月加入美团点评。
不管是工业界还是学术界,机器学习都是一个炙手可热的方向,但是学术界和工业界对机器学习的研究各有侧重,学术界侧重于对机器学习理论的研究,工业界侧重于如何用机器学习来解决实际问题。...我们结合美团在机器学习上的实践,进行一个实战(InAction)系列的介绍(带“机器学习InAction系列”标签的文章),介绍机器学习在解决工业界问题的实战中所需的基本技术、经验和技巧。...下文分为1)机器学习的概述,2)对问题建模,3)准备训练数据,4)抽取特征,5)训练模型,6)优化模型,7)总结 共7个章节进行介绍。 ---- 机器学习的概述: 什么是机器学习?...为什么要用机器学习解决问题?...---- 对问题建模 本文以DEAL(团购单)交易额预估问题为例(就是预估一个给定DEAL一段时间内卖了多少钱),介绍使用机器学习如何解决问题。
总第543篇 2022年 第060篇 美团图灵机器学习平台在长期的优化实践中,积累了一系列独特的优化方法。...总结 导语 图灵平台是美团履约平台技术部2018年开始自研的算法平台,提供模型全生命周期的一站式服务,旨在帮助算法同学脱离繁琐的工程化开发,把有限的精力聚焦于业务和算法的迭代优化中。...随着美团图灵机器学习平台的发展,图灵技术团队在内存优化、计算优化、磁盘IO优化三个方面沉淀了一系列性能优化技术。我们将以连载的方式为大家揭秘这些技术。...业务背景 图灵平台主要包括机器学习平台、特征平台、图灵在线服务(Online Serving)、AB实验平台四大功能,具体可参考《一站式机器学习平台建设实践》以及《算法平台在线服务体系的演进与实践》这两篇博客...作者简介 琦帆、立煌、兆军等,均来自美团到家事业群/履约平台技术部。 ---------- END ----------
同时各种开源深度学习框架层出不穷,美团集团数据平台中心也迅速地搭建了GPU计算平台,提供GPU集群,支持TensorFlow、MXNet、Caffe等框架,提供数据预处理、模型训练、离线预测、模型部署等功能...美团海量的用户与商家数据,广告复杂的场景下众多的影响因素,为深度学习方法的应用落地提供了丰富的场景。本文将结合广告特殊的业务场景,介绍美团搜索广告场景下深度学习的应用和探索。...结合美团多品类的业务特点及O2O模式独特的需求,着重介绍几个业务场景以及如何刻画: 用户的消费场景 “附近”请求:美团和大众点评App中,大部分用户发起请求为“附近”请求,即寻找附近的美食、酒店、休闲娱乐场所等...但是在美团等电商的业务场景下,输入的数据形态非常丰富,有很多业务数据有明确的物理含义,因此一部分人工特征工程也是必要的,提前对信息做一个合理的抽取表示,再通过神经网络学习进行更好的信息融合和表达。...在美团搜索广告的场景下,用户的实时行为有非常强的指代性,但是以原始形态直接送入神经网络,会损失掉很多信息,因此我们对它进行了不同方式描述和表示,再送入神经网络之中进行信息融合和学习。
如果你想学习互联网金融的技术体系,亲历互联网金融业务的爆发式增长,如果你想和我们一起,保证业务产品的高质量,欢迎加入美团金融工程质量组。...本文根据美团高级测试开发工程师勋伟在美团第44期技术沙龙“千万级日活App的质量保证”的演讲整理而成。主要介绍了美团智能支付业务在稳定性方向遇到的挑战,并重点介绍QA在稳定性测试中的一些方法与实践。...背景 美团支付承载了美团全部的交易流量,按照使用场景可以将其分为线上支付和智能支付两类业务。...线上支付,支撑用户线上消费场景,处理美团所有线上交易,为团购、外卖、酒店旅游等业务线提供支付能力;智能支付,支撑用户到店消费场景,处理美团所有线下交易,通过智能POS、二维码支付、盒子支付等方式,为商家提供高效...作者介绍 勋伟,美团高级测试开发工程师,金融服务平台智能支付业务测试负责人,2015年加入美团。
背景 美团点评作为全球最大的生活服务平台,承接超过千万的POI,服务于数量庞大的活跃用户。
领取专属 10元无门槛券
手把手带您无忧上云