首页
学习
活动
专区
工具
TVP
发布

美团技术团队

我们信仰耐心和坚持的力量,愿意持续去做一些正确、有积累、可能表面看上去不那么重要实则非常关键的事情
专栏作者
518
文章
732621
阅读量
345
订阅数
美团高性能终端实时日志系统建设实践
你是否经常遇到线上需要日志排查问题但迟迟联系不上用户上报日志的情况?或者是否经常陷入由于存储空间不足而导致日志写不进去的囧境?本文介绍了美团是如何从0到1搭建高性能终端实时日志系统,从此彻底解决日志丢失和写满问题的。希望能为大家带来一些帮助和启发。
美团技术团队
2022-12-16
8030
Kafka在美团数据平台的实践
总第526篇 2022年 第043篇 Kafka在美团数据平台承担着统一的数据缓存和分发的角色,随着数据量的增长,集群规模的扩大,Kafka面临的挑战也愈发严峻。本文分享了美团Kafka面临的实际挑战,以及美团针对性的一些优化工作,希望能给从事相关开发工作的同学带来帮助或启发。 1. 现状和挑战 1.1 现状 1.2 挑战 2. 读写延迟优化 2.1 概览 2.2 应用层 2.3 系统层 2.4 混合层-SSD新缓存架构 3. 大规模集群管理优化 3.1 隔离策略 3.2 全链路监控 3.3 服务生命周期
美团技术团队
2022-08-26
5930
美团OCTO万亿级数据中心计算引擎技术解析
美团自研的 OCTO 数据中心(简称 Watt)日均处理万亿级数据量,该系统具备较好的扩展能力及实时性,千台实例集群周运维成本低于10分钟。
美团技术团队
2020-04-27
8700
美团配送数据治理实践
今天,数据资产日益成为企业的核心竞争力。但如果企业在走向数字化过程中遗忘了数据治理,可能再多的投入都会变成一种“徒劳”。
美团技术团队
2020-03-25
1.1K0
OneData建设探索之路:SaaS收银运营数仓建设
在现有大数据平台的基础上,借鉴业界成熟OneData方法论,构建合理的数据体系架构、数据规范、模型标准和开发模式,以保障数据快速支撑不断变化的业务并驱动业务的发展,最终形成我们自己的OneData理论体系与实践体系。
美团技术团队
2019-10-23
1.4K0
美团 R 语言数据运营实战
近年来,随着分布式数据处理技术的不断革新,Hive、Spark、Kylin、Impala、Presto 等工具不断推陈出新,对大数据集合的计算和存储成为现实,数据仓库/商业分析部门日益成为各类企业和机构的标配。在这种背景下,是否能探索和挖掘数据价值,具备精细化数据运营的能力,就成为判定一个数据团队成功与否的关键。
美团技术团队
2019-04-08
9950
UAS:大众点评用户行为系统
随着整个中国互联网下半场的到来,用户红利所剩无几,原来粗放式的发展模式已经行不通,企业的发展越来越趋向于精耕细作。美团的价值观提倡以客户为中心,面对海量的用户行为数据,如何利用好这些数据,并通过技术手段发挥出数据的价值,提高用户的使用体验,是我们技术团队未来工作的重点。
美团技术团队
2019-03-22
1.1K0
美团点评基于 Flink 的实时数仓建设实践
近些年,企业对数据服务实时化服务需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过 Flink 引擎构建实时数据仓库,从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》,对 Flink 和 Storm 两个引擎的计算性能进行了比较。本文主要阐述使用 Flink 在实际数据生产上的经验。
美团技术团队
2019-03-22
1.1K0
大众点评信息流基于文本生成的创意优化实践
美美导读:对于用户来说,大众点评最重要的价值是提供丰富多元化的信息,其中信息流的价值日益凸显。本文主要介绍大众点评信息流内容团队利用文本生成技术在创意优化方向上的一些思考和实践。
美团技术团队
2019-03-21
9610
美团酒旅起源数据治理平台的建设与实践
作为一家高度数字化和技术驱动的公司,美团非常重视数据价值的挖掘。在公司日常运行中,通过各种数据分析挖掘手段,为公司发展决策和业务开展提供数据支持。经过多年的发展,美团酒旅内部形成了一套完整的解决方案,核心由数据仓库+各种数据平台的方式实现。其中数据仓库整合各业务线的数据,消灭数据孤岛;各种数据平台拥有不同的特色和定位,例如:自助报表平台、专业数据分析平台、CRM数据平台、各业务方向绩效考核平台等,满足各类数据分析挖掘需求。早期数据仓库与各种数据平台的体系架构如图1所示:
美团技术团队
2018-12-28
6900
每天数百亿用户行为数据,美团点评怎么实现秒级转化分析?
导读 用户行为分析是数据分析中非常重要的一项内容,在统计活跃用户,分析留存和转化率,改进产品体验、推动用户增长等领域有重要作用。美团点评每天收集的用户行为日志达到数百亿条,如何在海量数据集上实现对用户行为的快速灵活分析,成为一个巨大的挑战。为此,我们提出并实现了一套面向海量数据的用户行为分析解决方案,将单次分析的耗时从小时级降低到秒级,极大的改善了分析体验,提升了分析人员的工作效率。 本文以有序漏斗的需求为例,详细介绍了问题分析和思路设计,以及工程实现和优化的全过程。本文根据2017年12月ArchSumm
美团技术团队
2018-03-29
1.3K0
行进中换轮胎——万字长文解析美团和大众点评两大数据平台是怎么融合的
背景 互联网格局复杂多变,大规模的企业合并重组不时发生。原来完全独立甚至相互竞争的两家公司,有着独立的技术体系、平台和团队,如何整合,技术和管理上的难度都很大。2015年10月,美团与大众点评合并为今天的“美团点评”,成为全球规模最大的生活服务平台。主要分布在北京和上海两地的两支技术团队和两套技术平台,为业界提供了一个很好的整合案例。 本文将重点讲述数据平台融合项目的实践思路和经验,并深入地讨论Hadoop多机房架构的一种实现方案,以及大面积SQL任务重构的一种平滑化方法。最后介绍这种复杂的平台系统如何保证
美团技术团队
2018-03-13
1.1K0
HDFS Federation在美团点评的应用与改进
背景 2015年10月,经过一段时间的优化与改进,美团点评HDFS集群稳定性和性能有显著提升,保证了业务数据存储量和计算量爆发式增长下的存储服务质量;然而,随着集群规模的发展,单组NameNode组成的集群也产生了新的瓶颈: 扩展性:根据HDFS NameNode内存全景和HDFS NameNode内存详解这两篇文章的说明可知,NameNode内存使用和元数据量正相关。180GB堆内存配置下,元数据量红线约为7亿,而随着集群规模和业务的发展,即使经过小文件合并与数据压缩,仍然无法阻止元数据量逐渐接近红线。
美团技术团队
2018-03-12
1.5K0
【沙龙干货】主题三:美团配送智能调度实践
分享内容 ---- 外卖从2013、2014年开始到现在,最近两到三年发展速度非常快,在快速发展过程里边涌现了很多很有难度很新的问题,这个里边订单的调度是比较有难度,也是比较有代表性的一个问题,希望通过今天的分享能让大家对外卖的订单调度问题以及我们的工作有一个比较深入的认识。 美团外卖从2015年初开始决定做配送,从最开始的一到两万单,已经发展到现在的将近300万单,目前需要十万以上的骑手,这个规模相当大。随之而来的一个问题——成本相对比较高,占到整个配送运营80%以上的成本,怎么样让我们的骑手工作效率高,
美团技术团队
2018-03-12
2K0
【技术博客】数据驱动精准化营销在大众点评的实践
精准化营销一直以来都是互联网营销业务在细分市场下快速获取用户和提高转化的利器。在移动互联网爆发的今天,数据量呈指数增长,如何在移动和大数据场景下用数据驱动进行精准营销,从而提高营销效能,成为营销业务部门的主要挑战之一,同时也是大数据应用的一个重要研究方向。本文通过数据体系架构和技术实现案例,分享美团大众点评数据应用团队在这个方向上的一些尝试和实践经验。 总体框架 在介绍数据体系和框架前,为了方便大家理解,先简单阐述一下O2O营销的基本组成:O2O营销是由营销发生的渠道(站内,站外)与营销的主题业务(流量,交
美团技术团队
2018-03-12
1.5K0
【机器学习InAction系列】数据清洗与特征处理综述
前言 随着大数据时代的到来,机器学习成为解决问题的一种重要且关键的工具。不管是工业界还是学术界,机器学习都是一个炙手可热的方向,但是学术界和工业界对机器学习的研究各有侧重,学术界侧重于对机器学习理论的研究,工业界侧重于如何用机器学习来解决实际问题。我们结合美团在机器学习上的实践,进行一个实战(InAction)系列的介绍(带“机器学习InAction系列”标签的文章),介绍机器学习在解决工业界问题的实战中所需的基本技术、经验和技巧。本文主要结合实际问题,概要地介绍机器学习解决实际问题的整个流程,包括对问题
美团技术团队
2018-03-12
1.3K0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档