美团技术团队-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

美团技术团队

我们信仰耐心和坚持的力量，愿意持续去做一些正确、有积累、可能表面看上去不那么重要实则非常关键的事情

专栏成员

524

文章

771187

阅读量

349

订阅数

分布式因果推断在美团履约平台的探索与实践

实践算法分布式框架模型

美团履约平台技术部在因果推断领域持续的探索和实践中，自研了一系列分布式的工具。本文重点介绍了分布式因果树算法的实现，并系统地阐述如何设计实现一种分布式因果树算法，以及因果效应评估方面qini_curve/qini_score的不足与应对技巧。希望能为从事因果推断相关工作的同学们提供一些启发或帮助。

美团技术团队

2024-01-29

2460

Replication（上）：常见的复制模型&分布式系统的挑战

分布式数据库 sql kafka

总第530篇 2022年第047篇分布式系统设计是一项十分复杂且具有挑战性的事情。其中，数据复制与一致性更是其中十分重要的一环。数据复制领域概念庞杂、理论性强，如果对应的算法没有理论验证大概率会出错。如果在设计过程中，不了解对应理论所解决的问题以及不同理论之间的联系，势必无法设计出一个合理的分布式系统。本系列文章分上下两篇，以《数据密集型应用系统设计（DDIA）》（下文简称《DDIA》）为主线，文中的核心理论讲解与图片来自于此书。在此基础上，加入了日常工作中对这些概念的理解与个性化的思考，并将它们映

美团技术团队

2022-08-26

7000

Replication（下）：事务，一致性与共识

编程算法分布式 kafka

总第531篇 2022年第048篇本文主要介绍事务、一致性以及共识，首先会介绍它们怎么在分布式系统中起作用，然后将尝试描述它们之间的内在联系，让大家了解，在设计分布式系统时也是有一定的“套路”可寻。最后，会介绍业界验证分布式算法的一些工具和框架，希望能够对大家有所帮助或者启发。 1. 前文回顾 2. 本文简介 3. 事务&外部一致性 3.1 事务的产生 3.2 不厌其烦——ACID特性 3.3 事务按操作对象的划分&&安全的提交重试 3.4 弱隔离级别 3.5 本章小结 4. 内部一致性与共识 4.1

美团技术团队

2022-08-26

5200

可视化全链路日志追踪

存储日志数据分布式

总第523篇 2022年第040篇可观测性作为系统高可用的重要保障，已经成为系统建设中不可或缺的一环。然而随着业务逻辑的日益复杂，传统的ELK方案在日志搜集、筛选和分析等方面愈加耗时耗力，而分布式会话跟踪方案虽然基于追踪能力完善了日志的串联，但更聚焦于调用链路，也难以直接应用于高效的业务追踪。本文介绍了可视化全链路日志追踪的新方案，它以业务链路为载体，通过有效组织业务每次执行的日志，实现了执行现场的可视化还原，支持问题的高效定位。 1. 背景 1.1 业务系统日益复杂 1.2 业务追踪面临挑战 2.

美团技术团队

2022-07-26

1.6K0

TensorFlow在推荐系统中的分布式训练优化实践

https 网络安全 tensorflow 分布式

美团内部深度定制的TensorFlow版本，基于原生TensorFlow 1.x架构与接口，从大规模稀疏参数的支持、训练模式、分布式通信优化、流水线优化、算子优化融合等多维度进行了深度优化。在推荐系统场景中，分布式扩展性提升10倍以上，单位算力性能也有显著提升，并在美团内部业务中大量使用，本文介绍了相关的优化与实践工作。

美团技术团队

2021-12-13

1K0

美团无人车引擎在仿真中的实践

自动驾驶无人驾驶编程算法分布式 node.js

本文首先会介绍无人车引擎的概念，并以仿真环境面临的挑战为线索介绍美团无人车引擎的核心设计。

美团技术团队

2020-12-14

9250

美团内部讲座｜周烜：华东师范大学的数据库系统研究

sql 数据库 TDSQL MySQL 版分布式缓存

【Top Talk/大咖说】由美团技术学院和科研合作部主办，面向全体技术同学，定期邀请美团资深技术专家、业界大咖、高校学者及畅销书作者，为大家分享最佳实践、互联网热门话题、学术界前沿技术进展等内容，帮助美团同学开拓视野、提升认知。

美团技术团队

2020-11-11

5030

美团OCTO万亿级数据中心计算引擎技术解析

tcp/ip 大数据编程算法分布式运维

美团自研的 OCTO 数据中心（简称 Watt）日均处理万亿级数据量，该系统具备较好的扩展能力及实时性，千台实例集群周运维成本低于10分钟。

美团技术团队

2020-04-27

9290

保障IDC安全：分布式HIDS集群架构设计

etcd 容器镜像服务分布式 tcp/ip

HIDS主机型入侵检测系统是部署在服务器上的安全防护Agent，用来保障服务器安全。在大型互联网公司，面对的是几十万台甚至上百万台服务器规模的IDC时，复杂的服务器环境，网络环境，巨大的数据量给产品带来了哪些技术挑战呢？

美团技术团队

2019-03-22

1K0

Leaf：美团分布式ID生成服务开源

云数据库 SQL Server 分布式开源 zookeeper 数据库

美美导读：我们之前介绍过的高可靠、高并发低延迟、全局唯一的分布式ID生成服务Leaf，现在开源啦！欢迎大家使用呦～

美团技术团队

2019-03-21

1.2K0

美团即时物流的分布式系统架构设计

分布式微服务运维压力测试

美团外卖已经发展了五年，即时物流探索也经历了3年多的时间，业务从零孵化到初具规模，在整个过程中积累了一些分布式高并发系统的建设经验。最主要的收获包括两点：

美团技术团队

2018-11-23

1.3K0

高性能平台设计——美团旅行结算平台实践

数据处理系统架构分布式

点击蓝字订阅，不错过下一篇好文章本文根据第23期美团点评技术沙龙演讲内容整理而成。酒旅有很多条业务线，例如酒店、门票、火车票等等，每种业务都有结算诉求，而结算处于整个交易的最后一环不可缺少，因此我们将结算平台化，来满足业务的结算诉求。结算平台通过业务需求以及我们对业务的理解，沉淀了各种能力并构建了丰富的能力地图。我们将业务的发展归纳为几个阶段，例如业务孵化阶段，快速抢占市场扩大覆盖阶段，市场稳定后急需盈利阶段，国内业务稳定后的国际化阶段，业务发展的各个阶段都能在结算平台找到相应的能力支持。业务孵化阶

美团技术团队

2018-03-13

1.7K0

人工智能在线特征系统中的生产调度

人工智能存储分布式

前言在上篇博客《人工智能在线特征系统中的数据存取技术》中，我们围绕着在线特征系统存储与读取这两方面话题，针对具体场景介绍了一些通用技术，此外特征系统还有另一个重要话题：特征生产调度。本文将以美团点评酒旅在线特征系统为原型，介绍特征生产调度的架构演进及核心技术。架构演进共包含三个阶段，不同阶段面临的需求痛点和挑战各有不同，包括导入并发控制、特征变更原子切换、实时特征计算框架涉及、实时与离线调度融合等。本文我们将从业务需求角度出发，介绍系统演进的三个阶段所解决的主要问题和技术手段，然后把系统演化过程中的一些

美团技术团队

2018-03-13

2K0

Leaf——美团点评分布式ID生成系统

背景在复杂分布式系统中，往往需要对大量的数据和消息进行唯一标识。如在美团点评的金融、支付、餐饮、酒店、猫眼电影等产品的系统中，数据日渐增长，对数据分库分表后需要有一个唯一ID来标识一条数据或消息，数据库的自增ID显然不能满足需求；特别一点的如订单、骑手、优惠券也都需要有唯一ID做标识。此时一个能够生成全局唯一ID的系统是非常必要的。概括下来，那业务系统对ID号的要求有哪些呢？全局唯一性：不能出现重复的ID号，既然是唯一标识，这是最基本的要求。趋势递增：在MySQL InnoDB引擎中使用的是聚集索引，

美团技术团队

2018-03-12

1.7K0

MTDDL——美团点评分布式数据访问层中间件

分布式数据库

背景 2016年Q3季度初，在美团外卖上单2.0项目上线后，商家和商品数量急速增长，预估商品库的容量和写峰值QPS会很快遇到巨大压力。随之而来也会影响线上服务的查询性能、DB（数据库，以下统一称DB）主从延迟、表变更困难等一系列问题。要解决上面所说的问题，通常有两种方案。第一种方案是直接对现有的商品库进行垂直拆分，可以缓解目前写峰值QPS过大、DB主从延迟的问题。第二种方案是对现有的商品库大表进行分库分表，从根本上解决现有问题。方案一实施起来周期较短，但只能解决一时之痛，由此可见，分库分表是必然的。在确

美团技术团队

2018-03-12

1.7K0

分布式系统互斥性与幂等性问题的分析与解决

分布式数据处理系统架构

前言随着互联网信息技术的飞速发展，数据量不断增大，业务逻辑也日趋复杂，对系统的高并发访问、海量数据处理的场景也越来越多。如何用较低成本实现系统的高可用、易伸缩、可扩展等目标就显得越发重要。为了解决这一系列问题，系统架构也在不断演进。传统的集中式系统已经逐渐无法满足要求，分布式系统被使用在更多的场景中。分布式系统由独立的服务器通过网络松散耦合组成。在这个系统中每个服务器都是一台独立的主机，服务器之间通过内部网络连接。分布式系统有以下几个特点：可扩展性：可通过横向水平扩展提高系统的性能和吞吐量。高可靠性

美团技术团队

2018-03-12

1.5K0

深度剖析开源分布式监控CAT

开源分布式

CAT（Central Application Tracking）是一个实时和接近全量的监控系统，它侧重于对Java应用的监控，基本接入了美团点评上海侧所有核心应用。目前在中间件（MVC、RPC、数据库、缓存等）框架中得到广泛应用，为美团点评各业务线提供系统的性能指标、健康状况、监控告警等。自2014年开源以来，除了美团点评之外，CAT还在携程、陆金所、猎聘网、找钢网等多家互联网公司生产环境应用，项目的开源地址是http://github.com/dianping/cat。本文会对CAT整体设计、客户端、

美团技术团队

2018-03-12

2.1K0

【沙龙干货】主题三：美团配送智能调度实践

编程算法大数据分布式

分享内容 ---- 外卖从2013、2014年开始到现在，最近两到三年发展速度非常快，在快速发展过程里边涌现了很多很有难度很新的问题，这个里边订单的调度是比较有难度，也是比较有代表性的一个问题，希望通过今天的分享能让大家对外卖的订单调度问题以及我们的工作有一个比较深入的认识。美团外卖从2015年初开始决定做配送，从最开始的一到两万单，已经发展到现在的将近300万单，目前需要十万以上的骑手，这个规模相当大。随之而来的一个问题——成本相对比较高，占到整个配送运营80%以上的成本，怎么样让我们的骑手工作效率高，

美团技术团队

2018-03-12

2.1K0

分布式队列编程：模型与实战

介绍作为一种基础的抽象数据结构，队列被广泛应用在各类编程中。大数据时代对跨进程、跨机器的通讯提出了更高的要求，和以往相比，分布式队列编程的运用几乎已无处不在。但是，这种常见的基础性的事物往往容易被忽视，使用者往往会忽视两点：使用分布式队列的时候，没有意识到它是队列。有具体需求的时候，忘记了分布式队列的存在。文章首先从最基础的需求出发，详细剖析分布式队列编程模型的需求来源、定义、结构以及其变化多样性。通过这一部分的讲解，作者期望能在两方面帮助读者：一方面，提供一个系统性的思考方法，使读者能够将具体需求

美团技术团队

2018-03-12

1.1K0

【技术博客】Cache应用中的服务过载案例研究

缓存 http 分布式

简单地说，过载是外部请求对系统的访问量突然激增，造成请求堆积，服务不可用，最终导致系统崩溃。本文主要分析引入Cache可能造成的服务过载，并讨论相关的预防、恢复策略。Cache在现代系统中使用广泛，由此引入的服务过载隐患无处不在，但却非常隐蔽，容易被忽视。本文希望能为开发者在设计和编写相关类型应用，以及服务过载发生处理时能够有章可循。一个服务过载案例本文讨论的案例是指存在正常调用关系的两个系统（假设调用方为A系统，服务方为B系统），A系统对B系统的访问突然超出B系统的承受能力，造成B系统崩溃。造成服务

美团技术团队

2018-03-12

1.1K0

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态