腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

美团技术团队

我们信仰耐心和坚持的力量，愿意持续去做一些正确、有积累、可能表面看上去不那么重要实则非常关键的事情

专栏作者

518

文章

736507

阅读量

345

订阅数

美团大规模KV存储挑战与架构实践

存储集群架构实践数据

KV 存储作为美团一项重要的在线存储服务，承载了在线服务每天万亿级的请求量，并且保持着 99.995% 的服务可用性。在 DataFunSummit 2023 数据基础架构峰会上，我们分享了《美团大规模 KV 存储挑战与架构实践》，本文为演讲内容的整理。文章主要分为四个部分：第一部分介绍了美团 KV 存储发展历程；第二部分分享了内存 KV Squirrel 挑战和架构实践；第三部分阐述了持久化 KV Cellar 挑战和架构实践；最后一部分介绍了未来的发展规划。希望这些内容能对大家有所帮助或启发。

美团技术团队

2024-03-22

1550

美团外卖搜索基于Elasticsearch的优化实践

Elasticsearch Service 存储 ide 数据分析数据结构

美团外卖搜索工程团队在Elasticsearch的优化实践中，基于Location-Based Service（LBS）业务场景对Elasticsearch的查询性能进行优化。该优化基于Run-Length Encoding（RLE）设计了一款高效的倒排索引结构，使检索耗时（TP99）降低了84%。本文从问题分析、技术选型、优化方案等方面进行阐述，并给出最终灰度验证的结论。

美团技术团队

2022-12-16

1.2K0

Kafka在美团数据平台的实践

kafka 缓存存储大数据数据迁移

总第526篇 2022年第043篇 Kafka在美团数据平台承担着统一的数据缓存和分发的角色，随着数据量的增长，集群规模的扩大，Kafka面临的挑战也愈发严峻。本文分享了美团Kafka面临的实际挑战，以及美团针对性的一些优化工作，希望能给从事相关开发工作的同学带来帮助或启发。 1. 现状和挑战 1.1 现状 1.2 挑战 2. 读写延迟优化 2.1 概览 2.2 应用层 2.3 系统层 2.4 混合层-SSD新缓存架构 3. 大规模集群管理优化 3.1 隔离策略 3.2 全链路监控 3.3 服务生命周期

美团技术团队

2022-08-26

5980

可视化全链路日志追踪

存储日志数据分布式

总第523篇 2022年第040篇可观测性作为系统高可用的重要保障，已经成为系统建设中不可或缺的一环。然而随着业务逻辑的日益复杂，传统的ELK方案在日志搜集、筛选和分析等方面愈加耗时耗力，而分布式会话跟踪方案虽然基于追踪能力完善了日志的串联，但更聚焦于调用链路，也难以直接应用于高效的业务追踪。本文介绍了可视化全链路日志追踪的新方案，它以业务链路为载体，通过有效组织业务每次执行的日志，实现了执行现场的可视化还原，支持问题的高效定位。 1. 背景 1.1 业务系统日益复杂 1.2 业务追踪面临挑战 2.

美团技术团队

2022-07-26

1.5K0

基于SSD的Kafka应用层缓存架构设计与实现

kafka 存储缓存

Kafka在美团数据平台承担着统一的数据缓存和分发的角色，针对因PageCache互相污染，进而引发PageCache竞争导致实时作业被延迟作业影响的痛点，美团基于SSD自研了Kafka的应用层缓存架构。本文主要介绍了该架构的设计与实现，主要包括方案选型，与其他备选方案的比较以及方案的核心思考点等，最后介绍该方案与其他备选方案的性能对比。

美团技术团队

2021-01-24

1.5K2

美团万亿级 KV 存储架构与实践

云数据库 Redis raft 迁移服务迁移存储

在 2019 年 QCon 全球软件开发大会（上海站）上，美团高级技术专家齐泽斌分享了《美团点评万亿级 KV 存储架构与实践》，本文系演讲内容的整理，第一部分讲述了美团 KV 存储的发展历程；第二部分阐述了内存 KV Squirrel 架构和实践；第三部分介绍了持久化 KV Cellar 架构和实践；最后分享了未来的发展规划和业界新趋势。

美团技术团队

2020-07-03

2.9K0

美团开源Logan Web：前端日志在Web端的实现

日志数据开源数据库 ide 存储

2018 年，美团点评推出大前端日志系统—— Logan，并开源了 Android 与 iOS 端的 SDK。这次，我们又开源了在 Web 环境运行的 SDK、日志分析平台以及服务端代码，希望能够为社区内小伙伴们提供更加完整的大前端日志解决方案。

美团技术团队

2020-01-13

1.4K0

ICDAR 2019论文：自然场景文字定位技术详解

图像识别文字识别存储卷积神经网络

自然场景图像中的文字识别应用广泛，其中文字定位是最重要的一步，但技术上极具挑战。本文提出了一个高效的场景文本检测框架，取得了明显的效果提升。

美团技术团队

2019-09-29

1.3K0

XGBoost缺失值引发的问题及其深度分析

机器学习 spark 编程算法存储 java

XGBoost模型作为机器学习中的一大“杀器”，被广泛应用于数据科学竞赛和工业领域，XGBoost官方也提供了可运行于各种平台和环境的对应代码，如适用于Spark分布式训练的XGBoost on Spark。然而，在XGBoost on Spark的官方实现中，却存在一个因XGBoost缺失值和Spark稀疏表示机制而带来的不稳定问题。

美团技术团队

2019-08-20

1.3K0

UAS：大众点评用户行为系统

大数据编程算法数据处理 hive 存储

随着整个中国互联网下半场的到来，用户红利所剩无几，原来粗放式的发展模式已经行不通，企业的发展越来越趋向于精耕细作。美团的价值观提倡以客户为中心，面对海量的用户行为数据，如何利用好这些数据，并通过技术手段发挥出数据的价值，提高用户的使用体验，是我们技术团队未来工作的重点。

美团技术团队

2019-03-22

1.1K0

LruCache在美团DSP系统中的应用演进

LruCache是一种带有清退机制的缓存结构。用于DSP系统中的广告数据存储来提高广告投放引擎的性能。

美团技术团队

2019-01-07

6300

新一代数据库TiDB在美团的实践

数据库云数据库 SQL Server 存储运维 TDSQL MySQL 版

近几年，基于MySQL构建的传统关系型数据库服务，已经很难支撑美团业务的爆发式增长，这就促使我们去探索更合理的数据存储方案和实践新的运维方式。而随着分布式数据库大放异彩，美团DBA团队联合基础架构存储团队，于 2018 年初启动了分布式数据库项目。

美团技术团队

2018-11-23

7570

Mson，让JSON序列化更快

json 缓存存储

本文由秦喆芝任天洲赵鹏四位作者共同完成。问题我们经常需要在主线程中读取一些配置文件或者缓存数据，最常用的结构化存储数据的方式就是将对象序列化为JSON字符串保存起来，这种方式特别简单而且可以

美团技术团队

2018-03-13

1.9K0

DDD（领域驱动设计）的这些问题，你都知道吗？

本文中的问题精选自上期【你问我答】——DDD（领域驱动设计）专题中读者的提问。【你问我答】是由美团点评技术团队推出的线上问答服务，你在工作学习中遇到的各种技术问题，都可以通过我们微信公众号发问，我们5000+工程师会义务为你解答，欢迎大家踊跃提问。高质量、定义清晰的问题会优先获得解答。编者按 DDD就是帮助工程师快速理解和提炼业务本质或核心的一套方法。 DDD又分战略设计和战术设计，这两个混一块就没法谈了。战略设计就是画一个圈，把里面的模型建出来。战术设计就是，在物理层次想尽一切办法保证边界不被突破和内部

美团技术团队

2018-03-13

1.6K0

人工智能在线特征系统中的生产调度

人工智能存储分布式

前言在上篇博客《人工智能在线特征系统中的数据存取技术》中，我们围绕着在线特征系统存储与读取这两方面话题，针对具体场景介绍了一些通用技术，此外特征系统还有另一个重要话题：特征生产调度。本文将以美团点评酒旅在线特征系统为原型，介绍特征生产调度的架构演进及核心技术。架构演进共包含三个阶段，不同阶段面临的需求痛点和挑战各有不同，包括导入并发控制、特征变更原子切换、实时特征计算框架涉及、实时与离线调度融合等。本文我们将从业务需求角度出发，介绍系统演进的三个阶段所解决的主要问题和技术手段，然后把系统演化过程中的一些

美团技术团队

2018-03-13

2K0

磁盘I/O那些事

背景计算机硬件性能在过去十年间的发展普遍遵循摩尔定律，通用计算机的CPU主频早已超过3GHz，内存也进入了普及DDR4的时代。然而传统硬盘虽然在存储容量上增长迅速，但是在读写性能上并无明显提升，同时SSD硬盘价格高昂，不能在短时间内完全替代传统硬盘。传统磁盘的I/O读写速度成为了计算机系统性能提高的瓶颈，制约了计算机整体性能的发展。硬盘性能的制约因素是什么？如何根据磁盘I/O特性来进行系统设计？针对这些问题，本文将介绍硬盘的物理结构和性能指标，以及操作系统针对磁盘性能所做的优化，最后讨论下基于磁盘I/O

美团技术团队

2018-03-13

5K0

Mt-Falcon——Open-Falcon在美团点评的应用与实践

腾讯云可观测平台缓存数据集成云数据库 Redis 存储

前言监控系统是整个业务系统中至关重要的一环，它就像眼睛一样，时刻监测机房、网络、服务器、应用等运行情况，并且在出现问题时能够及时做出相应处理。美团点评刚开始使用的是Zabbix监控系统，几经优化，在当时能够达到2W+机器，450W+监控项的量。随着各业务线的发展，监控项越来越多，Zabbix的问题也越来越突出，当时针对Zabbix的吐槽问题有：不支持扩展，本身是一个单点，当机器规模超过万台的时候会出现很明显的性能问题。改造难度比较大，不支持定制化功能。配置比较复杂，学习成本较高。对外提供的API

美团技术团队

2018-03-12

2.3K0

业务赋能利器之外卖特征档案

存储 es 数据处理编程算法 hive

应用背景及现状美团外卖业务自2013年9月启动至今已运营三年时间。截至2016年12月，美团点评整个外卖平台的日订单超过900万。从发展速度和体量上看，外卖业务仍处在迅猛发展的上升期。与早期飞速增长的状态相比，随着规模的不断扩大，业务的发展需要更健康、高效，这就对业务对象、业务环节的整体业务运营管理提出更高的要求。特征档案平台向各业务提供了用户/商户筛选和档案管理服务，同时提供了数据查询、存储、生成、导出等数据管理功能，能够提高运营工作效率。当前用户特征档案平台覆盖全部的外卖用户，有特征标签近200个，

美团技术团队

2018-03-12

1.1K0

美团点评前端无痕埋点实践

存储数据可视化

构建一个数据平台，大体上包括数据采集、数据上报、数据存储、数据计算以及数据可视化展示等几个重要的环节。其中，数据采集与上报是整个流程中重要的一环，只有确保前端数据生产的全面、准确、及时，最终产生的数据结果才是可靠的、有价值的。为了解决前端埋点的准确性、及时性、开发效率等问题，业内各家公司从不同角度，提出了多种技术方案，这些方案大体上可以归为三类：第一类是代码埋点，即在需要埋点的节点调用接口直接上传埋点数据，友盟、百度统计等第三方数据统计服务商大都采用这种方案；第二类是可视化埋点，即通过可视化工具配置采

美团技术团队

2018-03-12

4.5K0

基于rsync的文件增量同步方案

存储编程算法 unix

背景犀牛云盘是美团点评内部一个基于美团云的文件协作平台，核心是文件的结构化云存储以及上传和下载的体验优化。文件同步是云盘功能的重要部分（包括文件内容的同步和文件增删的同步，应该有上传、下载、创建、删除等动作，但在本文的叙述中，主要关注文件内容的传输，即上传、下载），如何快速高效地进行文件同步，就成了云盘亟需解决的技术难题。本文阐述的方案就是在这种场景下提出来的，我们希望通过rsync增量传输算法，来提高文件同步速度。但原始rsync算法在高并发的服务上会存在性能问题，所以本方案也借鉴zsync的思路，做

美团技术团队

2018-03-12

3.8K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态