腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

美团技术团队

我们信仰耐心和坚持的力量，愿意持续去做一些正确、有积累、可能表面看上去不那么重要实则非常关键的事情

专栏作者

518

文章

732525

阅读量

345

订阅数

基于AI算法的数据库异常监测系统的设计与实现

数据库 sql 编程算法

总第532篇 2022年第049篇美团数据库平台研发组，面临日益急迫的数据库异常发现需求，为了更加快速、智能地发现、定位和止损，我们开发了基于AI算法的数据库异常检测服务。本文从特征分析、算法选型、模型训练与实时检测等维度介绍了我们的一些实践和思考，希望为从事相关工作的同学带来一些启发或者帮助。 1. 背景 2. 特征分析 2.1 找出数据的变化规律 3. 算法选型 3.1 分布规律与算法选择 3.2 案例样本建模 4. 模型训练与实时检测 4.1 数据流转过程 4.2 异常检测过程 5. 产品运营

美团技术团队

2022-09-06

5570

Replication（上）：常见的复制模型&分布式系统的挑战

分布式数据库 sql kafka

总第530篇 2022年第047篇分布式系统设计是一项十分复杂且具有挑战性的事情。其中，数据复制与一致性更是其中十分重要的一环。数据复制领域概念庞杂、理论性强，如果对应的算法没有理论验证大概率会出错。如果在设计过程中，不了解对应理论所解决的问题以及不同理论之间的联系，势必无法设计出一个合理的分布式系统。本系列文章分上下两篇，以《数据密集型应用系统设计（DDIA）》（下文简称《DDIA》）为主线，文中的核心理论讲解与图片来自于此书。在此基础上，加入了日常工作中对这些概念的理解与个性化的思考，并将它们映

美团技术团队

2022-08-26

5920

美团综合业务推荐系统的质量模型及实践

sql 数据库推荐系统

总第516篇 2022年第033篇推荐系统是效果导向的数据应用服务，在功能的“有”和“无”之间，有很长的效果“好”和“坏”的光谱。本文以用户请求的粒度建立质量模型，通过数据血缘关联了数据表、算法模型、系统服务和用户请求，并结合美团综合业务的实践进行了拓展泛化，希望能对大家有所帮助或启发。 1 前言 2 现状分析 3 建设思路 3.1 业务语境下的质量 3.2 缺陷的考量和选择 3.3 度量和计算的选型 4 计算方式 4.1 计算公式 4.2 业务泛化 4.3 指标体系 4.4 血缘拓展 5 指标运营

美团技术团队

2022-06-17

9960

数据库全量SQL分析与审计系统性能优化之旅

云数据库 SQL Server sql 数据库安全 go

总第514篇 2022年第031篇全量SQL（所有访问数据库的SQL）可以有效地帮助安全进行数据库审计，帮助业务快速排查性能问题。一般可通过开启genlog日志或者启动MySQL审计插件方式来进行获取，而美团选用了一种非侵入式的旁路抓包方案，使用Go语言实现。无论采用哪种方案，都需要重点关注它对数据库的性能损耗。本文介绍了美团基础研发平台抓包方案在数据库审计实践中遇到的性能问题以及优化实践，希望能对大家有所帮助或启发。 1 背景 2 现状及挑战 3 分析及优化 3.1 数据采集端介绍 3.2 基础性

美团技术团队

2022-06-13

1.1K0

数据库异常智能分析与诊断

数据库 sql 云数据库 SQL Server 运维

总第507篇 2022年第024篇 DAS（Database Autonomy Service, 数据库自治服务）面向研发和DBA，是一款为用户提供数据库性能分析、故障诊断、安全管理等功能的数据库自治服务。DAS利用大数据手段、机器学习、专家经验，帮助用户消除数据库管理的复杂性及人工操作引发的服务故障，有效保障数据库服务的稳定和高效运行。本文主要讲述DAS的历史背景、演进策略、重要功能及实现思路，希望能对从事相关开发的同学有所帮助或者启发。 1 现状与问题 1.1 规模增长与运维能力发展之间的不平衡问题

美团技术团队

2022-05-06

1.9K0

基于代价的慢查询优化建议

云数据库 SQL Server 对象存储 sql 数据库推荐系统

总第503篇 2022年第020篇对于数据库来说，慢查询往往意味着风险。SQL执行得越慢，消耗的CPU资源或IO资源也会越大。大量的慢查询可直接引发业务故障，关注慢查询即是关注故障本身。本文主要介绍了美团如何利用数据库的代价优化器来优化慢查询，并给出索引建议，评估跟踪建议质量，运营治理慢查询。 1 背景 2 基于代价的优化器介绍 2.1 SQL执行与优化器 2.2 代价模型介绍 2.3 基于代价的索引选择 2.4 基于代价的索引推荐思路 3 索引推荐实现 3.1 前置校验 3.2 提取关键列名 3.3

美团技术团队

2022-04-24

1.6K0

美团内部讲座｜周烜：华东师范大学的数据库系统研究

sql 数据库 TDSQL MySQL 版分布式缓存

【Top Talk/大咖说】由美团技术学院和科研合作部主办，面向全体技术同学，定期邀请美团资深技术专家、业界大咖、高校学者及畅销书作者，为大家分享最佳实践、互联网热门话题、学术界前沿技术进展等内容，帮助美团同学开拓视野、提升认知。

美团技术团队

2020-11-11

4820

MyBatis版本升级引发的线上告警回顾及原理分析

mybatis sql android 编程算法 java

本文从一次MyBatis版本升级引发的线上告警开始讲起，然后针对告警定位过程、源码原理进行了深入的分析，并加入了不同版本的类比分析，最后结合实际工作做了一些经验总结，希望能对大家的工程实践有一定的帮助。

美团技术团队

2020-06-22

5410

美团MySQL数据库巡检系统的设计与应用

数据库运维 sql 云数据库 SQL Server 系统架构

巡检工作是保障系统平稳有效运行必不可少的一个环节，目的是能及时发现系统中存在的隐患。本文介绍了美团MySQL数据库巡检系统的框架和巡检内容，希望能够帮助大家了解什么是数据库巡检，美团的巡检系统架构是如何设计的，以及巡检系统是如何保障MySQL服务稳定运行的。

美团技术团队

2020-06-09

1.3K0

Intel PAUSE指令变化影响到MySQL的性能，该如何解决？

云数据库 SQL Server 数据库 sql centos linux

MySQL得益于其开源属性、成熟的商业运作、良好的社区运营以及功能的不断迭代与完善，已经成为互联网关系型数据库的标配。可以说，X86服务器、Linux作为基础设施，跟MySQL一起构建了互联网数据存储服务的基石，三者相辅相成。

美团技术团队

2020-04-26

1.1K0

美团配送数据治理实践

数据库大数据数据分析数据可视化 sql

今天，数据资产日益成为企业的核心竞争力。但如果企业在走向数字化过程中遗忘了数据治理，可能再多的投入都会变成一种“徒劳”。

美团技术团队

2020-03-25

1.1K0

美团点评云真机平台实践

网站数据库 sql 自动化测试腾讯云测试服务

随着美团点评业务越来越多，研发团队越来越庞大，对测试手机的需求显著增长。这对公司来说是一笔不小的开支，但现有测试手机资源分配不均，利用率也非常有限，导致各个团队开发、测试过程中都很难做到多机型覆盖。怎么样合理、高效利用这些测试手机资源，是摆在我们面前的一道难题。

美团技术团队

2019-03-22

1.8K0

美团酒旅起源数据治理平台的建设与实践

数据库数据安全大数据数据分析 sql

作为一家高度数字化和技术驱动的公司，美团非常重视数据价值的挖掘。在公司日常运行中，通过各种数据分析挖掘手段，为公司发展决策和业务开展提供数据支持。经过多年的发展，美团酒旅内部形成了一套完整的解决方案，核心由数据仓库+各种数据平台的方式实现。其中数据仓库整合各业务线的数据，消灭数据孤岛；各种数据平台拥有不同的特色和定位，例如：自助报表平台、专业数据分析平台、CRM数据平台、各业务方向绩效考核平台等，满足各类数据分析挖掘需求。早期数据仓库与各种数据平台的体系架构如图1所示：

美团技术团队

2018-12-28

6900

LruCacahe在美团DSP系统中的应用演进

数据库数据结构 sql 缓存编程算法

DSP系统是互联网广告需求方平台，用于承接媒体流量，投放广告。业务特点是并发度高，平均响应低（百毫秒）。

美团技术团队

2018-12-24

5770

美团DB数据同步到数据仓库的架构与实践

hive 云数据库 SQL Server 数据库 sql kafka

在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(Operational Data Store)数据。在互联网企业中，常见的ODS数据有业务日志数据（Log）和业务DB数据（DB）两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节。

美团技术团队

2018-12-07

1.3K0

SQL解析在美团点评中的应用

总第245篇 2018年第37篇导读数据库作为核心的基础组件，是需要重点保护的对象。任何一个线上的不慎操作，都有可能给数据库带来严重的故障，从而给业务造成巨大的损失。为了避免这种损失，一般会在管理上下功夫。比如为研发人员制定数据库开发规范；新上线的SQL，需要DBA进行审核；维护操作需要经过领导审批等等。而且如果希望能够有效地管理这些措施，需要有效的数据库培训，还需要DBA细心的进行SQL审核。很多中小型创业公司，可以通过设定规范、进行培训、完善审核流程来管理数据库。随着美团点评的业务不断发展和

美团技术团队

2018-06-07

2K0

大众点评账号业务高可用进阶之路

访问管理缓存云数据库 Redis 数据库 sql

总第249篇 2018年第41篇引言在任何一家互联网公司，不管其主营业务是什么，都会有一套自己的账号体系。账号既是公司所有业务发展留下的最宝贵资产，它可以用来衡量业务指标，例如日活、月活、留存等，同时也给不同业务线提供了大量潜在用户，业务可以基于账号来做用户画像，制定各自的发展路径。因此，账号服务的重要性不言而喻，同时美团业务飞速发展，对账号业务的可用性要求也越来越高。本文将分享一些我们在高可用探索中的实践。衡量一个系统的可用性有两个指标： 1. MTBF （Mean Time Between

美团技术团队

2018-06-07

9690

美团旅行销售绩效系统研发实践

背景 O2O是目前互联网竞争最激烈的领域之一，其重要的业务特征是有大规模的线下业务团队，他们分布在五湖四海，直接服务着数以百万的商家，责任很重，管理的难度巨大。能否通过技术手段，打造高效的线下团队，是O2O公司的核心竞争力。随着美团酒旅业务的快速增长，业务人员绩效的考核方案和激励政策呈现出多样化、复杂化的特点，对绩效计算实时性和准确性的要求也越来越高。原始的绩效计算流程，包括各战区目标下发、激励调整、数据校验等繁琐工作，需要投入大量的人力，准确性也无法得到保障。鉴于这种情况，以优化体验、提升效率、降低成本

美团技术团队

2018-03-29

1.5K5

每天数百亿用户行为数据，美团点评怎么实现秒级转化分析？

数据分析大数据 sql

导读用户行为分析是数据分析中非常重要的一项内容，在统计活跃用户，分析留存和转化率，改进产品体验、推动用户增长等领域有重要作用。美团点评每天收集的用户行为日志达到数百亿条，如何在海量数据集上实现对用户行为的快速灵活分析，成为一个巨大的挑战。为此，我们提出并实现了一套面向海量数据的用户行为分析解决方案，将单次分析的耗时从小时级降低到秒级，极大的改善了分析体验，提升了分析人员的工作效率。本文以有序漏斗的需求为例，详细介绍了问题分析和思路设计，以及工程实现和优化的全过程。本文根据2017年12月ArchSumm

美团技术团队

2018-03-29

1.3K0

行进中换轮胎——万字长文解析美团和大众点评两大数据平台是怎么融合的

大数据 hadoop sql

背景互联网格局复杂多变，大规模的企业合并重组不时发生。原来完全独立甚至相互竞争的两家公司，有着独立的技术体系、平台和团队，如何整合，技术和管理上的难度都很大。2015年10月，美团与大众点评合并为今天的“美团点评”，成为全球规模最大的生活服务平台。主要分布在北京和上海两地的两支技术团队和两套技术平台，为业界提供了一个很好的整合案例。本文将重点讲述数据平台融合项目的实践思路和经验，并深入地讨论Hadoop多机房架构的一种实现方案，以及大面积SQL任务重构的一种平滑化方法。最后介绍这种复杂的平台系统如何保证

美团技术团队

2018-03-13

1.1K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态