腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
美团技术团队
我们信仰耐心和坚持的力量,愿意持续去做一些正确、有积累、可能表面看上去不那么重要实则非常关键的事情
专栏成员
举报
524
文章
770691
阅读量
349
订阅数
订阅专栏
申请加入专栏
全部文章(524)
编程算法(81)
数据库(44)
深度学习(42)
其他(40)
android(40)
机器学习(33)
java(33)
系统架构(31)
人工智能(28)
神经网络(25)
ios(24)
sql(24)
缓存(24)
ide(23)
存储(23)
分布式(22)
网站(19)
javascript(17)
node.js(17)
打包(17)
linux(17)
开源(17)
自动化(17)
运维(17)
数据结构(17)
实践(17)
api(16)
大数据(16)
安全(15)
容器(14)
模型(14)
网络安全(13)
微服务(13)
NLP 服务(12)
数据分析(12)
数据处理(12)
数据(12)
腾讯云测试服务(11)
jvm(11)
微信(11)
sdk(11)
云数据库 SQL Server(10)
spark(10)
react(8)
html(8)
容器镜像服务(8)
知识图谱(8)
推荐系统(8)
自动化测试(8)
https(8)
c++(7)
图像识别(7)
tensorflow(6)
http(6)
kubernetes(6)
小程序(6)
kafka(6)
特征工程(6)
框架(6)
优化(6)
json(5)
云数据库 Redis(5)
搜索引擎(5)
spring(5)
webpack(5)
hive(5)
spring boot(5)
jenkins(5)
安全漏洞(5)
腾讯云开发者社区(5)
flutter(5)
系统(5)
go(4)
css(4)
渲染(4)
数据安全(4)
hadoop(4)
rpc(4)
数据可视化(4)
测试(4)
搜索(4)
算法(4)
异常(4)
objective-c(3)
cocoa(3)
python(3)
vue.js(3)
jquery ui(3)
xml(3)
webview(3)
github(3)
jar(3)
apache(3)
日志服务(3)
图像处理(3)
日志数据(3)
监督学习(3)
cdn(3)
tcp/ip(3)
kernel(3)
uml(3)
架构设计(3)
腾讯会议(3)
迁移(3)
dart(3)
性能测试(3)
流量(3)
论文(3)
设计(3)
性能(3)
研发(3)
云镜(主机安全)(2)
自动驾驶(2)
数据挖掘(2)
swift(2)
xcode(2)
ajax(2)
opengl(2)
批量计算(2)
文件存储(2)
TDSQL MySQL 版(2)
serverless(2)
数据迁移(2)
无人驾驶(2)
jdk(2)
卷积神经网络(2)
强化学习(2)
mybatis(2)
面向对象编程(2)
hashmap(2)
openstack(2)
npm(2)
aop(2)
单元测试(2)
gradle(2)
processing(2)
任务调度(2)
flink(2)
学习方法(2)
数据集成(2)
智能客服机器人(2)
app(2)
ddd(2)
mysql(2)
服务(2)
工作(2)
架构(2)
接口(2)
领域驱动设计(2)
内存(2)
内核(2)
排序(2)
前端(2)
视频(2)
索引(2)
网络(2)
原理(2)
费用中心(1)
内容分发网络 CDN(1)
云点播(1)
对象存储(1)
维纳斯(1)
弹性伸缩(1)
人脸识别(1)
iphone(1)
jquery(1)
typescript(1)
android studio(1)
arm(1)
硬件开发(1)
access(1)
mvc(1)
git(1)
analyzer(1)
unix(1)
centos(1)
mapreduce(1)
GPU 云服务器(1)
容器服务(1)
短视频(1)
腾讯云可观测平台(1)
访问管理(1)
消息队列 CMQ 版(1)
cci 持续集成(1)
智能鉴黄(1)
图片标签(1)
文字识别(1)
人脸融合(1)
内容理解(1)
es 2(1)
视频处理(1)
高性能计算(1)
企业(1)
o2o(1)
url 安全(1)
express(1)
reactnative(1)
yarn(1)
压力测试(1)
html5(1)
正则表达式(1)
dns(1)
opencv(1)
zookeeper(1)
二叉树(1)
rabbitmq(1)
gcc(1)
迁移学习(1)
kerberos(1)
机器人(1)
windows(1)
物联网(1)
网站建设(1)
企业组织(1)
信息流(1)
云计算(1)
机器学习平台(1)
安全治理(1)
迁移服务(1)
groovy(1)
功能测试(1)
白盒测试(1)
黑盒测试(1)
模型测试(1)
etcd(1)
raft(1)
es(1)
智能审核(1)
应急响应服务(1)
Elasticsearch Service(1)
大数据存储(1)
数据湖(1)
设计云(1)
action(1)
aiops(1)
amp(1)
behavior(1)
click(1)
com(1)
db(1)
embedding(1)
field(1)
filter(1)
gpu(1)
gradient(1)
network(1)
prediction(1)
time(1)
tree(1)
ui(1)
vr(1)
代理(1)
地图(1)
公众号(1)
工作流(1)
管理(1)
基础(1)
集群(1)
监控(1)
解决方案(1)
进程(1)
开发(1)
可视化(1)
量化(1)
配置(1)
事件(1)
统计(1)
效率(1)
压缩(1)
终端(1)
数据库集群(1)
容灾(1)
搜索文章
搜索
搜索
关闭
Spark向量化计算在美团生产环境的实践
spark
量化
内存
实践
数据
Apache Spark是一个优秀的计算引擎,广泛应用于数据工程、机器学习等领域。向量化执行技术在不升级硬件的情况下,既可获得资源节省,又能加速作业执行。Gluten+Velox解决方案为Spark换上了向量化执行引擎,本文将阐述美团在这一方向的实践和思考。
美团技术团队
2024-06-27
216
0
美团图灵机器学习平台性能起飞的秘密(一)
spark
机器学习平台
数据处理
java
美团图灵机器学习平台在长期的优化实践中,积累了一系列独特的优化方法。本文主要介绍了图灵机器学习平台在内存优化方面沉淀的优化技术,我们深入到源码层面,介绍了Spark算子的原理并提供了最佳实践。希望为读者带来一些思路上的启发。
美团技术团队
2022-12-16
526
0
Apache Kylin的实践与优化
spark
linux
apache
从2016年开始,美团到店餐饮技术团队就开始使用Apache Kylin作为OLAP引擎,但是随着业务的高速发展,在构建和查询层面都出现了效率问题。于是,技术团队从原理解读开始,然后对过程进行层层拆解,并制定了由点及面的实施路线。本文总结了一些经验和心得,希望能够帮助业界更多的技术团队提高数据的产出效率。
美团技术团队
2020-11-26
875
0
Jupyter在美团民宿的应用实践
开源
python
spark
做算法的同学对于Kaggle应该都不陌生,除了举办算法挑战赛以外,它还提供了一个学习、练习数据分析和算法开发的平台。Kaggle提供了Kaggle Kernels,方便用户进行数据分析以及经验分享。在Kaggle Kernels中,你可以Fork别人分享的结果进行复现或者进一步分析,也可以新建一个Kernel进行数据分析和算法开发。Kaggle Kernels还提供了一个配置好的环境,以及比赛的数据集,帮你从配置本地环境中解放出来。Kaggle Kernels提供给你的是一个运行在浏览器中的Jupyter,你可以在上面进行交互式的执行代码、探索数据、训练模型等等。更多关于Kaggle Kernels的使用方法可以参考 Introduction to Kaggle Kernels,这里不再多做阐述。
美团技术团队
2019-12-04
2.4K
0
XGBoost缺失值引发的问题及其深度分析
机器学习
spark
编程算法
存储
java
XGBoost模型作为机器学习中的一大“杀器”,被广泛应用于数据科学竞赛和工业领域,XGBoost官方也提供了可运行于各种平台和环境的对应代码,如适用于Spark分布式训练的XGBoost on Spark。然而,在XGBoost on Spark的官方实现中,却存在一个因XGBoost缺失值和Spark稀疏表示机制而带来的不稳定问题。
美团技术团队
2019-08-20
1.3K
0
HDFS Federation在美团点评的应用与改进
node.js
hive
大数据
spark
hadoop
背景 2015年10月,经过一段时间的优化与改进,美团点评HDFS集群稳定性和性能有显著提升,保证了业务数据存储量和计算量爆发式增长下的存储服务质量;然而,随着集群规模的发展,单组NameNode组成的集群也产生了新的瓶颈: 扩展性:根据HDFS NameNode内存全景和HDFS NameNode内存详解这两篇文章的说明可知,NameNode内存使用和元数据量正相关。180GB堆内存配置下,元数据量红线约为7亿,而随着集群规模和业务的发展,即使经过小文件合并与数据压缩,仍然无法阻止元数据量逐渐接近红线。
美团技术团队
2018-03-12
1.6K
0
Spark Streaming + Elasticsearch构建App异常监控平台
spark
es 2
如果在使用App时遇到闪退,你可能会选择卸载App、到应用商店怒斥开发者等方式来表达不满。但开发者也同样感到头疼,因为崩溃可能意味着用户流失、营收下滑。为了降低崩溃率,进而提升App质量,App开发团队需要实时地监控App异常。一旦发现严重问题,及时进行热修复,从而把损失降到最低。App异常监控平台,就是将这个方法服务化。 低成本 小型创业团队一般会选择第三方平台提供的异常监控服务。但中型以上规模的团队,往往会因为不想把核心数据共享给第三方平台,而选择独立开发。造轮子,首先要考虑的就是成本问题。我们选择了站
美团技术团队
2018-03-12
1.6K
0
Spark在美团的实践
spark
前言 美团是数据驱动的互联网服务,用户每天在美团上的点击、浏览、下单支付行为都会产生海量的日志,这些日志数据将被汇总处理、分析、挖掘与学习,为美团的各种推荐、搜索系统甚至公司战略目标制定提供数据支持。大数据处理渗透到了美团各业务线的各种应用场景,选择合适、高效的数据处理引擎能够大大提高数据生产的效率,进而间接或直接提升相关团队的工作效率。 美团最初的数据处理以Hive SQL为主,底层计算引擎为MapReduce,部分相对复杂的业务会由工程师编写MapReduce程序实现。随着业务的发展,单纯的Hive S
美团技术团队
2018-03-12
1.8K
0
【技术博客】Spark性能优化指南——基础篇
spark
前言 在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评,已经有很多同学在各种项目中尝试使用Spark。大多数同学(包括笔者在内),最初开始尝试使用Spark的原因很简单,主要就是为了让大数据计算作业的执行速度更快、性能更高。 然而,通过Spark开发出高性能的大数据计算作业,并不是那么简单的。如果没有对Spark作业进行合
美团技术团队
2018-03-12
1.7K
0
【技术博客】Spark性能优化指南——高级篇
spark
前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的性能。 数据倾斜发生时的现象 绝大多数task执行得都非常快,但个别task执行极慢。比如,总共有1
美团技术团队
2018-03-12
2K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档