腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
公有云大数据平台弹性 MapReduce
专栏成员
举报
45
文章
189701
阅读量
292
订阅数
订阅专栏
申请加入专栏
全部文章(45)
大数据(23)
hadoop(9)
弹性 MapReduce(8)
mapreduce(7)
编程算法(3)
存储(3)
hive(3)
云数据仓库 ClickHouse(3)
大数据处理套件 TBDS(2)
大数据解决方案(2)
yarn(2)
hbase(2)
对象存储(1)
其他(1)
c++(1)
python(1)
c#(1)
bash(1)
node.js(1)
xml(1)
android(1)
云数据库 Redis(1)
sql(1)
ide(1)
apache(1)
bash 指令(1)
分布式(1)
spark(1)
jvm(1)
socket编程(1)
安全(1)
kafka(1)
emr(1)
搜索文章
搜索
搜索
关闭
自建迁移EMR实践案例
弹性 MapReduce
大数据
emr
自建开源大数据平台会随着企业数据的增长遇到:性能慢、扩容周期长、平台稳定性差、运维难、投入成本高等问题。在这里我们将从 EMR 的简介、EMR与自建Hadoop对比优势、自建迁移上云的实践案例来介绍 EMR 是如何解决这些问题的。
腾讯云大数据
2023-03-20
3.7K
0
通过数据组织优化加速基于Apache Iceberg的大规模数据分析
大数据
弹性 MapReduce
hadoop
存储
数据湖(Data lake)是一种将数据以原始格式存储在同一个系统或存储库的设计思想。它可以实现在一份数据之上进行多种数据计算,以避免为了多种计算场景而导致数据冗余存储和搬迁成本。以数据湖架构建立数据分析平台能让企业以较低的成本实现原始数据的集中式管理,提供统一口径和灵活的分析能力。当前,比较主流的开源数据湖格式有Iceberg,Hudi和DeltaLake。
鱼跟猫
2021-07-06
2.5K
0
腾讯云EMR基于YARN针对云原生容器化的优化与实践
弹性 MapReduce
导语 | 传统HADOOP生态系统使用YARN管理/调度计算资源,该系统⼀般具有明显的资源使⽤周期。实时计算集群资源消耗主要在⽩天,而数据报表型业务则安排在离线计算集群中。离在线业务分开部署的首要问题就是资源使用率低,消耗成本⾼。随着业务的增⻓和突发的报表计算需求,为了解决为离线集群预留资源,腾讯云EMR团队和容器团队联合推出Hadoop Yarn on Kubernetes Pod,以提⾼容器资源使用率,降低资源成本,将闲时容器集群CPU使⽤率提升数倍之多。本文主要介绍HADOOP资源调度器YARN在容器环境中的优化与实践。
腾讯云大数据
2021-06-28
2K
0
基于Alluxio优化大数据计算存储分离架构的最佳实践
大数据
mapreduce
弹性 MapReduce
近年来,随着大数据规模的增长,以及大数据应用的发展,大数据技术的架构也在持续演进。早期的技术架构是计算资源和存储资源高度融合,计算和存储资源一体化存在以下明显的挑战:
腾讯云大数据
2021-01-08
1.7K
0
秒级去重:ClickHouse在腾讯海量游戏营销活动分析中的应用
大数据
mapreduce
弹性 MapReduce
导语 | 腾讯内部每日都需要对海量的游戏营销活动数据做效果分析,而活动参与人数的去重一直是一项难点。本文将为大家介绍腾讯游戏营销活动分析系统——奕星,在去重服务上的技术思路和迭代方案,希望与大家一同交流探讨。
腾讯云大数据
2021-01-08
1.7K
0
关注专栏作者,随时接收最新技术干货
用户7212665
关注
鱼跟猫
关注
shangwen_
腾讯后台开发
关注
宋超
腾讯技术测试工程师
关注
存算分离下写性能提升10倍以上,EMR Spark引擎是如何做到的?
大数据
mapreduce
弹性 MapReduce
随着大数据技术架构的演进,存储与计算分离的架构能更好的满足用户对降低数据存储成本,按需调度计算资源的诉求,正在成为越来越多人的选择。相较 HDFS,数据存储在对象存储上可以节约存储成本,但与此同时,对象存储对海量文件的写性能也会差很多。
腾讯云大数据
2021-01-08
1.7K
1
基于Alluxio优化大数据计算存储分离架构的最佳实践
大数据解决方案
对象存储
弹性 MapReduce
近年来,随着大数据规模的增长,以及大数据应用的发展,大数据技术的架构也在持续演进。早期的技术架构是计算资源和存储资源高度融合,计算和存储资源一体化存在以下明显的挑战:
sundyxiong
2021-01-05
3K
0
ResourceManager因为块丢失而重启失败
弹性 MapReduce
在非HA情况下,如果HDFS中RM-Restart相关的块丢失,会导致RM无法启动。
AAACCC
2019-12-06
1.7K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档