首页标签弹性 MapReduce

#弹性 MapReduce

安全、灵活的云端托管 Hadoop 服务

腾讯云大数据技术介绍-数据查询弹性 MapReduce

jerryteng

上一节我们讲到了大数据的存储 : https://cloud.tencent.com/developer/article/1878422

40750

高吞吐实时事务数仓方案调研 flink kudu+impala hbase等

大鹅

腾讯云数据仓库PostgreSql TDSQL,PingCAP的TiDB,阿里的OceanBase,华为云DWS,都是HTAP的业内常用数仓,可以一站式解决需求...

1.6K84

Oceanus Kudu Sink总结

spiderwu

腾讯云 · 大数据高级工程师 (已认证)

实时即未来,最近在腾讯云Oceanus进行实时计算服务,以下为flink写入Kudu实践中的总结。分享给大家~

38030

通过数据组织优化加速基于Apache Iceberg的大规模数据分析

鱼跟猫

数据湖(Data lake)是一种将数据以原始格式存储在同一个系统或存储库的设计思想。它可以实现在一份数据之上进行多种数据计算,以避免为了多种计算场景而导致数据...

1.1K140

腾讯云EMR基于YARN针对云原生容器化的优化与实践

腾讯云大数据

导语 | 传统HADOOP生态系统使用YARN管理/调度计算资源,该系统⼀般具有明显的资源使⽤周期。实时计算集群资源消耗主要在⽩天,而数据报表型业务则安排在离线...

76850

【全网最新】如何在本地IDE Run起OpenTSDB源码

garyhwang

腾讯 · 工程师 (已认证)

有需求了解一下Opentsdb的源码,然后想着能在本地run起来,打些断点和日志来跟一下,然后兴致勃勃去网上找了资料看看能否快速run起来,但是发现所有的博客、...

43560

HBASE BufferedMutator 批量写入使用举例与源码解析

大鹅

BufferedMutator主要用来异步批量的将数据写入一个hbase表,就像Htable一样。通过Connection获取一个实例。

68750

基于Sentry的大数据权限解决方案

岳涛

腾讯 · 大数据SRE工程师 (已认证)

Apache Sentry 是Cloudera公司发布的一个Hadoop开源组件,截止目前还是Apache的孵化项目,它提供了细粒度级、基于角色的授权以及多租户...

815180

基于Kerberos+Ldap复合认证的大数据权限

岳涛

腾讯 · 大数据SRE工程师 (已认证)

关于Kerberos与Ldap两个方案,此处就不再赘述,分别参考我的另外两篇文章:

1.1K190

基于Kerberos认证的大数据权限解决方案

岳涛

腾讯 · 大数据SRE工程师 (已认证)

Kerberos是由麻省理工(MIT)开发,对三方进行验证鉴权的服务安全管理系统。该系统很好的体现了西方三权分立的思想,其名字也很形象,来源于希腊神话地狱三个脑...

1K170

Hive全库数据迁移方案

岳涛

腾讯 · 大数据SRE工程师 (已认证)

考虑到多数场景是迁移整个Hive数据库,该篇文章只介绍迁移的第二种,即元数据及Hive数据全量迁移。

2.1K180

Impala-查询调优:join 优化

shifeng

本篇章继续Impala查询机制相关的探索和学习,本篇主要讲解join优化器的优化原理和思路。

1.7K30

基于Alluxio优化大数据计算存储分离架构的最佳实践

腾讯云大数据

近年来,随着大数据规模的增长,以及大数据应用的发展,大数据技术的架构也在持续演进。早期的技术架构是计算资源和存储资源高度融合,计算和存储资源一体化存在以下明显的...

89250

秒级去重:ClickHouse在腾讯海量游戏营销活动分析中的应用

腾讯云大数据

导语 | 腾讯内部每日都需要对海量的游戏营销活动数据做效果分析,而活动参与人数的去重一直是一项难点。本文将为大家介绍腾讯游戏营销活动分析系统——奕星,在去重服务...

90650

存算分离下写性能提升10倍以上,EMR Spark引擎是如何做到的?

腾讯云大数据

腾讯云弹性 MapReduce(EMR) 是腾讯云的一个云端托管的弹性开源泛 Hadoop 服务,支持 Spark、Hbase、Presto、Flink、Dru...

49341

基于Alluxio优化大数据计算存储分离架构的最佳实践

sundyxiong

腾讯 · 高级开发工程师 (已认证)

近年来,随着大数据规模的增长,以及大数据应用的发展,大数据技术的架构也在持续演进。早期的技术架构是计算资源和存储资源高度融合,计算和存储资源一体化存在以下明显的...

2.1K100

hbase迁移EMR实践

EMR小助手

一、业务背景: 业务方需要搭建一套hbase集群,数据来源是hive表。 集群数据规模:每天4.5kw个key,420亿条左右数据,平均每个key每天1000个...

51860

EMR数据盘扩容

Yannic

腾讯 · 业务运维 (已认证)

EMR产品文档中说明,当集群的存储资源不足时,可通过控制台对Core节点(Core为存储数据及计算的节点,Task为纯计算节点,不存储数据)进行扩容。当集群的计...

61780

ClickHouse案例:查询结果不一致

Yannic

腾讯 · 业务运维 (已认证)

某用户反馈其使用的ClickHouse集群同样的查询返回了不同的结果,是否是ClickHouse数据不能够保证一致性,还是集群有问题。

7.2K80

聊聊EMR Hadoop集群关于资源分配这些事

EMR小助手

EMR用户常常会将使用不同资源管理系统的组件混合部署在同一个集群,这样会出现资源竞争的情况。若各组件资源超额配置,可能有机器宕机的风险。本文将从案例分析来聊聊混...

78850

扫码关注腾讯云开发者

领取腾讯云代金券