首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
首页标签弹性 MapReduce

#弹性 MapReduce

安全、灵活的云端托管 Hadoop 服务

「EMR 开发指南」之 Sqoop 常见问题处理

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

Sqoop是一种用于在Apache Hadoop和结构化数据存储(如关系数据库)之间传输数据的开源工具。它允许用户在Hadoop分布式文件系统(HDFS)和外部...

23930

「EMR 运维指南」之 HiveServer2 启用 Custom 鉴权

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

HiveServer2 服务默认不启用鉴权功能,这样的话随意输入密码都能连接上,容易造成安全隐患,下面讲解下如何配置Hiveserver2 的 Custom 鉴...

35980

「EMR 运维指南」之 Impala 关联 Sentry + Hue

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

在EMR集群带公网master节点部署sentry服务,Impala的GROUP组需要在Impala server节点上进行创建系统组与之关联。

472111

【大数据】产品文档捉虫活动

腾讯云文档

腾讯 · 高级经理 (已认证)

为了提升广大用户的文档的使用体验,现推出【大数据】产品文档定向捉虫活动。邀请大家对指定产品文档进行体验,反馈文档问题就有机会获得腾讯云电子代金券、京东储值卡和神...

28310

自建迁移EMR实践案例

腾讯云大数据

自建开源大数据平台会随着企业数据的增长遇到:性能慢、扩容周期长、平台稳定性差、运维难、投入成本高等问题。在这里我们将从 EMR 的简介、EMR与自建Hadoop...

3.5K140

Spark SQL报错:org.apache.spark.sql.catalyst.errors.package$TreeNodeException 排查记录

王旭平

腾讯科技有限公司 · 产品架构工程师 (已认证)

在EMR集群上按小时跑的spark sql 任务有时会失败,在driver端的日志中可以看到报错: org.apache.spark.sql.catalyst....

2.3K140

腾讯云大数据技术介绍-数据查询弹性 MapReduce

jerryteng

上一节我们讲到了大数据的存储 : https://cloud.tencent.com/developer/article/1878422

1.5K50

高吞吐实时事务数仓方案调研 flink kudu+impala hbase等

大鹅

商汤 · 算法 (已认证)

腾讯云数据仓库PostgreSql TDSQL,PingCAP的TiDB,阿里的OceanBase,华为云DWS,都是HTAP的业内常用数仓,可以一站式解决需求...

4K84

Oceanus Kudu Sink总结

spiderwu

实时即未来,最近在腾讯云Oceanus进行实时计算服务,以下为flink写入Kudu实践中的总结。分享给大家~

1.1K30

通过数据组织优化加速基于Apache Iceberg的大规模数据分析

鱼跟猫

数据湖(Data lake)是一种将数据以原始格式存储在同一个系统或存储库的设计思想。它可以实现在一份数据之上进行多种数据计算,以避免为了多种计算场景而导致数据...

2.4K140

腾讯云EMR基于YARN针对云原生容器化的优化与实践

腾讯云大数据

导语 | 传统HADOOP生态系统使用YARN管理/调度计算资源,该系统⼀般具有明显的资源使⽤周期。实时计算集群资源消耗主要在⽩天,而数据报表型业务则安排在离线...

1.9K50

【全网最新】如何在本地IDE Run起OpenTSDB源码

garyhwang

有需求了解一下Opentsdb的源码,然后想着能在本地run起来,打些断点和日志来跟一下,然后兴致勃勃去网上找了资料看看能否快速run起来,但是发现所有的博客、...

96660

HBASE BufferedMutator 批量写入使用举例与源码解析

大鹅

商汤 · 算法 (已认证)

BufferedMutator主要用来异步批量的将数据写入一个hbase表,就像Htable一样。通过Connection获取一个实例。

2K50

基于Sentry的大数据权限解决方案

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

Apache Sentry 是Cloudera公司发布的一个Hadoop开源组件,截止目前还是Apache的孵化项目,它提供了细粒度级、基于角色的授权以及多租户...

1.3K210

基于Kerberos+Ldap复合认证的大数据权限

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

关于Kerberos与Ldap两个方案,此处就不再赘述,分别参考我的另外两篇文章:

2.1K220

基于Kerberos认证的大数据权限解决方案

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

Kerberos是由麻省理工(MIT)开发,对三方进行验证鉴权的服务安全管理系统。该系统很好的体现了西方三权分立的思想,其名字也很形象,来源于希腊神话地狱三个脑...

2.4K200

Hive全库数据迁移方案

岳涛

腾讯 · 大数据SRE研发工程师 (已认证)

考虑到多数场景是迁移整个Hive数据库,该篇文章只介绍迁移的第二种,即元数据及Hive数据全量迁移。

4.7K212

Impala-查询调优:join 优化

shifeng

本篇章继续Impala查询机制相关的探索和学习,本篇主要讲解join优化器的优化原理和思路。

2.8K30

基于Alluxio优化大数据计算存储分离架构的最佳实践

腾讯云大数据

近年来,随着大数据规模的增长,以及大数据应用的发展,大数据技术的架构也在持续演进。早期的技术架构是计算资源和存储资源高度融合,计算和存储资源一体化存在以下明显的...

1.6K50

秒级去重:ClickHouse在腾讯海量游戏营销活动分析中的应用

腾讯云大数据

导语 | 腾讯内部每日都需要对海量的游戏营销活动数据做效果分析,而活动参与人数的去重一直是一项难点。本文将为大家介绍腾讯游戏营销活动分析系统——奕星,在去重服务...

1.6K50
领券