公有云大数据平台弹性 MapReduce

27 篇文章
152 人订阅

全部文章

洛杉矶

腾讯 · 高级工程师 (已认证)

NameNode 高HA

NameNode 保存了整个 HDFS 的元数据信息,一旦 NameNode 挂掉,整个 HDFS 就无法访问。为了提高HDFS的高可用性,在 Hadoop2....

8.6K6
shangwen_

HiveServer2用户名和密码认证

解压之后将libjpam.s复制到/usr/local/service/hadoop/lib/native中

1.9K0
shangwen_

EMR常见FAQ (持续更新中)

1. 去到不健康节点的机器,用du命令去查看/data目录数据大小的分布情况,找出占比最大的目录

8222
sundyxiong

腾讯 · 高级开发工程师 (已认证)

多EMR-Presto集群共享EMR-Hive集群配置方案

EMR的某些客户的数据仓库使用EMR-Hive存储,presto连接hive快速ad-hoc查询,但是有些场景下不同的业务部门有各自不同的使用presto查询需...

3698
AAACCC

腾讯 · 开发工程师 (已认证)

yarn公平调度详细分析(一)

FairScheduler是yarn常用的调度器,但是仅仅参考官方文档,有很多参数和概念文档里没有详细说明,但是这些参明显会影响到集群的正常运行。本文的主要目的...

1.7K17
sundyxiong

腾讯 · 高级开发工程师 (已认证)

分布式sql引擎原理分析-逻辑执行计划生成

本文档以当前流行的分布式大数据查询引擎Presto为切入点,分析一个query语句怎么生成为一个分段的逻辑计划。

1.2K13
liubang01

基于 Flume 和 EMR 构建低成本大数据应用

Flume 是一个分布式的日志收集系统,它可以将应用服务器产生的日志、消息中间件 (比如 kafka) 的消息等其他数 据串联起来发送到指定的存储以供数据分析使...

3K26
程序猿

EMR上Hive ACL配置

到目前为止,hive就已经支持acl功能了。现在来看看如果使用acl功能(常用命令)。

2963
程序猿

HDFS写流程 源码走读

PPT ...

1582
程序猿

EMR上Zeppelin入门

简而言之,就是一个大数据分析平台。用户可以利用提供好的WEB UI,在线编写分析逻辑代码,输出结果,并且能够利用可视化工具,形象生动的在线展示结果。

1871
程序猿

MR调优实战

参数1-6是针对yarn的设置。参数1是告诉集群本节点有多少内存资源。2和3设置单个container能够申请到的最小最大内存。4是是否物理开启内存监控,监控c...

2341
宋超

腾讯 · 技术测试工程师 (已认证)

ResourceManager中的Resource Estimator框架介绍与算法剖析

本文首先介绍了Hadoop中的ResourceManager中的estimator service的框架与运行流程,然后对其中用到的资源估算算法进行了原理剖析。

2.5K16
shangwen_

简单了解公平调度器的一些队列设置

在腾讯云EMR的用户日常反馈中,经常会遇到因为YARN的队列配置不合理导致资源利用率不高,任务提交不上的问题,所以有了以下的文章,方便用户在日常按照一定的需求将...

2222
shangwen_

浅谈Hadoop Distcp工具的InputFormat

从Hadoop的出现到现在已经超过十年了,它在大数据领域扮演着一个重要的角色,相信在Hadoop的使用过程中,或多或少的都会用到自带的一个常用工具,就是Hado...

2423
shangwen_

YARN之label调度在EMR中的应用

在腾讯云EMR的用户场景使用当中,有部分用户要求希望他们能在任务高峰期,对集群进行扩容,利用云端的弹性计算资源,为集群扩展计算能力,并且在集群相对空闲的情况下,...

3133
sundyxiong

腾讯 · 高级开发工程师 (已认证)

Presto内存调优及原理(基础篇)

Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。

1.9K10
wellgao

在emr中使用httpfs组件

httpfs是hadoop中HDFS over HTTP的实现,为HDFS的读写操作提供了统一的REST HTTP接口。在一些特定场景下非常有用,例如不同had...

35810
fastio

腾讯 · 高级工程师 (已认证)

EMR之HBASE集群参数调优与压测

HBase 是Hadoop生态里重要一员。对HBase的调优,对节约成本,提升用户体验有重要意义。

3134
edwinhzhang

集群提交客户机搭建步骤

1 拷贝如下脚本内容至需要安装的客户机,保存为 emr-install-clients.sh:

76310
liubang01

Hbase参数调优

2. 管理和分配HRegion,比如在HRegion split 时分配新的HRegion;在HRegionServer 退出时迁移其内的

5959

扫码关注云+社区

领取腾讯云代金券