公有云大数据平台弹性 MapReduce

27 篇文章
160 人订阅

Hadoop

洛杉矶

腾讯 · 高级工程师 (已认证)

NameNode 高HA

NameNode 保存了整个 HDFS 的元数据信息,一旦 NameNode 挂掉,整个 HDFS 就无法访问。为了提高HDFS的高可用性,在 Hadoop2....

8.7K60
shangwen_

HiveServer2用户名和密码认证

解压之后将libjpam.s复制到/usr/local/service/hadoop/lib/native中

2.1K00
sundyxiong

腾讯 · 高级开发工程师 (已认证)

多EMR-Presto集群共享EMR-Hive集群配置方案

EMR的某些客户的数据仓库使用EMR-Hive存储,presto连接hive快速ad-hoc查询,但是有些场景下不同的业务部门有各自不同的使用presto查询需...

38280
liubang01

基于 Flume 和 EMR 构建低成本大数据应用

Flume 是一个分布式的日志收集系统,它可以将应用服务器产生的日志、消息中间件 (比如 kafka) 的消息等其他数 据串联起来发送到指定的存储以供数据分析使...

3K260
程序猿

HDFS写流程 源码走读

PPT ...

16220
宋超

腾讯 · 技术测试工程师 (已认证)

ResourceManager中的Resource Estimator框架介绍与算法剖析

本文首先介绍了Hadoop中的ResourceManager中的estimator service的框架与运行流程,然后对其中用到的资源估算算法进行了原理剖析。

2.5K160
shangwen_

浅谈Hadoop Distcp工具的InputFormat

从Hadoop的出现到现在已经超过十年了,它在大数据领域扮演着一个重要的角色,相信在Hadoop的使用过程中,或多或少的都会用到自带的一个常用工具,就是Hado...

27230
wellgao

在emr中使用httpfs组件

httpfs是hadoop中HDFS over HTTP的实现,为HDFS的读写操作提供了统一的REST HTTP接口。在一些特定场景下非常有用,例如不同had...

365100

扫码关注云+社区

领取腾讯云代金券