公有云大数据平台弹性MapReduce

12 篇文章
42 人订阅

全部文章

熊训德

腾讯 · 开发工程师 (已认证)

Presto内存调优及原理(基础篇)

Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。

2625
wellgao

在emr中使用httpfs组件

httpfs是hadoop中HDFS over HTTP的实现,为HDFS的读写操作提供了统一的REST HTTP接口。在一些特定场景下非常有用,例如不同had...

26710
jacopeng

腾讯 · 高级工程师 (已认证)

EMR之HBASE集群参数调优与压测

HBase 是Hadoop生态里重要一员。对HBase的调优,对节约成本,提升用户体验有重要意义。

1424
edwinhzhang

集群提交客户机搭建步骤

1 拷贝如下脚本内容至需要安装的客户机,保存为 emr-install-clients.sh:

55910
陈龙

腾讯云大数据开发 · 大数据研发 (已认证)

Hbase参数调优

2. 管理和分配HRegion,比如在HRegion split 时分配新的HRegion;在HRegionServer 退出时迁移其内的

4018
edwinhzhang

yarn UI中appliaction展示个数分析

客户在使用我们的EMR产品时一天大概提交2000个appliaction,但是yarn的UI界面仅仅展示出了100多个历史application信息,影响了客户...

3495
edwinhzhang

EMR-CORE节点安装kylin

mv /usr/local/service/apps/kylin-2.1.0/ /usr/local/service/kylin

4735
jacopeng

腾讯 · 高级工程师 (已认证)

腾讯云EMR使用说明: 配置工作流

本文将通过一个简单,并且具有典型代表的例子,描述如何使用EMR产品中的Hue组件创建工作流,并使该工作流每天定时执行。

9.8K13
陈龙

腾讯云大数据开发 · 大数据研发 (已认证)

Hbase Region Split compaction 过程分析以及调优

Hbase以高并发写入而闻名,而Compact和Split功能贯穿了hbase的整个写入过程,而只有掌握了Compact和Split内部逻辑以及控制参数才能根据...

9160
陈龙

腾讯云大数据开发 · 大数据研发 (已认证)

HDFS 异构存储

Hadoop 从 2.4 后开始支持异构存储,异构存储是为了解决爆炸式的存储容量增长以及计算能力增长所带来的数据存储需求,本文主要介绍了HDFS 如何按照一定的...

1K1
陈龙

腾讯云大数据开发 · 大数据研发 (已认证)

Hbase 调优之 RPC

本文暂时先研究了hbaserpc部分的代码,rpc作为调用的入口,先从入口处明白原理以及内部实际控制参数进行调整来满足自己的以为需要。

9390
陈龙

腾讯云大数据开发 · 大数据研发 (已认证)

Redis 单机主从高可用性优化

redis是一款高性能的内存数据库,本文侧重描述redis在主从模式下遇到的一些问题以及如何调优,特别是在云环境下遇到的一些特殊问题,至于redis如何使用以及...

4.6K0

扫描关注云+社区