pwpeng

LV0
发表了文章

hbase迁移EMR实践

一、业务背景: 业务方需要搭建一套hbase集群,数据来源是hive表。 集群数据规模:每天4.5kw个key,420亿条左右数据,平均每个key每天1000个...

pwpeng
弹性 MapReduce
发表了文章

聊聊EMR Hadoop集群关于资源分配这些事

EMR用户常常会将使用不同资源管理系统的组件混合部署在同一个集群,这样会出现资源竞争的情况。若各组件资源超额配置,可能有机器宕机的风险。本文将从案例分析来聊聊混...

pwpeng
弹性 MapReduce
发表了文章

一次误格式化引发的hdfs集群不可用

我们知道hadoop集群搭建之后,并不能马上启动集群进行使用,需要对namenode做格式化。具体执行的命令:hadoop namenode -format。n...

pwpeng
MapReduce
发表了文章

HDFS集群缩容案例: Decommission DataNode

在HDFS集群运维过程中,常会碰到因为实际业务增长低于集群创建时的预估规模;集群数据迁出,数据节点冗余较多;费用控制等原因,需要对集群进行缩容操作。Decomm...

pwpeng
MapReduce
加入了专栏

腾讯云大数据与AI专家服务

针对ES、EMR等大数据产品,人脸、文字、语音识别等AI产品,从产品、服务等角度介绍接入流程、经典案例等

35 文章35 关注者

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券