如何在CDH集群中加入异构设备

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

1.文档编写目的


在部署CDH集群或者扩容时,会遇到服务器配置不同(CPU、Memory、DISK等)的情况,那我们应该如何加入异构设备,并进行差异化的配置呢?本篇文章主要讲述如何使用CM通过角色组对异构设备进行分组并对角色组进行参数配置。

  • 内容概述

1.添加异构设备

2.创建角色组并分配主机

3.配置角色组参数

  • 测试环境

1.CM和CDH版本为5.13.0

  • 前置条件

1.待加入的异构设备操作系统版本与集群中集群的操作系统版本一致

2.待加入的异构设备已完成CDH前置条件准备

2.添加异构设备


1.使用CM的“向集群添加新主机”功能,添加异构设备到集群

2.向集群添加新主机(ip-172-31-9-33.fayson.com)

3.分发Parcel

4.主机检查

5.部署客户端

6.主机应用模板,若没有模板,可以在cm中先创建主机模板

7.启动主机角色

3.创建角色并分组设置不同的参数

3.1创建角色组并分配主机


这里的角色组是跟服务相关联的,因为我们刚添加的节点是作为数据节点,节点上运行了HDFS的DataNode和YARN的NodeManager,所以,我们可以分别在HDFS服务和YARN服务中创建角色组,这里以创建HDFS的角色组为例,其他服务的角色组创建方式相同。

1.首先我们创建HDFS的角色组,进入HDFS的配置页面,点击‘角色组’

2.点击角色组,进入角色管理界面,然后点击“创建”

3.创建一个新的角色组

这里可以看到我们刚创建的角色组

将刚刚新加入的主机移至新创建的角色组

已将新加入节点添加至datanode-low角色组

完后后,回到HDFS配置首页,需要对新的角色组设置数据目录,这个可以和default组保持一致,然后保存更改

4.配置datanode-low角色组的数据目录

3.2角色组参数设置


我们假设对不同的角色组的资源分配做不同的设置,比如我们设置dfs.datanode.du.reserved参数,datanode-low分组设置为8G,然后保存,重启HDFS即可。‘编辑单个值’的意思是,如果多个角色组中设置的值相同,则CM会合并显示,点击‘编辑单个值’则可以展开每个角色组进行单独编辑对应的内容。

点击“编辑单个值”,设置datanode-low配置为8G

3.3数据均衡操作


如果有数据节点加入集群,需要对HDFS进行重新平衡操作,首先需要在HDFS组件中有Balancer角色实例,如果没有,则必须添加添加一个Balancer角色实例

1.进入HDFS服务,点击“重新平衡”

2.点击“重新平衡”

3.执行完成

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。


推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2017-11-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏加米谷大数据

HDFS的特点分析以及如何存储数据

HDFS采用Master/Slave的架构来存储数据,这种架构主要由四个部分组成,分别为HDFS Client、NameNode、DataNode和Second...

1241
来自专栏cloudskyme

Hadoop使用(二)

前提和设计目标 硬件错误 硬件错误是常态而不是异常。HDFS可能由成百上千的服务器所构成,每个服务器上存储着文件系统的部分数据。我们面对的现实是构成系统的组件...

37210
来自专栏灯塔大数据

每周学点大数据 | No.63 Hadoop MapReduce 实践—环境搭建(下)

NO.63  Hadoop MapReduce 实践—环境搭建(下) Mr. 王:vim 是Linux 下开源的文本编辑器,它的功能非常强大,受到广大编程爱好...

3465
来自专栏程序员笔录

Spark 开发环境搭建

本文是对初始接触 Spark 开发的入门介绍,说明如何搭建一个比较完整的 Spark 开发环境,如何开始应用相关工具。文中如有错误或者不当之处,敬请指正。

1.8K1
来自专栏祝威廉

StreamingPro 再次支持 Structured Streaming

之前已经写过一篇文章,StreamingPro 支持Spark Structured Streaming,不过当时只是玩票性质的,因为对Spark 2.0+ 版...

1003
来自专栏别先生

一脸懵逼学习基于CentOs的Hadoop集群安装与配置(三台机器跑集群)

1:Hadoop分布式计算平台是由Apache软件基金会开发的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS)和MapReduce(Google...

2755
来自专栏我是攻城师

Spark Streaming如何使用checkpoint容错

5967
来自专栏恰童鞋骚年

Hadoop学习笔记—22.Hadoop2.x环境搭建与配置

自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我...

2501
来自专栏加米谷大数据

技术干货 | Hadoop3.0稳定版安装攻略来啦!

第一次安装Apache Hadoop3.0.0是不是状况百出?没关系安装攻略来啦! ? Apache Hadoop 3.0.0在前一个主要发行版本(hadoop...

5279
来自专栏码字搬砖

Impala原理、使用

简介: impala属于Cloudera,基于内存的,可用户实时的交互式查询。Cloudera建议Impala集群内存最少128G,Impalad与Data...

3143

扫码关注云+社区

领取腾讯云代金券