如何在CDH集群中加入异构设备

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

1.文档编写目的

在部署CDH集群或者扩容时，会遇到服务器配置不同（CPU、Memory、DISK等）的情况，那我们应该如何加入异构设备，并进行差异化的配置呢？本篇文章主要讲述如何使用CM通过角色组对异构设备进行分组并对角色组进行参数配置。

• 内容概述

1.添加异构设备

2.创建角色组并分配主机

3.配置角色组参数

• 测试环境

1.CM和CDH版本为5.13.0

• 前置条件

1.待加入的异构设备操作系统版本与集群中集群的操作系统版本一致

2.待加入的异构设备已完成CDH前置条件准备

2.添加异构设备

1.使用CM的“向集群添加新主机”功能，添加异构设备到集群

2.向集群添加新主机（ip-172-31-9-33.fayson.com）

3.分发Parcel

4.主机检查

5.部署客户端

6.主机应用模板，若没有模板，可以在cm中先创建主机模板

7.启动主机角色

3.创建角色并分组设置不同的参数

3.1创建角色组并分配主机

这里的角色组是跟服务相关联的，因为我们刚添加的节点是作为数据节点，节点上运行了HDFS的DataNode和YARN的NodeManager，所以，我们可以分别在HDFS服务和YARN服务中创建角色组，这里以创建HDFS的角色组为例，其他服务的角色组创建方式相同。

1.首先我们创建HDFS的角色组，进入HDFS的配置页面，点击‘角色组’

2.点击角色组，进入角色管理界面，然后点击“创建”

3.创建一个新的角色组

这里可以看到我们刚创建的角色组

将刚刚新加入的主机移至新创建的角色组

已将新加入节点添加至datanode-low角色组

完后后，回到HDFS配置首页，需要对新的角色组设置数据目录，这个可以和default组保持一致，然后保存更改

4.配置datanode-low角色组的数据目录

3.2角色组参数设置

我们假设对不同的角色组的资源分配做不同的设置，比如我们设置dfs.datanode.du.reserved参数，datanode-low分组设置为8G，然后保存，重启HDFS即可。‘编辑单个值’的意思是，如果多个角色组中设置的值相同，则CM会合并显示，点击‘编辑单个值’则可以展开每个角色组进行单独编辑对应的内容。

点击“编辑单个值”，设置datanode-low配置为8G

3.3数据均衡操作

如果有数据节点加入集群，需要对HDFS进行重新平衡操作，首先需要在HDFS组件中有Balancer角色实例，如果没有，则必须添加添加一个Balancer角色实例

1.进入HDFS服务，点击“重新平衡”

2.点击“重新平衡”

3.执行完成

为天地立心，为生民立命，为往圣继绝学，为万世开太平。 温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操