前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >如何在CDH集群中加入异构设备

如何在CDH集群中加入异构设备

作者头像
Fayson
修改2018-04-01 19:27:54
1.4K0
修改2018-04-01 19:27:54
举报
文章被收录于专栏:Hadoop实操

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

1.文档编写目的


在部署CDH集群或者扩容时,会遇到服务器配置不同(CPU、Memory、DISK等)的情况,那我们应该如何加入异构设备,并进行差异化的配置呢?本篇文章主要讲述如何使用CM通过角色组对异构设备进行分组并对角色组进行参数配置。

  • 内容概述

1.添加异构设备

2.创建角色组并分配主机

3.配置角色组参数

  • 测试环境

1.CM和CDH版本为5.13.0

  • 前置条件

1.待加入的异构设备操作系统版本与集群中集群的操作系统版本一致

2.待加入的异构设备已完成CDH前置条件准备

2.添加异构设备


1.使用CM的“向集群添加新主机”功能,添加异构设备到集群

2.向集群添加新主机(ip-172-31-9-33.fayson.com)

3.分发Parcel

4.主机检查

5.部署客户端

6.主机应用模板,若没有模板,可以在cm中先创建主机模板

7.启动主机角色

3.创建角色并分组设置不同的参数

3.1创建角色组并分配主机


这里的角色组是跟服务相关联的,因为我们刚添加的节点是作为数据节点,节点上运行了HDFS的DataNode和YARN的NodeManager,所以,我们可以分别在HDFS服务和YARN服务中创建角色组,这里以创建HDFS的角色组为例,其他服务的角色组创建方式相同。

1.首先我们创建HDFS的角色组,进入HDFS的配置页面,点击‘角色组’

2.点击角色组,进入角色管理界面,然后点击“创建”

3.创建一个新的角色组

这里可以看到我们刚创建的角色组

将刚刚新加入的主机移至新创建的角色组

已将新加入节点添加至datanode-low角色组

完后后,回到HDFS配置首页,需要对新的角色组设置数据目录,这个可以和default组保持一致,然后保存更改

4.配置datanode-low角色组的数据目录

3.2角色组参数设置


我们假设对不同的角色组的资源分配做不同的设置,比如我们设置dfs.datanode.du.reserved参数,datanode-low分组设置为8G,然后保存,重启HDFS即可。‘编辑单个值’的意思是,如果多个角色组中设置的值相同,则CM会合并显示,点击‘编辑单个值’则可以展开每个角色组进行单独编辑对应的内容。

点击“编辑单个值”,设置datanode-low配置为8G

3.3数据均衡操作


如果有数据节点加入集群,需要对HDFS进行重新平衡操作,首先需要在HDFS组件中有Balancer角色实例,如果没有,则必须添加添加一个Balancer角色实例

1.进入HDFS服务,点击“重新平衡”

2.点击“重新平衡”

3.执行完成

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。


推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2017-11-09,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Hadoop实操 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
专用宿主机
专用宿主机(CVM Dedicated Host,CDH)提供用户独享的物理服务器资源,满足您资源独享、资源物理隔离、安全、合规需求。专用宿主机搭载了腾讯云虚拟化系统,购买之后,您可在其上灵活创建、管理多个自定义规格的云服务器实例,自主规划物理资源的使用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档