如何给CDH集群增加Gateway节点

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

1.文档编写目的


Gateway节点又称为客户端节点,通常用作访问Hadoop集群的接口机。它主要会部署一些客户端的配置,脚本命令,比如HDFS的core-site.xml,hdfs-site.xml以及hadoop的操作命令。

如果你使用的是Apache Hadoop,你只需要将hadoop相关服务的配置和脚本命令拷贝到客户端机器即可,但一旦集群的配置有所修改,你需要注意也同步到客户端机器。如果是CDH集群,客户端节点也会是Cloudera Manager管理的一台机器,它会被安装cloudera-scm-agent服务,以及CDH的Parcel,部署客户端配置Cloudera Manager会统一做,另外如果客户端机器出现异常,Cloudera Manager也会告警。

增加一台Gateway节点,与安装CDH非常类似,你必须要注意一定要做好客户端机器的前置条件准备,参考《CDH安装前置准备》,否则会增加失败。本文主要描述如何给CDH集群增加Gateway节点。

  • 内容概述

1.创建Gateway节点的主机模板

2.Gateway节点的前置准备

3.增加Gateway节点到集群并应用主机模板

  • 测试环境

1.CDH5.13

2.采用root用户操作

3.CentOS6.5

  • 前置条件

1.CDH5.13集群运行正常

2.Gateway节点已准备

2.创建Gateway节点的主机模板


1.从Cloudera Manager进入“主机模板”页面

2.点击“创建”

3.给模板命名,并选择各个服务的Gateway角色

4.点击“创建”,确认创建成功

3.Gateway节点的前置准备


前置准备请参考Fayson之前的文章《CDH安装前置准备》,主要包括以下步骤:

1.确保OS的yum源可以正常使用,通过yum repolist命令可以查看到匹配的OS的所有包

2.确保Cloudera Manager的yum源运行正常

3.hosts文件配置,需要将Gateway节点的IP和hostname加入到CDH集群节点的hosts文件中,并同步到所有机器包括Gateway节点

4.禁用SELinux

5.关闭防火墙

6.设置swap为10

7.关闭透明大页面

8.配置时钟同步

请务必确保以上操作都已完成,并成功配置,否则接下来的增加节点操作会失败!

4.增加Gateway节点的集群并应用主机模板


1.进入“所有主机”页面

2.点击“向群集添加主机”

3.选择“经典向导”

4.继续

5.输入Gateway节点的IP或者hostname,点击搜索

点击“继续”

6.选择“自定义存储库”,并输入Cloudera Manager的yum源http地址,点击“继续”

7.勾选Java的两个选项,点击“继续”

8.输入Gateway节点的root密码,并点击“继续”

9.等待cloudera-scm-agent在Gateway节点上安装

安装完成点击“继续”

10.等待分发Parcel包并激活

完成后,点击“继续”

11.主机检查,点击“继续”

12.选择主机模板

没有发现之前创建的主机模板文件,这里先不管了,回到Cloudera Manager主页。你也可以在这个页面点击“创建”,直接创建一个主机模板,选中后,点击继续。

13.点击进入“所有主机”页面,可以发现新的Gateway节点已经在主机列表中。

14.选中Gateway节点,并应用主机模板

15.选择之前创建好的主机模板,并勾选应用主机模板。

点击“确认”

16.等待应用主机模板命令执行完毕

待所有步骤执行完毕后,点击“关闭”

17.确认所有Gateway角色已经部署到新的节点

至此,给CDH集群增加新的Gateway节点完成。

为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2017-11-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏蓝天

Hadoop(HDFS、YARN、HBase、Hive和Spark等)默认端口表

15020
来自专栏Hadoop实操

如何在CDH5.15中安装CDSW1.4

45660
来自专栏肖力涛的专栏

Spark 踩坑记:数据库(Hbase+Mysql)

在上篇《spark踩坑记—— 初试》文章中,给大家讲述了spark的基本概念和简要操作 ,这篇文章将对spark操作hbase和mysql的内容进行总结,并且对...

2K20
来自专栏牛肉圆粉不加葱

Spark RPC 简述

Spark 中的消息通信主要涉及 RpcEnv、RpcEndpoint 及 RpcEndpointRef 几个类,下面进行简单介绍

11030
来自专栏Spark学习技巧

Kafka单节点至集群的安装部署及注意事项

kafka简介 kafka的重要作用: 发布和订阅 像消息传递系统一样读写数据流。 处理 编写实时响应事件的可伸缩流处理应用程序 存储系统 将数据流安全地存储...

42770
来自专栏Hadoop实操

如何在Windows Server2008搭建DNS服务并配置泛域名解析

有了DNS服务,对于一个CDH集群的所有节点的hostname和ip,您就再也不需要手动维护各个节点的hosts文件。另外DNS服务对于在CDH上安装或集成Ke...

57850
来自专栏java小白

IDEA快捷键生成serialVersionUID

61560
来自专栏全栈架构

Centos7离线安装Cloudera Manager 5.14.1

如果是新手,请严格按照步骤来做。当然还有其他安装方式,这里讲的方式比较适合测试使用。

80110
来自专栏数据之美

SecureCRT 端口转发突破防火墙访问内网机器

在实际工作环境中,经常有这样的网络环境,如图所示: ? 机器A(比如跳板机、堡垒机)和机器B处于同一个内网环境,机器A有外网IP,可以供我的机器访问,但是我还想...

37190
来自专栏Hadoop实操

如何在CDH中使用HBase的ACLs进行授权

39140

扫码关注云+社区

领取腾讯云代金券