如何在CDH集群外配置非Kerberos环境的Gateway节点

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

Fayson的github: https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.文档编写目的


在使用CDH集群过程中会遇到在集群外的节点使用Hadoop命令访问集群(如:hdfs、hbase、hive、spark、yarn)等命令操作,这时又不想将该节点添加到CDH集群中管理,本篇文章主要介绍如何在集群外节点不通过CM部署一个Gateway节点。

  • 内容概述

1.部署环境说明

2.部署Gateway节点及测试

3.总结

  • 测试环境

1.CM和CDH版本为5.14.2

2.操作系统为RedHat7.3

3.操作用户root

  • 前置条件

1.Gateway节点与集群网络正常

2.环境说明


集群外节点:

集群环境:

cdh05.fayson.com节点并未添加到CM中;

3.部署Gateway节点


1.将集群的hosts文件同步至该Gateway节点(cdh05.fayson.com)

[root@cdh01 ~]# scp /etc/hosts cdh05.fayson.com:/etc/

(可左右滑动)

2.登录集群任意节点,将集群的Java目录拷贝至(cdh05.fayson.com)节点的/usr/java目录下

[root@cdh01 conf]# scp -r /usr/java/jdk1.8.0_131/ cdh05.fayson.com:/usr/java/

(可左右滑动)

3.登录CDH集群的任意节点,将/opt/cloudera/parcels目录压缩并拷贝至(cdh05.fayson.com)节点

[root@cdh01 parcels]# tar -czvf cdh.tar.gz CDH-5.14.2-1.cdh5.14.2.p0.3/ CDH/
[root@cdh01 ~]# scp -r /opt/cloudera cdh05.fayson.com:/opt/

(可左右滑动)

4.登录(cdh05.fayson.com)节点的服务器上,创建/opt/cloudera/parcels目录,并将cdh.tar.gz解压至该目录下

[root@cdh05 ~]# mkdir -p /opt/cloudera/
[root@cdh05 ~]# tar -zxvf cdh.tar.gz -C /opt/cloudera/parcels
[root@cdh05 ~]# ll /opt/cloudera/parcels/

(可左右滑动)

5.在(cdh05.fayson.com)节点上执行如下命令创建服务配置文件存放目录

[root@cdh05 ~]# mkdir -p /etc/spark/conf
[root@cdh05 ~]# mkdir -p /etc/hadoop/conf
[root@cdh05 ~]# mkdir -p /et/hbase/conf
[root@cdh05 ~]# mkdir -p /etc/hive/conf

(可左右滑动)

登录CDH集群拥有spark、hadoop、hbase、hive等Gateway节点上将/etc/*/conf目录下的配置文件拷贝至(cdh05.fayson.com)节点相应目录下

scp -r /etc/hadoop/conf/* cdh05.fayson.com:/etc/hadoop/conf
scp -r /etc/spark/conf/* cdh05.fayson.com:/etc/spark/conf
scp -r /etc/hbase/conf/* cdh05.fayson.com:/etc/hbase/conf
scp -r /etc/hive/conf/* cdh05.fayson.com:/etc/hive/conf

(可左右滑动)

Spark配置文件:

HBase配置文件:

Hive配置文件:

Hadoop配置文件:

6.配置(cdh05.fayson.com)节点的环境变量

修改/etc/profile配置文件,在文件的末尾增加如下配置:

export JAVA_HOME=/usr/java/jdk1.8.0_131
export CDH_HOME=/opt/cloudera/parcels/CDH
export PATH=$CDH_HOME/bin:$PATH

(可左右滑动)

修改后执行如下命令是环境变量生效:

[root@cdh05 ~]# source /etc/profile

(可左右滑动)

4.GateWay客户端命令验证


1.执行hadoop命令测试

[root@cdh05 ~]# hadoop fs -ls /

(可左右滑动)

hadoop命令执行成功。

2.向集群提交一个MR作业

[root@cdh05 ~]# hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 5 5 

(可左右滑动)

作业执行成功。

3.使用yarn命令查看

[root@cdh05 ~]# yarn application --list

(可左右滑动)

Yarn命令执行成功。

4.使用hbase shell访问HBase

[root@cdh05 ~]# hbase shell

(可左右滑动)

5.使用hive和beeline访问Hive

[root@cdh05 ~]# hive

(可左右滑动)

Beeline访问:

[root@cdh05 ~]# beeline 
beeline> !connect jdbc:hive2://cdh01.fayson.com:10000/;principal=hive/cdh01.fayson.com@FAYSON.COM

(可左右滑动)

6.使用Impala-shell访问Hive

[root@cdh05 ~]# impala-shell -i cdh03.fayson.com

(可左右滑动)

5.总结


1.配置Gateway节点时需要将各服务的客户端配置文件拷贝至Gateway节点的对应目录下,默认为/etc/{servicename}/conf目录,否则无法访问的CDH集群。

2.配置Gateway节点是需要将集群的/usr/java目录下的JDK拷贝至Gateway节点的对应目录下。

3.配置Gateway环境变量时使用的/opt/cloudera/parcels/CDH/bin目录下的服务命令,使用其他目录下的可能会报错。

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2018-06-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Hadoop实操

如何修改CDH集群的DataNoe节点HOSTNAME

在使用CDH集群的过程中,会涉及到修改集群DataNode的HOSTNAME,在修改HOSTSNAME的时候需要注意什么,如何让新修改HOSTSNAME的CDH...

6035
来自专栏AILearning

Apache Spark 2.2.0 中文文档 - 集群模式概述 | ApacheCN

集群模式概述 该文档给出了 Spark 如何在集群上运行、使之更容易来理解所涉及到的组件的简短概述。通过阅读 应用提交指南 来学习关于在集群上启动应用。 ...

1845
来自专栏我爱编程

搭建Hadoop伪分布式环境

安装SSH: sudo yum install opensh-clients openssh-server 安装完成后,可以使用下面命令进行测试: ssh...

3923
来自专栏Hadoop实操

如何将HDFS文件系统挂载到Linux本地文件系统

Hadoop支持通过NFSv3挂载HDFS文件系统到本地目录,允许用户像访问本地文件系统一样访问HDFS,对于普通用户来说大大的简化了HDFS的使用。该功能通过...

1.6K7
来自专栏Hadoop实操

0459-如何使用SQuirreL通过JDBC连接CDH的Hive(方式一)

SQuirreL SQL Client是一个使用Java写的访问各种数据库客户端工具,使用JDBC统一了数据库的访问接口,通过SQuirreL SQL Clie...

1153
来自专栏Hadoop实操

如何指定Spark1作业中Driver和Executor使用指定范围内端口

在CDH集群中提交Spark作业,大家也都知道Spark的Driver和Executor之间通讯端口是随机的,Spark会随选择1024和65535(含)之间的...

2816
来自专栏我是攻城师

Hive集成Tez让大象飞起来

3888
来自专栏性能与架构

Hadoop如何使用Zookeeper来保障高可用?

问题描述 Hadoop 中有一个分布式调度框架 YARN,是很基础的重要框架,用来支持多种计算模型和进行资源调度。 先看下 YARN 的架构图 ? 不需要了解这...

3956
来自专栏Hadoop实操

如何修改CM及CDH元数据库配置

在前面Fayson介绍了《如何实现CDH元数据库MySQL的主主互备》和《如何实现CDH元数据库MySQL的高可用》,实现了MySQL的高可用后访问地址有了变化...

6445
来自专栏Albert陈凯

XX公司大数据笔试题(A)

XX公司大数据笔试题(A) 大数据基础(HDFS/Hbase/Hive/Spark〉 1.1. 对出Hadoop集群典型的配置文件名称,并说明各配置文件的用途...

6394

扫码关注云+社区

领取腾讯云代金券