0567-6.1.0-非Kerberos环境下集群外跨操作系统的Gateway节点配置
0567-6.1.0-非Kerberos环境下集群外跨操作系统的Gateway节点配置
Fayson
发布于 2019-04-29 16:04:09
发布于 2019-04-29 16:04:09
作者：李继武
1
文档编写目的
用户在使用Hadoop集群的过程中需要将集群外节点且跨操作系统(suse)的服务器配置为CDH的Gateway角色。本篇文章Fayson主要介绍在Redhat7操作系统上运行的非安全的CDH集群外，为一台suse12操作系统的节点配置为该集群的Gateway节点，且该节点不纳入Cloudera Manager管理。
2
Gateway配置过程
1.查看需要配置Gateway节点的操作系统版本
2.修改主机名
hostnamectl set-hostname cdh238.macro.com
3.将该主机添加到原集群的所有节点host文件中
sh batch_cmd.sh node.list “192.168.0.238 cdh238.macro.com”并将cm节点的hosts文件拷贝到新节点上来：
4.创建/opt/cloudera/parcels目录
mkdir /opt/cloudera/parcels5.上传对应CDH版本以及SUSE操作系统的parcel包
6.解压parcel包到/opt/cloudera/parcels下
tar -zxvf CDH-6.1.0-1.cdh6.1.0.p0.770702-sles12.parcel -C /opt/cloudera/parcels/建立软连接
cd /opt/cloudera/parcels
ln -s CDH-6.1.0-1.cdh6.1.0.p0.770702 CDH
7.创建java_home目录
mkdir -p /usr/java8.从cm节点拷贝jdk到新节点
scp -r cdh234.macro.com:/usr/java/jdk1.8.0_141-cloudera /usr/java
9.配置CDH_HOME和JAVA_HOME，并配置PATH
export JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera
export CDH_HOME=/opt/cloudera/parcels/CDH
export PATH=$CDH_HOME/bin:$JAVA_HOME/bin:$PATH更新环境变量
source /etc/profile
10.创建配置文件目录
mkdir -p /etc/spark/conf
mkdir -p /etc/hadoop/conf
mkdir -p /et/hbase/conf
mkdir -p /etc/hive/conf
mkdir -p /etc/hadoop/conf.cloudera.hdfs
mkdir -p /etc/hadoop/conf.cloudera.yarn11.从原集群中拉取配置文件
scp -r cdh234.macro.com:/etc/hadoop/conf/* /etc/hadoop/conf
scp -r cdh234.macro.com:/etc/spark/conf/* /etc/spark/conf
scp -r cdh234.macro.com:/etc/hbase/conf/* /etc/hbase/conf
scp -r cdh234.macro.com:/etc/hive/conf/* /etc/hive/conf
scp -r cdh234.macro.com:/etc/hadoop/conf.cloudera.hdfs/* /etc/hadoop/conf.cloudera.hdfs
scp -r cdh234.macro.com:/etc/hadoop/conf.cloudera.yarn/* /etc/hadoop/conf.cloudera.yarn3
客户端功能验证
1.HDFS命令验证
在目录下创建a.txt文件
在hdfs上新建一个目录/tmp/test
将a.txt上传到/tmp/test目录下
将本地的a.txt删除，从hdfs上拉取下来并查看
2.MapReduce作业验证
hadoop jar /opt/cloudera/parcels/CDH/jars/hadoop-examples.jar pi 5 5
在控制台上查看，生成了任务
3.Hive功能验证
4.Spark功能验证
5.HBase功能验证
提示：代码块部分可以左右滑动查看噢
为天地立心，为生民立命，为往圣继绝学，为万世开太平。 温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。
本文参与 腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2019-03-12，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读