如何在Azkaban中安装HDFS插件以及与CDH集成
如何在Azkaban中安装HDFS插件以及与CDH集成
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
Fayson的github：https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢
1.文档编写目的
前面Fayson介绍了《如何编译安装Azkaban服务》和《如何编译Azkaban插件》，本篇文章主要介绍如何在Azkaban中安装HDFS插件以及与CDH集群集成。
- 内容概述
1.环境准备
2.安装HDFS插件
3.插件功能验证
- 测试环境
1.Redhat7.2
2.使用root用户操作
3.Azkaban版本为3.43.0
2.环境准备
1.配置Hadoop环境变量，在/etc/profile文件末尾增加如下配置：
export HADOOP_HOME=/opt/cloudera/parcels/CDH
export HADOOP_CONF_DIR=/etc/hadoop/conf.cloudera.yarn （可左右滑动）
执行命令source /etc/profile命令使其立即生效，建议退出终端重新登录，否则会在启动Azkaban Web服务找不到HADOOP_HOME问题。
2.由于CDH集群启用了Kerberos，安装HDFS插件需要使用到Kerberos账号
在KDC中创建一个azkaban/admin@FAYSON.COM 的用户，使用命令导出该用户的keytab文件放在/opt/cloudera/azkaban/目录下
xst -norandkey -k azkaban.keytab azkaban/admin@CLOUDERA.COM（可左右滑动）
3.修改CDH集群HDFS的core-stie.xml配置文件，增加azkaban代理用户
<property>
<name>hadoop.proxyuser.azkaban.groups</name>
<value>*</value>
</property><property>
<name>hadoop.proxyuser.azkaban.hosts</name>
<value>*</value>
</property>（可左右滑动）
保存配置回到CM主页根据提示重启相应服务。
3.安装HDFS插件
1.在前面一篇文章中Fayson已经编译好了HDFS的插件
2.将azkaban-hdfs-viewer-3.0.0.tar.gz拷贝至/opt/cloudera/azkaban/azkaban-web-server/plugins/viewer目录下
[root@ip-172-31-21-83 packages]# pwd
/root/azkaban-plugins/dist/hdfsviewer/packages
[root@ip-172-31-21-83 packages]# cp azkaban-hdfs-viewer-3.0.0.tar.gz /opt/cloudera/azkaban/azkaban-web-server/plugins/viewer/（可左右滑动）
3.进入plugins/views目录下解压azkaban-hdfs-viewer-3.0.0.tar.gz包并重命名为hdfs
[root@ip-172-31-21-83 packages]# cd /opt/cloudera/azkaban/azkaban-web-server/plugins/viewer/
[root@ip-172-31-21-83 viewer]# tar -zxvf azkaban-hdfs-viewer-3.0.0.tar.gz
[root@ip-172-31-21-83 viewer]# mv azkaban-hdfs-viewer-3.0.0 hdfs
[root@ip-172-31-21-83 viewer]# rm -rf azkaban-hdfs-viewer-3.0.0.tar.gz
[root@ip-172-31-21-83 viewer]# ll（可左右滑动）
4.进入hdfs/conf目录修改插件配置文件plugin.properties内容如下
viewer.name=HDFS
viewer.path=hdfs
viewer.order=1
viewer.hidden=false
viewer.external.classpaths=extlib/*
viewer.servlet.class=azkaban.viewer.hdfs.HdfsBrowserServlet
hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_2_0
azkaban.should.proxy=true
proxy.user=hdfs/admin
proxy.keytab.location=/opt/cloudera/azkaban/hdfs.keytab
allow.group.proxy=true
file.max.lines=1000（可左右滑动）
由于集群的Hadoop版本为hadoop2所以hadoop.security.manager.class需要指定为azkaban.security.HadoopSecurityManager_H_2_0
5.拷贝CDH集群中的依赖包至/opt/cloudera/azkaban/azkaban-web-server/extlib目录下
[root@ip-172-31-21-83 ~]# cd /opt/cloudera/parcels/CDH/jars/
[root@ip-172-31-21-83 jars]# scp commons-cli-1.2.jar hadoop-auth-2.6.0-cdh5.13.1.jar hadoop-common-2.6.0-cdh5.13.1.jar hadoop-hdfs-2.6.0-cdh5.13.1.jar protobuf-java-2.5.0.jar commons-configuration-1.7.jar hadoop-yarn-api-2.6.0-cdh5.13.1.jar hadoop-yarn-common-2.6.0-cdh5.13.1.jar /opt/cloudera/azkaban/azkaban-web-server/extlib/
[root@ip-172-31-21-83 jars]# scp htrace-core* protobuf-java-2.5.0.jar /opt/cloudera/azkaban/azkaban-web-server/extlib/（可左右滑动）
6.由于CDH集群Hadoop为2.x，所以需要将hdfs插件lib目录下的安全认证的jar包替换为2.x版本
将编译插件/root/azkaban-plugins/dist/hadoopsecuritymanager-yarn/jars目录下的azkaban-hadoopsecuritymanageryarn-3.0.0.jar包拷贝至/opt/cloudera/azkaban/azkaban-web-server/plugins/viewer/hdfs/lib/
[root@ip-172-31-21-83 jars]# cp azkaban-hadoopsecuritymanageryarn-3.0.0.jar /opt/cloudera/azkaban/azkaban-web-server/plugins/viewer/hdfs/lib/
[root@ip-172-31-21-83 jars]# cd /opt/cloudera/azkaban/azkaban-web-server/plugins/viewer/hdfs/lib/
[root@ip-172-31-21-83 lib]# rm -rf azkaban-hadoopsecuritymanager-3.0.0.jar（可左右滑动）
7.重启Azkaban-web-server服务
[root@ip-172-31-21-83 azkaban-web-server]# pwd
/opt/cloudera/azkaban/azkaban-web-server
[root@ip-172-31-21-83 azkaban-web-server]# bin/azkaban-web-shutdown.sh
[root@ip-172-31-21-83 azkaban-web-server]# bin/start-web.sh （可左右滑动）
4.HDFS插件验证
1.访问Web界面使用azkaban用户登录
2.访问HDFS菜单查看HDFS的文件系统
在命令行执行命令
可以看到在命令与Azkaban界面访问显示的目录一致，说明HDFS插件安装成功
3.在界面上可以看到“Change User”按钮
该功能可以模拟任意用户访问HDFS，该功能主要有plugins/viewer/hdfs/conf/plugin.propertis配置文件中的allow.group.proxy控制true表示开启false表示关闭。
提示：代码块部分可以左右滑动查看噢
为天地立心，为生民立命，为往圣继绝学，为万世开太平。 温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。
原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操