专栏首页Hadoop实操如何在Azkaban中安装HDFS插件以及与CDH集成

如何在Azkaban中安装HDFS插件以及与CDH集成

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

Fayson的github:https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.文档编写目的


前面Fayson介绍了《如何编译安装Azkaban服务》和《如何编译Azkaban插件》,本篇文章主要介绍如何在Azkaban中安装HDFS插件以及与CDH集群集成。

  • 内容概述

1.环境准备

2.安装HDFS插件

3.插件功能验证

  • 测试环境

1.Redhat7.2

2.使用root用户操作

3.Azkaban版本为3.43.0

2.环境准备


1.配置Hadoop环境变量,在/etc/profile文件末尾增加如下配置:

export HADOOP_HOME=/opt/cloudera/parcels/CDH
export HADOOP_CONF_DIR=/etc/hadoop/conf.cloudera.yarn 

(可左右滑动)

执行命令source /etc/profile命令使其立即生效,建议退出终端重新登录,否则会在启动Azkaban Web服务找不到HADOOP_HOME问题。

2.由于CDH集群启用了Kerberos,安装HDFS插件需要使用到Kerberos账号

在KDC中创建一个azkaban/admin@FAYSON.COM 的用户,使用命令导出该用户的keytab文件放在/opt/cloudera/azkaban/目录下

xst -norandkey -k azkaban.keytab azkaban/admin@CLOUDERA.COM

(可左右滑动)

3.修改CDH集群HDFS的core-stie.xml配置文件,增加azkaban代理用户

<property>
    <name>hadoop.proxyuser.azkaban.groups</name>
    <value>*</value>
</property><property>
    <name>hadoop.proxyuser.azkaban.hosts</name>
    <value>*</value>
</property>

(可左右滑动)

保存配置回到CM主页根据提示重启相应服务。

3.安装HDFS插件


1.在前面一篇文章中Fayson已经编译好了HDFS的插件

2.将azkaban-hdfs-viewer-3.0.0.tar.gz拷贝至/opt/cloudera/azkaban/azkaban-web-server/plugins/viewer目录下

[root@ip-172-31-21-83 packages]# pwd
/root/azkaban-plugins/dist/hdfsviewer/packages
[root@ip-172-31-21-83 packages]# cp azkaban-hdfs-viewer-3.0.0.tar.gz /opt/cloudera/azkaban/azkaban-web-server/plugins/viewer/

(可左右滑动)

3.进入plugins/views目录下解压azkaban-hdfs-viewer-3.0.0.tar.gz包并重命名为hdfs

[root@ip-172-31-21-83 packages]# cd /opt/cloudera/azkaban/azkaban-web-server/plugins/viewer/
[root@ip-172-31-21-83 viewer]# tar -zxvf azkaban-hdfs-viewer-3.0.0.tar.gz
[root@ip-172-31-21-83 viewer]# mv azkaban-hdfs-viewer-3.0.0 hdfs
[root@ip-172-31-21-83 viewer]# rm -rf azkaban-hdfs-viewer-3.0.0.tar.gz
[root@ip-172-31-21-83 viewer]# ll

(可左右滑动)

4.进入hdfs/conf目录修改插件配置文件plugin.properties内容如下

viewer.name=HDFS
viewer.path=hdfs
viewer.order=1
viewer.hidden=false
viewer.external.classpaths=extlib/*
viewer.servlet.class=azkaban.viewer.hdfs.HdfsBrowserServlet
hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_2_0
azkaban.should.proxy=true
proxy.user=hdfs/admin
proxy.keytab.location=/opt/cloudera/azkaban/hdfs.keytab
allow.group.proxy=true
file.max.lines=1000

(可左右滑动)

由于集群的Hadoop版本为hadoop2所以hadoop.security.manager.class需要指定为azkaban.security.HadoopSecurityManager_H_2_0

5.拷贝CDH集群中的依赖包至/opt/cloudera/azkaban/azkaban-web-server/extlib目录下

[root@ip-172-31-21-83 ~]# cd /opt/cloudera/parcels/CDH/jars/
[root@ip-172-31-21-83 jars]# scp commons-cli-1.2.jar hadoop-auth-2.6.0-cdh5.13.1.jar hadoop-common-2.6.0-cdh5.13.1.jar hadoop-hdfs-2.6.0-cdh5.13.1.jar protobuf-java-2.5.0.jar commons-configuration-1.7.jar hadoop-yarn-api-2.6.0-cdh5.13.1.jar hadoop-yarn-common-2.6.0-cdh5.13.1.jar /opt/cloudera/azkaban/azkaban-web-server/extlib/
[root@ip-172-31-21-83 jars]# scp htrace-core* protobuf-java-2.5.0.jar /opt/cloudera/azkaban/azkaban-web-server/extlib/

(可左右滑动)

6.由于CDH集群Hadoop为2.x,所以需要将hdfs插件lib目录下的安全认证的jar包替换为2.x版本

将编译插件/root/azkaban-plugins/dist/hadoopsecuritymanager-yarn/jars目录下的azkaban-hadoopsecuritymanageryarn-3.0.0.jar包拷贝至/opt/cloudera/azkaban/azkaban-web-server/plugins/viewer/hdfs/lib/

[root@ip-172-31-21-83 jars]# cp azkaban-hadoopsecuritymanageryarn-3.0.0.jar /opt/cloudera/azkaban/azkaban-web-server/plugins/viewer/hdfs/lib/
[root@ip-172-31-21-83 jars]# cd /opt/cloudera/azkaban/azkaban-web-server/plugins/viewer/hdfs/lib/
[root@ip-172-31-21-83 lib]# rm -rf azkaban-hadoopsecuritymanager-3.0.0.jar

(可左右滑动)

7.重启Azkaban-web-server服务

[root@ip-172-31-21-83 azkaban-web-server]# pwd
/opt/cloudera/azkaban/azkaban-web-server
[root@ip-172-31-21-83 azkaban-web-server]# bin/azkaban-web-shutdown.sh 
[root@ip-172-31-21-83 azkaban-web-server]# bin/start-web.sh  

(可左右滑动)

4.HDFS插件验证


1.访问Web界面使用azkaban用户登录

2.访问HDFS菜单查看HDFS的文件系统

在命令行执行命令

可以看到在命令与Azkaban界面访问显示的目录一致,说明HDFS插件安装成功

3.在界面上可以看到“Change User”按钮

该功能可以模拟任意用户访问HDFS,该功能主要有plugins/viewer/hdfs/conf/plugin.propertis配置文件中的allow.group.proxy控制true表示开启false表示关闭。

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

本文分享自微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-03-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 如何编译安装Azkaban服务

    Azkaban是一套简单的任务调度服务,是Hadoop工作流引擎调度器之一,整体包括三部分Web Server、DB Server、Executor Serve...

    Fayson
  • 如何在Azkaban安装插件(二)

    前面Fayson介绍了《如何编译安装Azkaban服务》和《如何编译Azkaban插件》及《如何在Azkaban中安装HDFS插件以及与CDH集成》,我们知道A...

    Fayson
  • 使用JDBC向Kudu表插入中文字符-cast的秘密

    使用Impala JDBC向Kudu表中插入中文字符,插入的中文字符串乱码,中文字符串被截断。

    Fayson
  • 快速学习-Azkaban安装部署

    注:source 后跟.sql 文件,用于批量处理.sql 文件中的 sql 语句。

    cwl_java
  • 大数据-Azkaban安装

    我们这里选用azkaban3.51.0这个版本自己进行重新编译,编译完成之后得到我们需要的 安装包进行安装

    cwl_java
  • 【Azkaban搭建】---Azkaban 3.25.0搭建细则 超实用

    Azkaban是一个工作流调度工具,因为需要各个任务之间有依赖关系,传统的Crontab 任务已经不能满足。

    LhWorld哥陪你聊算法
  • Azkaban-3.x two-server 模式搭建

    web-server和executor-server是两个单独的进程,但都运行在同一个机器上,调度任务只能分配到该机器上执行,元数据存储在MySQL中,MySQ...

    CoderJed
  • 大数据技术之_13_Azkaban学习_Azkaban(阿兹卡班)介绍 + Azkaban 安装部署 + Azkaban 实战

    1)一个完整的数据分析系统通常都是由大量任务单元组成: shell 脚本程序,java 程序,mapreduce 程序、hive 脚本等。 2)各任务单元之间...

    黑泽君
  • Azkaban Two Server模式部署 原

    Two Server模式就是把Azkaban和MySQL进行了分离,下面就介绍一下这种部署模式。

    云飞扬
  • 如何编译安装Azkaban服务

    Azkaban是一套简单的任务调度服务,是Hadoop工作流引擎调度器之一,整体包括三部分Web Server、DB Server、Executor Serve...

    Fayson

扫码关注云+社区

领取腾讯云代金券