首页
学习
活动
专区
圈层
工具
发布
50 篇文章
1
客快物流大数据项目(一):物流项目介绍和内容大纲
2
客快物流大数据项目(二):物流项目详细介绍
3
客快物流大数据项目(三):项目解决方案
4
客快物流大数据项目(四):大数据项目为什么使用Docker
5
客快物流大数据项目(五):Docker介绍
6
客快物流大数据项目(六):Docker与虚拟机的形象比喻及组件介绍
7
客快物流大数据项目(七):Docker总结
8
客快物流大数据项目(八):Docker的安装和启动
9
客快物流大数据项目(九):Docker常用命令
10
客快物流大数据项目(十):Docker容器命令
11
客快物流大数据项目(十一):Docker应用部署
12
客快物流大数据项目(十二):Docker的迁移与备份
13
客快物流大数据项目(十三):Docker镜像
14
客快物流大数据项目(十四):DockerFile介绍与构建过程解析
15
客快物流大数据项目(十五):DockeFile常用命令
16
客快物流大数据项目(十六):使用脚本创建镜像
17
客快物流大数据项目(十七):自定义镜像mycentos
18
客快物流大数据项目(十九):项目环境准备
19
客快物流大数据项目(二十):物流管理系统服务器的数据路径配置和软件下载存放位置
20
客快物流大数据项目(二十一):Docker环境初始化
21
客快物流大数据项目(二十二):Docker环境中安装软件
22
客快物流大数据项目(二十三):OGG介绍
23
客快物流大数据项目(二十四):OGG安装部署
24
客快物流大数据项目(二十五):初始化业务数据
25
客快物流大数据项目(二十六):客户关系管理服务器
26
客快物流大数据项目(二十七):Cloudera Manager简单介绍
27
客快物流大数据项目(二十八):大数据服务器环境准备
28
客快物流大数据项目(二十九):下载CDH的安装包
29
客快物流大数据项目(三十):软件下载后存放位置
30
客快物流大数据项目(三十一):常用工具安装
31
客快物流大数据项目(三十二):安装CDH-6.2.1和初始化CDH服务所需的MySQL库
32
客快物流大数据项目(三十三):安装Server和Agent
33
客快物流大数据项目(三十四):CDH开始安装
34
客快物流大数据项目(三十五):CDH使用注意
35
客快物流大数据项目(三十六):安装ElasticSearch-7.6.1
36
客快物流大数据项目(三十七):安装Kinaba-7.6.1
37
客快物流大数据项目(三十八):安装Azkaban-3.71.0
38
客快物流大数据项目(三十九):Hue安装
39
客快物流大数据项目(四十):ETL实现方案
40
客快物流大数据项目(四十一):Kudu入门介绍
41
客快物流大数据项目(四十二):Java代码操作Kudu
42
客快物流大数据项目(四十三):kudu的分区方式
43
客快物流大数据项目(四十四):Spark操作Kudu创建表
44
客快物流大数据项目(四十五):Spark操作Kudu DML操作
45
客快物流大数据项目(四十六):Spark操作Kudu dataFrame操作kudu
46
客快物流大数据项目(四十七):Spark操作Kudu Native RDD
47
客快物流大数据项目(四十八):Spark操作Kudu 修改表
48
客快物流大数据项目(四十九):开发环境初始化
49
客快物流大数据项目(五十):项目框架初始化
50
客快物流大数据项目(五十一):数据库表分析

客快物流大数据项目(三十八):安装Azkaban-3.71.0

​​​​​​目录

​​​​​​安装Azkaban-3.71.0

一、下载Azkaban源码并编译

二、安装Azkaban

三、测试Azkaban的job

安装Azkaban-3.71.0

一、下载Azkaban源码并编译

操作步骤

说明

1

下载Azkaban-3.71.0

cd /export/softwares/

curl -L -O https://github.com/azkaban/azkaban/archive/3.71.0.tar.gz

2

解压

tar -zxf azkaban-3.71.0.tar.gz -C /export/services/

3

创建软连接

ln -s /export/services/azkaban-3.71.0 /export/services/azkaban

4

安装Git

yum install -y git

5

修改Azkaban依赖的node版本

Azkaban默认使用NodeJs-8.10.0版本,但是前面已经安装过最新的NodeJs-12.16.1版本,所以直接使用即可

vim /export/services/azkaban/azkaban-web-server/build.gradle

6

编译

cd /export/services/azkaban

## 跳过测试

./gradlew build installDist -x test

7

查看编译后的二进制软件包

ll azkaban-solo-server/build/distributions/

二、安装Azkaban

操作步骤

说明

1

解压缩

tar -zxf /export/services/azkaban/azkaban-solo-server/build/distributions/azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz -C /export/services/

## 重命名

mv azkaban-solo-server-0.1.0-SNAPSHOT azkaban-3.71.0-bin

2

进入/export/services目录

cd /export/services/

3

创建软连接

ln -s /export/services/azkaban-3.71.0-bin /export/services/azkaban

4

添加环境变量

vim /etc/profile

export AZKABAN_HOME=/export/services/azkaban PATH=$AZKABAN_HOME/bin:$PATH

source /etc/profile

5

配置azkaban.properties

cd /export/services/azkaban

vim conf/azkaban.properties

6

配置commonprivate.properties

vim plugins/jobtypes/commonprivate.properties

7

在mysql中添加azkaban数据库

mysql -uroot -pAbcd1234.

create database azkaban default character set utf8 collate utf8_general_ci;

quit

8

启动Azkaban

cd /export/services/azkaban

./bin/start-solo.sh

注意:这个start-solo.sh脚本使用的是相对路径,必须进入到/export/services/azkaban路径下执行./bin/start-solo.sh,否则mysql数据库会初始化失败

9

打开Azkaban的WebUI

在浏览器中输入http://node2:8081 账户:azkaban 密码:azkaban

登录成功后的样子如图:

三、测试Azkaban的job

操作步骤

说明

1

创建shell类型job的路径

cd /export/services/azkaban

mkdir -p examples/job-shell-example && cd examples/job-shell-example

2

创建shell类型的job

# action1.job是第一个job,没有依赖

vim action1.job

type=command # 假设是提交的一个spark应用,处理数据后写入到/export/services/文件夹下 command=spark-submit --version # 调度程序中的第一个动作,没有前置的依赖,所以无需配置dependencies # dependencies=

# action2.job是第二个job,依赖action1

vim action2.job

type=command # 比如执行Hive的加载命令 command=hive --version dependencies=action1

3

先打包

如果没有zip工具就先安装:yum install -y zip unzip

zip -q -r job-shell-example.zip ./

4

再创建project

5

最后上传到project中

Azkaban的WebUI是在Windows宿主机中打开的,在上传zip包时,只能读取浏览器所在操作系统的硬盘,无法浏览VPS中的zip包。所以还需要将打好的job-shell-example.zip文件使用ftp工具下载到Windows宿主机的D盘根目录下,如图:

这时,在Azkaban的WebUI中,点击浏览按钮,直接选择D盘下的job-shell-example.zip,即可完成上传,如图:

上传完成后,页面会以树状结构显示出刚才上传的zip包的每一个job,然后点击Execute Flow按钮即可运行,如图:

左侧绿色的Schedule用来配置定时调度,使用crontab表达式的方式实现。右侧蓝色的Execute按钮是直接运行,但只会运行一次。出于简单测试目的,我们点击Execute即可

当工作流运行完成后,如果所有的节点都是绿色,就表示整个工作流运行成功了。有两种视图的形式,第一种是Graph的形式,第二种是Job List的形式。如下:

下一篇
举报
领券