Azkaban-3.x solo-server 模式部署


环境准备

  • JDK-1.8+

软件准备


1. solo-server模式简介

solo-server模式:使用内置的数据库H2,并且Web服务器和Executor服务器都在同一进程中运行

2. 安装过程

(1) 解压azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz包,解压后的目录重名为azkaban-solo-server

[hadoop@beh07 azkaban-solo-server]$ ll
total 8
drwxr-xr-x 3 hadoop hadoop   67 Aug 21 14:40 bin
drwxr-xr-x 2 hadoop hadoop   82 Aug 21 14:40 conf
drwxr-xr-x 2 hadoop hadoop 4096 Aug 21 14:40 lib
drwxr-xr-x 3 hadoop hadoop   22 Aug 21 14:40 plugins
drwxr-xr-x 2 hadoop hadoop 4096 Aug 21 14:40 sql
drwxr-xr-x 6 hadoop hadoop   73 Aug 21 14:40 web

(2) 安装包内各目录说明

目录

描述

bin

存放启动/停止azkaban-solo-server的脚本

conf

azkaban-solo-server的配置文件

lib

依赖的jar包

extlib(解压后不存在)

依赖的jar包

plugins

插件的安装目录

web

azkaban-solo-server所有web相关的文件(CSS/图片/HTML等)

conf目录下有3个文件:

文件

描述

azkaban.properties

主要配置文件,配置运行时参数

azkaban-users.xml

权限控制文件,用于添加用户和角色

global.properties

全局配置,作用于所有的workflow和job

azkaban.private.properties(解压后不存在)

用于存放密码,例如MySQL的密码

(3) 修改conf/azkaban.properties文件

  1. 每行的末尾不要留空格
  2. 时区一定是Asia/Shanghai
  3. 所有的路径写成绝对路径
  4. 各个配置项参考Azkaban-3.x 配置信息说明
azkaban.name=azkaban-3.76.0
azkaban.label=solo-server
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
azkaban.display.execution_page_size=16
azkaban.use.multiple.executors=true
azkaban.project.dir=/opt/beh/core/azkaban-3.76.0/azkaban-solo-server/projects
azkaban.jobtype.plugin.dir=/opt/beh/core/azkaban-3.76.0/azkaban-solo-server/plugins/jobtypes
web.resource.dir=/opt/beh/core/azkaban-3.76.0/azkaban-solo-server/web
cache.directory=/opt/beh/core/azkaban-3.76.0/azkaban-solo-server/cache
default.timezone.id=Asia/Shanghai
lockdown.create.projects=false
velocity.dev.mode=false

user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=/opt/beh/core/azkaban-3.76.0/azkaban-solo-server/conf/azkaban-users.xml

executor.port=12321
executor.connector.stats=true
executor.maxThreads=50
executor.flow.threads=30
executor.global.properties=/opt/beh/core/azkaban-3.76.0/azkaban-solo-server/conf/global.properties

database.type=h2
h2.path=/opt/beh/core/azkaban-3.76.0/azkaban-solo-server/h2
h2.create.tables=true

jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8081
jetty.connector.stats=true

# mail.sender=
# mail.host=
# job.failure.email=
# job.success.email=

(4) 启动服务

  • 一定要在azkaban-solo-server目录下执行启动命令,否则会找不到sql/database.properties文件
[hadoop@beh07 azkaban-solo-server]$ bin/start-solo.sh

启动后新创建了一些目录:

drwxr-xr-x 4 hadoop hadoop   126 Aug 21 16:34 bin
drwxr-xr-x 2 hadoop hadoop    82 Aug 21 15:55 conf
-rw-rw-r-- 1 hadoop hadoop     6 Aug 21 16:37 currentpid
drwxrwsr-x 2 hadoop hadoop     6 Aug 21 16:37 executions
-rw-rw-r-- 1 hadoop hadoop     5 Aug 21 16:37 executor.port
-rw-rw-r-- 1 hadoop hadoop 45056 Aug 21 16:37 h2.mv.db
drwxr-xr-x 2 hadoop hadoop  4096 Aug 21 14:40 lib
drwxrwxr-x 2 hadoop hadoop    35 Aug 21 16:37 local
drwxr-xr-x 3 hadoop hadoop    22 Aug 21 14:40 plugins
drwxrwxr-x 2 hadoop hadoop     6 Aug 21 16:37 projects
-rw-rw-r-- 1 hadoop hadoop 15892 Aug 21 16:37 soloServerLog__2019-08-21+16:37:47.out
drwxr-xr-x 2 hadoop hadoop  4096 Aug 21 16:37 sql
drwxrwxr-x 2 hadoop hadoop     6 Aug 21 16:37 temp
drwxr-xr-x 6 hadoop hadoop    73 Aug 21 14:40 web

查看进程:

[hadoop@beh07 azkaban-3.76.0]$ jps
12610 AzkabanSingleServer
12623 Jps

(5) 访问WEB-UI

账号密码都是azkaban,登陆后页面如下:

这样,Azkaban solo-server模式就已经搭建成功了!

需要停止服务的话,执行以下命令即可:

[hadoop@beh07 azkaban-solo-server]$ bin/shutdown-solo.sh
Killing solo-server. [pid: 16035], attempt: 1
shutdown succeeded

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券