【Azkaban搭建】---Azkaban 3.25.0搭建细则 超实用

一、前述

Azkaban是一个工作流调度工具,因为需要各个任务之间有依赖关系,传统的Crontab 任务已经不能满足。

所以需要建立一套工作流引擎。相比Ooize来说,Azkaban的优势是作为一个客户端来提供任务的提交。而Ooize是将任务随机分配到我们的集群环境中。

考虑到常用架构,所以我们选择Azkaban进行工作流引擎。但是网上的搭建教程总会有各种各样的问题,实在令人烦心。折腾了好几天,终于把Azkaban搭建成功,特将详细步骤描述如下。

这里给出一个建议,Azkaban千万不要用最新的搭建,因为你会有意想不到的坑。。

二、具体步骤

1、下载Azkaban的3.25.0的软件包 地址如下:

https://github.com/azkaban/azkaban/releases/tag/3.25.0

2、下载后上传到对应服务器 目录上面。本文地址目录为/mnt/data8/ire/

3、解压目录并重命名

tar - xf azkaban-3.25.0.tar.gz

mv azkaban-3.25.0 azkaban

4、对源码编译

./gradlew build 编译 ./gradlew build -x test 忽略测试 (当上一个命令执行不成功再执行这个命令,上个执行成功后就不需要了,因为有的时候总卡在编译测试上面,没办法进行了)

./gradlew installDist 打包

5、新建azkaban编译后的运行目录

我在根目录/mnt/data8/ire/下新建目录azkaban-ire

mkdir azkaban-ire

6、将build后的tar包cp到azkaban-ire目录下

cp azkaban/azkaban-web-server/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz azkaban-ire/ cp azkaban/azkaban-exec-server/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz azkaban-ire/ cp azkaban/azkaban-db/build/distributions/azkaban-db-0.1.0-SNAPSHOT.tar.gz azkaban-ire/ 解压对应jar 包 并重命名(强力建议) 因为后面会有一堆绝对路径的引入,名字太长,太麻烦。效果如下

tar -xf azkaban-db-0.1.0-SNAPSHOT.tar.gz

tar -xf azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz

tar -xf azkaban-web-server-0.1.0-SNAPSHOT.tar.gz

mv azkaban-db-0.1.0-SNAPSHOT azkaban-db

mv azkaban-exec-server-0.1.0-SNAPSHOT azkaban-exec-server

mv azkaban-web-server-0.1.0-SNAPSHOT azkaban-web-server

7、导入Azkaban-sql

选择一个数据库,或者新建一个数据库为Azkaban 命令如下:

CREATE DATABASE azkaban; CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban'; GRANT ALL ON azkaban.* to 'azkaban'@'localhost' IDENTIFIED BY 'azkaban'; flush privileges;

use azkaban; source azkaban-ire/azkaban-db-0.1.0-SNAPSHOT/create-all-sql-0.1.0-SNAPSHOT.sql

 这里建议手动执行吧 执行之前最好删除之前因为其他版本创建的表,如下:

drop table active_executing_flows;
drop table active_sla;
drop table execution_flows;
drop table execution_jobs;
drop table execution_logs;
drop table executor_events;
drop table executors;
drop table project_events;
drop table project_files;
drop table project_flows;
drop table project_permissions;
drop table project_properties;
drop table properties_index ;
drop table projects;
drop table properties;
drop table triggers;
drop table project_flow_files;  
drop table project_versions;
drop table  qrtz_blob_triggers,qrtz_calendars,qrtz_cron_triggers,qrtz_fired_triggers,qrtz_job_details,qrtz_locks,qrtz_paused_trigger_grps,qrtz_scheduler_state,qrtz_simple_triggers,qrtz_simprop_triggers,qrtz_triggers;  

在create-all-sql-0.1.0-SNAPSHOT.sql里面最后一行可以去掉 ,因为已经有这个字段了。

 8、配置azkaban-web-server

 8.1、在azkaban-web-server中新建conf目录,结构如下

mkdir conf

├── conf
│   ├── azkaban-users.xml
│   ├── azkaban.properties
│   ├── global.properties
│   └── log4j.properties

azkaban-users.xml

<azkaban-users>
    <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
    <user username="metrics" password="metrics" roles="metrics"/>
    <user username="admin" password="admin" roles="admin,metrics" />
    <role name="admin" permissions="ADMIN" />
    <role name="metrics" permissions="METRICS"/>
</azkaban-users>

azkaban.properties

# Azkaban Personalization Settings
#设置项目名称
azkaban.name=Test
#设置项目副标题
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
#这里一定写成绝对路径  否则页面会找不到对应地址
web.resource.dir=/mnt/data8/ire/azkaban-ire/azkaban-web-server/web/
#一定要设置为上海,否则按美国时间执行
default.timezone.id=Asia/Shanghai

# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
#这里一定写成绝对路径
user.manager.xml.file=/mnt/data8/ire/azkaban-ire/azkaban-web-server/conf/azkaban-users.xml

# Loader for projects
#这里一定写成绝对路径  否则页面会找不到对应地址
executor.global.properties=/mnt/data8/ire/azkaban-ire/azkaban-web-server/conf/global.properties
azkaban.project.dir=projects

database.type=mysql
mysql.port=3306
mysql.host=127.0.0.1
mysql.database=azkaban
mysql.user=root
mysql.password=root
mysql.numconnections=100

# Velocity dev mode
velocity.dev.mode=false

# Azkaban Jetty server properties.
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.use.ssl=false
jetty.port=8081
jetty.keystore=keystore
jetty.password=password
jetty.keypassword=keypassword
jetty.truststore=keystore
jetty.trustpassword=password
jetty.excludeCipherSuites=SSL_RSA_WITH_DES_CBC_SHA,SSL_DHE_RSA_WITH_DES_CBC_SHA,SSL_DHE_DSS_WITH_DES_CBC_SHA,SSL_RSA_EXPORT_WITH_RC4_40_MD5,SSL_RSA_EXPORT_WITH_DES40_CBC_SHA,SSL_DHE_RSA_EXPORT_WITH_DES40_CBC_SHA,SSL_DHE_RSA_WITH_3DES_EDE_CBC_SHA,SSL_DHE_DSS_WITH_3DES_EDE_CBC_SHA,TLS_DHE_RSA_WITH_AES_256_CBC_SHA256,TLS_DHE_DSS_WITH_AES_256_CBC_SHA256,TLS_DHE_RSA_WITH_AES_256_CBC_SHA,TLS_DHE_DSS_WITH_AES_256_CBC_SHA,TLS_DHE_RSA_WITH_AES_128_CBC_SHA256,TLS_DHE_DSS_WITH_AES_128_CBC_SHA256,TLS_DHE_RSA_WITH_AES_128_CBC_SHA,TLS_DHE_DSS_WITH_AES_128_CBC_SHA

# Azkaban Executor settings
executor.port=12321

# mail settings
#mail.sender=email账号
#mail.host=email服务器
#mail.user=email账号
#mail.password=email密码
mail.sender= 
mail.host=
job.failure.email=
job.success.email=

lockdown.create.projects=false

cache.directory=cache

# JMX stats
jetty.connector.stats=true
executor.connector.stats=true

global.properties (置空即可)

log4j.properties

log4j.rootLogger=INFO,C
log4j.appender.C=org.apache.log4j.ConsoleAppender
log4j.appender.C.Target=System.err
log4j.appender.C.layout=org.apache.log4j.PatternLayout
log4j.appender.C.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

8.2、生成keystore文件。

在conf目录下执行 keytool -keystore keystore -alias azkaban -genkey -keyalg RSA 具体执行效果如下: Enter keystore password:         Re-enter new password:        What is your first and last name?         [Unknown]:  azkaban.test.com       What is the name of your organizational unit?         [Unknown]:  azkaban       What is the name of your organization?         [Unknown]:  test       What is the name of your City or Locality?         [Unknown]:  beijing       What is the name of your State or Province?         [Unknown]:  beijing       What is the two-letter country code for this unit?         [Unknown]:  CN       Is CN=azkaban.test.com, OU=azkaban, O=test, L=beijing, ST=beijing, C=CN correct?         [no]:  yes       Enter key password for <azkaban>               (RETURN if same as keystore password)

8.3、在azkaban-web-server中新建logs目录,用于记录azkaban运行日志结构如下:

currentpid是在启动的时候生成的,不用管。

9、配置azkaban-exec-server

9.1在azkaban-exec-server中的conf目录下配置 没有conf目录则创建,同时创建对应下面文件

├── conf
│   ├── azkaban.properties
│   ├── log4j.properties

azkaban.properties

# Azkaban
default.timezone.id=Asia/Shanghai

# Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=plugins/jobtypes

# Loader for projects 绝对路径
executor.global.properties=/mnt/data8/ire/azkaban-ire/azkaban-web-server/conf/global.properties
azkaban.project.dir=projects

database.type=mysql
mysql.port=3306
mysql.host=127.0.0.1
mysql.database=azkaban
mysql.user=root
mysql.password=root
mysql.numconnections=100

# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30

# JMX stats
jetty.connector.stats=true
executor.connector.stats=true

# uncomment to enable inmemory stats for azkaban
#executor.metric.reports=true
#executor.metric.milisecinterval.default=60000

log4j.properties

log4j.rootLogger=INFO,C
log4j.appender.C=org.apache.log4j.ConsoleAppender
log4j.appender.C.Target=System.err
log4j.appender.C.layout=org.apache.log4j.PatternLayout
log4j.appender.C.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

9.2 在azkaban-exec-server创建plugins/jobtypes 文件夹

mkdir -p plugins/jobtypes

在/jobtypes中生成commonprivate.properties文件 写入

execute.as.user=false

9.3 在azkaban-exec-server创建logs目录

9.4 最终azkaban-exec-server目录层级如下:

上图中圈出的即为创建相应文件夹后的格式,而 executors projects temp目录会在执行任务时创建 不用管。

 10、启动azkaban-web-server

一定要在bin层启动  不在bin目录里面启动  如下:

cd azkaban-web-server/

bin/start-web.sh

11、启动azkaban-exec-server

cd azkaban-exec-server/

bin/start-exec.sh

12、验证效果如下:

13、前端启动host:8081即可

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏IT杂记

使用Nginx代理restful实现SSL链路加密

1 目标说明 1.1 调研目的 本次调研主要为了解决两个问题: 不需要对restful的web容器做任何配置,实现对restful链路进行加密; 方便restf...

2419
来自专栏移动端周边技术扩展

python收发邮件客户端

2603
来自专栏运维

DDOS Deflate防轻型DDOS***

DDoS deflate是一款免费的用来防御和减轻DDoS***的脚本。它通过netstat监测跟踪创建大量网络连接的IP地址,在检测到某个结点超过预设的限 ...

1944
来自专栏编程

Nginx双证书ECC/RSA配置

大家好,我是你们的老朋友Alex。今天教大家使用nginx配置证书,双证书! Nginx1.11.0版本后提供了ESA/ECC双证书的支持,以下是参考链接: h...

6888
来自专栏java一日一条

如何针对老旧浏览器设置 HTTPS 策略

几天前,一位朋友问我:都说推荐用 Qualys SSL Labs 这个工具测试 SSL 安全性,为什么有些安全实力很强的大厂家评分也很低?我认为这个问题应该从两...

3082
来自专栏Ryan Miao

spring boot启用tomcat ssl

首先要生成一个keystore证书。参考:Tomcat创建HTTPS访问,java访问https,ssl证书生成:cer&jks文件生成摘录,spring-bo...

64614
来自专栏KaliArch

Memcached 安装脚本(附服务器自启动)

一、目的 为简化Memcached快速安装部署,并添加至服务启动项,开机自启动。 二、脚本 2.1 github地址 github链接 2.2 脚本内容 #!/...

4397
来自专栏做全栈攻城狮

React Native APP签名打包release版本APK

首先React Native开发的APP是无法通过Android Studio进行打包的,因为AS打包的APK,也是和debug版本一样,需要进行依托local...

1762
来自专栏技术之路

QT5 动态链接库的创建和使用

记录一下QT5 动态链接库的创建和使用 在文章的最后有完成的代码供下载 1.创建动态链接库 先新建一个库项目 ? 选择chose进入下一下页面,类型选择共享库,...

1896
来自专栏码农二狗

不使用smtp直接发送邮件

2131

扫码关注云+社区

领取腾讯云代金券