前往小程序，Get更优阅读体验！
立即前往
文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
首页
学习
活动
专区
工具
TVP最新优惠活动
返回腾讯云官网
社区首页 >专栏 >Azkaban2.5.0安装配置

Azkaban2.5.0安装配置

作者头像
CoderJed
发布于 2018-09-13 10:50:35
7490
发布于 2018-09-13 10:50:35
举报
文章被收录于专栏：Jed的技术阶梯Jed的技术阶梯
  • 软件准备 Azkaban安装包，包括下面3个组件： azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script-2.5.0.tar.gz azkaban-web-server-2.5.0.tar.gz 这3个组件的原来的下载地址不能用了，我目前还没有找到新的下载地址，大家可以自行上网搜索 下面是官网的下载地址，但是我没有在其中找到这三个组件的下载位置 https://azkaban.github.io/downloads.html

1. 把这三个安装包上传到服务器并解压

说明：

  1. 将安装文件上传到集群，最好上传到安装了hive、sqoop的机器上，方便命令的执行
  2. 创建一个azkaban目录
  3. azkaban这个目录最好和hive、sqoop在同一目录，比如我的hive和sqoop都在/home/hadoop/apps/下，我/home/hadoop/apps/下创建azkaban目录
  4. 把三个安装包解压到azkaban目录下
代码语言：javascript
复制
[hadoop@hadoop01 ~]$ mkdir -p /home/hadoop/apps/azkaban
[hadoop@hadoop01 ~]$ tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C /home/hadoop/apps/azkaban
[hadoop@hadoop01 ~]$ tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C /home/hadoop/apps/azkaban
[hadoop@hadoop01 ~]$ tar -zxvf azkaban-web-server-2.5.0.tar.gz -C /home/hadoop/apps/azkaban

解压后apps下的目录结构如下所示：

代码语言：javascript
复制
[hadoop@hadoop01 apps]$ ll
total 24
drwxrwxr-x  5 hadoop hadoop 4096 Dec 23 13:40 azkaban
drwxr-xr-x 10 hadoop hadoop 4096 Nov 27 18:47 hadoop-2.6.5
drwxrwxr-x 10 hadoop hadoop 4096 Dec  8 14:41 hive-1.2.1
drwxr-xr-x  9 hadoop hadoop 4096 Apr 27  2015 sqoop-1.4.6
drwxr-xr-x 10 hadoop hadoop 4096 Mar 23  2017 zookeeper-3.4.10

[hadoop@hadoop01 apps]$ cd azkaban/
[hadoop@hadoop01 azkaban]$ ll
total 12
drwxrwxr-x 2 hadoop hadoop 4096 Dec 23 13:22 azkaban-2.5.0
drwxrwxr-x 7 hadoop hadoop 4096 Dec 23 13:22 azkaban-executor-2.5.0
drwxrwxr-x 8 hadoop hadoop 4096 Dec 23 13:22 azkaban-web-2.5.0

2. 进入mysql运行azkaban/azkaban-2.5.0/目录下的create-all-sql-2.5.0.sql文件

代码语言：javascript
复制
[hadoop@hadoop01 ~]$ mysql -uroot -proot

mysql> create database azkaban;

mysql> use azkaban;

mysql> source /home/hadoop/apps/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql;

3. 创建SSL配置

代码语言：javascript
复制
# 执行以下命令，最好在azkaban目录下
[hadoop@hadoop01 azkaban]$ keytool -keystore keystore -alias jetty -genkey -keyalg RSA

Enter keystore password:  # 一定要记住你输入的密码 
Re-enter new password: # 重复输入密码
What is your first and last name?
  [Unknown]:  # 直接回车
What is the name of your organizational unit?
  [Unknown]:  # 直接回车
What is the name of your organization?
  [Unknown]:  # 直接回车
What is the name of your City or Locality?
  [Unknown]:  # 直接回车
What is the name of your State or Province?
  [Unknown]:  # 直接回车
What is the two-letter country code for this unit?
  [Unknown]:  CN # 输入CN
Is CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN correct?
  [no]:  y # 输入y

Enter key password for <jetty>
    (RETURN if same as keystore password):  # 输入上面的密码
Re-enter new password: # 输入上面的密码

上诉过程执行完成后，在azkaban目录下生成了keystore证书文件

4. 把keystore文件拷贝到azkaban web服务器根目录中(azkaban-web-2.5.0)

代码语言：javascript
复制
[hadoop@hadoop01 azkaban]$ cp keystore ./azkaban-web-2.5.0/

5. 保证服务器时区是上海时区

参考Linux集群系统时间同步中的修改时区相关的内容

6. 修改azkaban-web-2.5.0/conf/azkaban.properties配置文件

代码语言：javascript
复制
[hadoop@hadoop01 azkaban]$ cd azkaban-web-2.5.0/
[hadoop@hadoop01 azkaban-web-2.5.0]$ cd conf/

# Azkaban Personalization Settings
# 服务器UI名称，用于服务器上方显示的名字
azkaban.name=MyTestAzkaban 
# 描述
azkaban.label=My Local Azkaban 
# UI颜色
azkaban.color=#FF3601 
azkaban.default.servlet.path=/index
# 默认根web目录
web.resource.dir=/home/hadoop/apps/azkaban/azkaban-web-2.5.0/web/ 
# 默认时区，已改为亚洲/上海，默认为美国
default.timezone.id=Asia/Shanghai 

# Azkaban UserManager class
# 用户权限管理默认类
user.manager.class=azkaban.user.XmlUserManager 
# 用户配置,具体配置参考下一个步骤中说明
user.manager.xml.file=/home/hadoop/apps/azkaban/azkaban-web-2.5.0/conf/azkaban-users.xml
 
# Loader for projects
# global 配置文件所在位置
executor.global.properties=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0/conf/global.properties
azkaban.project.dir=projects
# 数据库类型
database.type=mysql 
# 端口号
mysql.port=3306 
# 数据库连接IP
mysql.host=hadoop01
# 数据库实例名
mysql.database=azkaban 
# 数据库用户名
mysql.user=root
# 数据库密码
mysql.password=root 
# 最大连接数
mysql.numconnections=100 

# Velocity dev mode
velocity.dev.mode=false

# Jetty服务器属性
# 最大线程数
jetty.maxThreads=25 
# Jetty SSL端口
jetty.ssl.port=8443 
# Jetty端口
jetty.port=8081 
# SSL文件名
jetty.keystore=/home/hadoop/apps/azkaban/azkaban-web-2.5.0/keystore 
# SSL文件密码(生成keystore文件时输入的密码)
jetty.password=hadoop 
# Jetty主密码(生成keystore文件时输入的密码)
jetty.keypassword=hadoop 
# SSL文件名
jetty.truststore=/home/hadoop/apps/azkaban/azkaban-web-2.5.0/keystore 
# SSL文件密码(生成keystore文件时输入的密码)
jetty.trustpassword=hadoop 

# 执行服务器属性
# 执行服务器端口
executor.port=12321 

# 邮件设置(可选项)
# 发送邮箱
# mail.sender=xxxxxxxx@163.com 
# 发送邮箱smtp地址
# mail.host=smtp.163.com 
# 发送邮件时显示的名称
# mail.user=xxxxxxxx 
# 邮箱密码
# mail.password=********** 
# 任务失败时发送邮件的地址
# job.failure.email=xxxxxxxx@163.com 
# 任务成功时发送邮件的地址
# job.success.email=xxxxxxxx@163.com 
# lockdown.create.projects=false
# 缓存目录
# cache.directory=cache

7. 修改azkaban-web-2.5.0/conf/azkaban-users.xml配置文件

代码语言：javascript
复制
[hadoop@hadoop01 conf]$ vim azkaban-users.xml

<azkaban-users>
        <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
        <user username="metrics" password="metrics" roles="metrics"/>
        
        <!--增加管理员用户 begin-->
        <user username="admin" password="admin" roles="admin,metrics" />
        <!--增加管理员用户 end-->
        
        <role name="admin" permissions="ADMIN" />
        <role name="metrics" permissions="METRICS"/>
</azkaban-users>

8. 修改azkaban-executor-2.5.0/conf/azkaban.propertie配置文件

代码语言：javascript
复制
[hadoop@hadoop01 azkaban]$ cd azkaban-executor-2.5.0/
[hadoop@hadoop01 azkaban-executor-2.5.0]$ cd conf/
[hadoop@hadoop01 conf]$ vim azkaban.properties

# Azkaban
# 时区
default.timezone.id=Asia/Shanghai 
# Azkaban JobTypes插件配置，插件所在位置
azkaban.jobtype.plugin.dir=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0/plugins/jobtypes
# Loader for projects
executor.global.properties=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0/conf/global.properties
azkaban.project.dir=projects

# 数据库设置
# 数据库类型(目前只支持 mysql)
database.type=mysql 
# 数据库端口号
mysql.port=3306 
# 数据库IP地址
mysql.host=hadoop01
# 数据库实例名
mysql.database=azkaban 
# 数据库用户名
mysql.user=root 
# 数据库密码
mysql.password=root 
# 最大连接数
mysql.numconnections=100 

# 执行服务器配置
# 最大线程数
executor.maxThreads=50 
# 端口号(如修改,请与web服务中一致)
executor.port=12321 
# 线程数
executor.flow.threads=30

9. 配置环境变量

代码语言：javascript
复制
export AZKABAN_WEB_HOME=/home/hadoop/apps/azkaban/azkaban-web-2.5.0
export AZKABAN_EXECUTOR_HOME=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0
export PATH=$PATH:$AZKABAN_WEB_HOME/bin:$AZKABAN_EXECUTOR_HOME/bin

10. 启动web服务器

代码语言：javascript
复制
azkaban-web-start.sh
# 或者启动为后台守护线程
nohup azkaban-web-start.sh 1>/home/hadoop/azwebstd.out 2>/home/hadoop/azweberr.out &

11. 启动执行服务器

代码语言：javascript
复制
azkaban-executor-start.sh
# 或者启动为后台守护线程
nohup azkaban-executor-start.sh 1>/home/hadoop/azexstd.out 2>/home/hadoop/azexerr.out &

12. 测试

在浏览器中访问https://hadoop01:8443

注意：

  1. 协议是https，如果在浏览器的地址栏中直接输入hadoop01:8443，使用的是http协议，所以一定要手动输入https://hadoop01:8443
  2. 浏览器会提示该网站不安全，你需要选择继续访问

如果可以成功访问，说明azkaban安装成功！

13. 注意事项

1. 所有的配置文件每一行的末尾都不要有空格

2. mysql数据库一定要允许被远程连接

本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2017.12.25 ，如有侵权请联系 cloudcommunity@tencent.com 删除
其他

本文分享自 作者个人站点/博客 前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ，欢迎热爱写作的你一起参与！

其他
评论
登录后参与评论
0 条评论
热度
最新
登录 后参与评论
推荐阅读
LV.
文章
0
获赞
0
目录
  • 1. 把这三个安装包上传到服务器并解压
  • 2. 进入mysql运行azkaban/azkaban-2.5.0/目录下的create-all-sql-2.5.0.sql文件
  • 3. 创建SSL配置
  • 4. 把keystore文件拷贝到azkaban web服务器根目录中(azkaban-web-2.5.0)
  • 5. 保证服务器时区是上海时区
  • 6. 修改azkaban-web-2.5.0/conf/azkaban.properties配置文件
  • 7. 修改azkaban-web-2.5.0/conf/azkaban-users.xml配置文件
  • 8. 修改azkaban-executor-2.5.0/conf/azkaban.propertie配置文件
  • 9. 配置环境变量
  • 10. 启动web服务器
  • 11. 启动执行服务器
  • 12. 测试
  • 13. 注意事项
相关产品与服务
访问管理
访问管理（Cloud Access Management，CAM）可以帮助您安全、便捷地管理对腾讯云服务和资源的访问。您可以使用CAM创建子用户、用户组和角色，并通过策略控制其访问范围。CAM支持用户和角色SSO能力，您可以根据具体管理场景针对性设置企业内用户和腾讯云的互通能力。
产品介绍产品文档
精选特惠 用云无忧
领券

腾讯云开发者

扫码关注腾讯云开发者

扫码关注腾讯云开发者

领取腾讯云代金券

热门产品

热门推荐

更多推荐

Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号 | 京公网安备号11010802020287

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档

Copyright © 2013 - 2024 Tencent Cloud.

All Rights Reserved. 腾讯云 版权所有

登录 后参与评论