工作流调度器azkaban（以及各种工作流调度器比对）
1：工作流调度系统的作用：
（1）：一个完整的数据分析系统通常都是由大量任务单元组成：比如，shell脚本程序，java程序，mapreduce程序、hive脚本等； （2）：各任务单元之间存在时间先后及前后依赖关系； （3）：为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； （4）：举例说明工作流调度系统的具体作用： 我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示： a、通过Hadoop先将原始数据同步到HDFS上； b、借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中； c、需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表； d、将明细数据进行复杂的统计分析，得到结果报表信息； e、需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。 （5）：工作流调度实现方式： a：简单的任务调度：直接使用linux的crontab来定义； b：复杂的任务调度：开发调度平台，或使用现成的开源调度系统，比如ooize、azkaban等 （6）：常见工作流调度系统： 市面上目前有许多工作流调度器： 在hadoop领域，常见的工作流调度器有Oozie, Azkaban,Cascading,Hamake等
2：各种调度工具特性对比：
下面的表格对上述四种hadoop工作流调度器的关键特性进行了比较，尽管这些工作流调度器能够解决的需求场景基本一致，但在设计理念，目标用户，应用场景等方面还是存在显著的区别，在做技术选型的时候，可以提供参考：
特性 | Hamake | Oozie | Azkaban | Cascading |
|---|---|---|---|---|
工作流描述语言 | XML | XML (xPDL based) | text file with key/value pairs | Java API |
依赖机制 | data-driven | explicit | explicit | explicit |
是否要web容器 | No | Yes | Yes | No |
进度跟踪 | console/log messages | web page | web page | Java API |
Hadoop job调度支持 | no | yes | yes | yes |
运行模式 | command line utility | daemon | daemon | API |
Pig支持 | yes | yes | yes | yes |
事件通知 | no | no | no | yes |
需要安装 | no | yes | yes | no |
支持的hadoop版本 | 0.18+ | 0.20+ | currently unknown | 0.18+ |
重试支持 | no | workflownode evel | yes | yes |
运行任意命令 | yes | yes | yes | yes |
Amazon EMR支持 | yes | no | currently unknown | yes |
3：Azkaban与Oozie对比：
（1）：对市面上最流行的两种调度器，给出以下详细对比，以供技术选型参考。总体来说，ooize相比azkaban是一个重量级的任务调度系统，功能全面，但配置使用也更复杂。如果可以不在意某些功能的缺失，轻量级调度器azkaban是很不错的候选对象。 （2）：功能： 两者均可以调度mapreduce,pig,java,脚本工作流任务； 两者均可以定时执行工作流任务； （3）：工作流定义： Azkaban使用Properties文件定义工作流； Oozie使用XML文件定义工作流； （4）：工作流传参： Azkaban支持直接传参，例如${input}； Oozie支持参数和EL表达式，例如${fs:dirSize(myInputDir)}； （5）：定时执行： Azkaban的定时执行任务是基于时间的； Oozie的定时执行任务基于时间和输入数据； （6）：资源管理： Azkaban有较严格的权限控制，如用户对工作流进行读/写/执行等操作； Oozie暂无严格的权限控制； （7）：工作流执行： Azkaban有两种运行模式，分别是solo server mode(executor server和web server部署在同一台节点)和multi server mode(executor server和web server可以部署在不同节点)； Oozie作为工作流服务器运行，支持多用户和多工作流； （8）：工作流管理： Azkaban支持浏览器以及ajax方式操作工作流； Oozie支持命令行、HTTP REST、Java API、浏览器操作工作流；
4：Azkaban介绍：
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。 它有如下功能特点： Web用户界面，方便上传工作流，方便设置任务之间的关系，调度工作流，认证/授权(权限的工作)，能够杀死并重新启动工作流，模块化和可插拔的插件机制，项目工作区，工作流和任务的日志记录和审计。
5：Azkaban安装部署：
（1） 请提前将，Azkaban Web服务器,azkaban-web-server-2.5.0.tar.gz；Azkaban执行服务器 ，azkaban-executor-server-2.5.0.tar.gz上传到自己的机器，过程省略。由于目前azkaban只支持 mysql（azkaban提交的任务提交到mysql里面，因为是提交的任务是定时执行的，具有时间调度的，azkaban重启以后任务还存在），需安装mysql服务器，之前写过安装linux下面安装mysql，这里不叙述：
Azkaban的下载官网网址：https://azkaban.github.io/downloads.html
（2）安装建议：将安装文件上传到集群,最好上传到安装 hive、sqoop的机器上,方便命令的执行，在当前用户目录下新建 azkabantools目录,用于存放源安装文件.新建azkaban目录,用于存放azkaban运行程序；
（3）azkaban web服务器安装（提供web服务器的）如下所示：
第一步：解压azkaban-web-server-2.5.0.tar.gz 命令: tar –zxvf azkaban-web-server-2.5.0.tar.gz 第二步：将解压后的azkaban-web-server-2.5.0 移动到 azkaban目录中,并重新命名 webserver 命令: mv azkaban-web-server-2.5.0 ../azkaban cd ../azkaban mv azkaban-web-server-2.5.0 server
azkaban 执行服器（调用job执行的）安装：
第一步：解压azkaban-executor-server-2.5.0.tar.gz 命令:tar –zxvf azkaban-executor-server-2.5.0.tar.gz 第二步：将解压后的azkaban-executor-server-2.5.0 移动到 azkaban目录中,并重新命名 executor 命令:mv azkaban-executor-server-2.5.0 ../azkaban cd ../azkaban mv azkaban-executor-server-2.5.0 executor
azkaban脚本导入：
azkaban 在mysql里面创建表具有表结构，不像hive会自动执行创建mysql表结构，所以azkaban 需要手动执行azkaban脚本导入，创建mysql的表结构。 第一步：解压: azkaban-sql-script-2.5.0.tar.gz 命令:tar –zxvf azkaban-sql-script-2.5.0.tar.gz 将解压后的mysql 脚本,导入到mysql中: 进入mysql mysql> create database azkaban; mysql> use azkaban; Database changed mysql> source /home/hadoop/azkaban-2.5.0/create-all-sql-2.5.0.sql;
具体安装过程如下所示：
1 <!--创建文件夹相应的文件夹-->
2 [root@master hadoop]# mkdir azkabantools
3 [root@master hadoop]# mkdir azkaban
4 [root@master hadoop]# cd package/
5
6 <!--解压缩的操作-->
7 [root@master package]# tar -zxvf azkaban-web-server-2.5.0.tar.gz -C /home/hadoop/azkabantools/
8 [root@master package]# ll /home/hadoop/azkabantools/
9 [root@master package]# tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C /home/hadoop/azkabantools/
10 [root@master package]# ll /home/hadoop/azkabantools/
11 [root@master package]# tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C /home/hadoop/azkabantools/
12 [root@master package]# ll /home/hadoop/azkabantools/
13 [root@master package]# cd /home/hadoop/azkabantools/
14 [root@master azkabantools]# ls
15 [root@master azkabantools]# ll
16
17 <!--修改azkaban的名称以及查看等等操作-->
18 [root@master azkabantools]# mv azkaban-web-2.5.0 server
19 [root@master azkabantools]# mv azkaban-executor-2.5.0 executor
20 [root@master azkabantools]# ll
21
22 <!--手动执行mysql脚本创建数据表-->
23 [root@master hadoop]# mysql -uroot -p123456
24 mysql> create database azkaban;
25 mysql> use azkaban;
26 mysql> source /home/hadoop/azkabantools/azkaban-2.5.0/create-all-sql-2.5.0.sql6：完成以上操作以后，开始配置配置文件，因为azkaban的web页面是https访问的，所以服务端需要一个证书的。所以使用SSL来生成这个证书，下面创建SSL的配置：
脑补一下：安装java，安装目录下就有keytool，如果输入的时候输错了，不要慌，按住ctrl+Backspace键即可清楚错误操作命令。
此命令生成证书：keytool -keystore keystore -alias jetty -genkey -keyalg RSA 1 [root@master azkabantools]# keytool -keystore keystore -alias jetty -genkey -keyalg RSA
2 Enter keystore password:输入密码
3 Re-enter new password:输入确认密码
4 What is your first and last name?
5 [Unknown]:回车
6 What is the name of your organizational unit?
7 [Unknown]:回车
8 What is the name of your organization?
9 [Unknown]:回车
10 What is the name of your City or Locality?
11 [Unknown]:回车
12 What is the name of your State or Province?
13 [Unknown]:回车
14 What is the two-letter country code for this unit?
15 [Unknown]: CN
16 Is CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN correct?
17 [no]: y
18
19 Enter key password for <jetty>
20 (RETURN if same as keystore password):回车（密码是否和上面的一样）
21 [root@master azkabantools]# 完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目录中.如:cp keystore azkaban/server，即完成生成证书操作；
[root@master azkabantools]# cp keystore /home/hadoop/azkabantools/server/
7：接下来配置azkaban的配置文件：
注：先配置好服务器节点上的时区，由于是定时执行的，如果时区时间不对，azkaban将不会执行。 1、先生成时区配置文件Asia/Shanghai，如果没有这个时区Asia/Shanghai，使用交互式命令 tzselect生成 即可，根据提示进行选择，这里省略。 2、拷贝该时区文件，覆盖系统本地时区配置： cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 3：修改自己的时间，然后写到硬件里面，不然只在本次生效： sudo date -s 'yyyy-dd-MM hh:mm:ss' hwclock -w
azkaban web服务器配置，进入azkaban web服务器安装目录 conf目录，修改azkaban.properties文件：
[root@master azkabantools]# cd server/conf
[root@master conf]# vim azkaban.properties
1 #Azkaban Personalization Settings
2 azkaban.name=Test #服务器UI名称,用于服务器上方显示的名字
3 azkaban.label=My Local Azkaban #描述
4 azkaban.color=#FF3601 #UI颜色
5 azkaban.default.servlet.path=/index #
6 web.resource.dir=web/ #默认根web目录
7 default.timezone.id=Asia/Shanghai #默认时区,已改为亚洲/上海 默认为美国
8
9 #Azkaban UserManager class
10 user.manager.class=azkaban.user.XmlUserManager #用户权限管理默认类
11 user.manager.xml.file=conf/azkaban-users.xml #用户配置,具体配置参加下文
12
13 #Loader for projects
14 executor.global.properties=conf/global.properties # global配置文件所在位置
15 azkaban.project.dir=projects #
16
17 database.type=mysql #数据库类型
18 mysql.port=3306 #端口号
19 mysql.host=192.168.3.129 #数据库连接IP
20 mysql.database=azkaban #数据库实例名
21 mysql.user=root #数据库用户名
22 mysql.password=123456 #数据库密码
23 mysql.numconnections=100 #最大连接数
24
25 # Velocity dev mode
26 velocity.dev.mode=false
27 # Jetty服务器属性.
28 jetty.maxThreads=25 #最大线程数
29 jetty.ssl.port=8443 #Jetty SSL端口
30 jetty.port=8081 #Jetty端口
31 jetty.keystore=keystore #SSL文件名
32 jetty.password=123456 #SSL文件密码
33 jetty.keypassword=123456 #Jetty主密码 与 keystore文件相同
34 jetty.truststore=keystore #SSL文件名
35 jetty.trustpassword=123456 # SSL文件密码
36
37 # 执行服务器属性
38 executor.port=12321 #执行服务器端口
39
40 # 邮件设置
41 mail.sender=xxxxxxxx@163.com #发送邮箱
42 mail.host=smtp.163.com #发送邮箱smtp地址
43 mail.user=xxxxxxxx #发送邮件时显示的名称
44 mail.password=********** #邮箱密码
45 job.failure.email=xxxxxxxx@163.com #任务失败时发送邮件的地址
46 job.success.email=xxxxxxxx@163.com #任务成功时发送邮件的地址
47 lockdown.create.projects=false #
48 cache.directory=cache #缓存目录然后配置azkaban 执行服务器executor配置，进入执行服务器安装目录conf,修改azkaban.properties：
1 #Azkaban
2 default.timezone.id=Asia/Shanghai #时区
3
4 # Azkaban JobTypes 插件配置
5 azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 插件所在位置
6
7 #Loader for projects
8 executor.global.properties=conf/global.properties
9 azkaban.project.dir=projects
10
11 #数据库设置
12 database.type=mysql #数据库类型(目前只支持mysql)
13 mysql.port=3306 #数据库端口号
14 mysql.host=192.168.3.129 #数据库IP地址
15 mysql.database=azkaban #数据库实例名
16 mysql.user=root #数据库用户名
17 mysql.password=123456 #数据库密码
18 mysql.numconnections=100 #最大连接数
19
20 # 执行服务器配置
21 executor.maxThreads=50 #最大线程数
22 executor.port=12321 #端口号(如修改,请与web服务中一致)
23 executor.flow.threads=30 #线程数然后进行用户配置，进入azkaban web服务器conf目录,修改azkaban-users.xml，vi azkaban-users.xml 增加 管理员用户：
[root@master conf]# vim /home/hadoop/azkabantools/server/conf/azkaban-users.xml
1 <azkaban-users>
2 <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
3 <user username="metrics" password="metrics" roles="metrics"/>
4 <user username="admin" password="admin" roles="admin,metrics" />
5 <role name="admin" permissions="ADMIN" />
6 <role name="metrics" permissions="METRICS"/>
7 </azkaban-users>8：配置完成以后可以启动azkaban，可以先启动azkaban web服务器：
在azkaban web服务器目录下执行启动命令：bin/azkaban-web-start.sh
在azkaban web服务器目录下执行关闭命令：[root@master server]# bin/azkaban-web-shutdown.sh
注意：在web服务器根目录运行或者启动到后台运行： nohup bin/azkaban-web-start.sh 1>/tmp/azstd.out 2>/tmp/azerr.out &
然后就报下面的错，出错了，就解决呗，错误和解决方法如下所示：
1 [root@master server]# bin/azkaban-web-start.sh
2 Using Hadoop from /home/hadoop/hadoop-2.4.1
3 Using Hive from
4 bin/..
5 :bin/../lib/azkaban-2.5.0.jar:bin/../lib/commons-collections-3.2.1.jar:bin/../lib/commons-configuration-1.8.jar:bin/../lib/commons-dbcp-1.4.jar:bin/../lib/commons-dbutils-1.5.jar:bin/../lib/commons-email-1.2.jar:bin/../lib/commons-fileupload-1.2.1.jar:bin/../lib/commons-io-2.4.jar:bin/../lib/commons-jexl-2.1.1.jar:bin/../lib/commons-lang-2.6.jar:bin/../lib/commons-logging-1.1.1.jar:bin/../lib/commons-pool-1.6.jar:bin/../lib/guava-13.0.1.jar:bin/../lib/h2-1.3.170.jar:bin/../lib/httpclient-4.2.1.jar:bin/../lib/httpcore-4.2.1.jar:bin/../lib/jackson-core-asl-1.9.5.jar:bin/../lib/jackson-mapper-asl-1.9.5.jar:bin/../lib/jetty-6.1.26.jar:bin/../lib/jetty-util-6.1.26.jar:bin/../lib/joda-time-2.0.jar:bin/../lib/jopt-simple-4.3.jar:bin/../lib/junit-4.8.jar:bin/../lib/log4j-1.2.16.jar:bin/../lib/mail-1.4.5.jar:bin/../lib/mysql-connector-java-5.1.28.jar:bin/../lib/servlet-api-2.5.jar:bin/../lib/slf4j-api-1.6.1.jar:bin/../lib/slf4j-log4j12-1.6.4.jar:bin/../lib/velocity-1.7.jar:bin/../lib/velocity-tools-2.0.jar:bin/../extlib/*.jar:bin/../plugins/*/*.jar:/home/hadoop/hadoop-2.4.1/conf:/home/hadoop/hadoop-2.4.1/*:/conf:/lib/*
6 [root@master server]# Invalid maximum heap size: -Xmx4G
7 The specified size exceeds the maximum representable size.
8 Error: Could not create the Java Virtual Machine.
9 Error: A fatal exception has occurred. Program will exit.解决方法: 请修改文件如：vim azkaban\azkaban-web-2.5.0\bin\azkaban-web-start.sh
打开文件使用命令搜索，在命令行模式下，按shift+:键打出冒号，然后输入/，然后输入想要搜索的内容，如：/-Xmx4G找到以后进行替换；
将文件中的 AZKABAN_OPTS="-Xmx4G" 修改为 AZKABAN_OPTS="-Xmx512M"
报错原因如：设置的大小按照机器的存储而定，如果设置太大可能无法启动，设置太小会内存溢出。否则启动报错。
启动过程如下即启动成功（按Enter键，即可继续输入linux命令进行操作executor，因为这只是打印一下启动日志，azkaban已经启动起来了，可以使用jps进行查看进程）：
1 [root@master server]# bin/azkaban-web-start.sh
2 Using Hadoop from /home/hadoop/hadoop-2.4.1
3 Using Hive from
4 bin/..
5 :bin/../lib/azkaban-2.5.0.jar:bin/../lib/commons-collections-3.2.1.jar:bin/../lib/commons-configuration-1.8.jar:bin/../lib/commons-dbcp-1.4.jar:bin/../lib/commons-dbutils-1.5.jar:bin/../lib/commons-email-1.2.jar:bin/../lib/commons-fileupload-1.2.1.jar:bin/../lib/commons-io-2.4.jar:bin/../lib/commons-jexl-2.1.1.jar:bin/../lib/commons-lang-2.6.jar:bin/../lib/commons-logging-1.1.1.jar:bin/../lib/commons-pool-1.6.jar:bin/../lib/guava-13.0.1.jar:bin/../lib/h2-1.3.170.jar:bin/../lib/httpclient-4.2.1.jar:bin/../lib/httpcore-4.2.1.jar:bin/../lib/jackson-core-asl-1.9.5.jar:bin/../lib/jackson-mapper-asl-1.9.5.jar:bin/../lib/jetty-6.1.26.jar:bin/../lib/jetty-util-6.1.26.jar:bin/../lib/joda-time-2.0.jar:bin/../lib/jopt-simple-4.3.jar:bin/../lib/junit-4.8.jar:bin/../lib/log4j-1.2.16.jar:bin/../lib/mail-1.4.5.jar:bin/../lib/mysql-connector-java-5.1.28.jar:bin/../lib/servlet-api-2.5.jar:bin/../lib/slf4j-api-1.6.1.jar:bin/../lib/slf4j-log4j12-1.6.4.jar:bin/../lib/velocity-1.7.jar:bin/../lib/velocity-tools-2.0.jar:bin/../extlib/*.jar:bin/../plugins/*/*.jar:/home/hadoop/hadoop-2.4.1/conf:/home/hadoop/hadoop-2.4.1/*:/conf:/lib/*
6 [root@master server]# 2017/12/14 14:43:46.276 +0800 ERROR [AzkabanWebServer] [Azkaban] Starting Jetty Azkaban Executor...
7 2017/12/14 14:43:46.292 +0800 INFO [AzkabanServer] [Azkaban] Loading azkaban settings file from bin/../conf
8 2017/12/14 14:43:46.292 +0800 INFO [AzkabanServer] [Azkaban] Loading azkaban properties file
9 2017/12/14 14:43:46.306 +0800 INFO [AzkabanWebServer] [Azkaban] Setting up Jetty Https Server with port:8443 and numThreads:25
10 2017/12/14 14:43:46.327 +0800 INFO [log] [Azkaban] Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
11 2017/12/14 14:43:46.357 +0800 INFO [AzkabanWebServer] [Azkaban] Loading user manager class azkaban.user.XmlUserManager
12 2017/12/14 14:43:46.384 +0800 INFO [XmlUserManager] [Azkaban] Loading user azkaban
13 2017/12/14 14:43:46.386 +0800 INFO [XmlUserManager] [Azkaban] Loading user metrics
14 2017/12/14 14:43:46.386 +0800 INFO [XmlUserManager] [Azkaban] Loading user admin
15 2017/12/14 14:43:46.811 +0800 INFO [AzkabanWebServer] [Azkaban] Loading JDBC for project management
16 2017/12/14 14:43:46.815 +0800 INFO [ProjectManager] [Azkaban] Project version retention is set to 3
17 2017/12/14 14:43:46.816 +0800 INFO [ExecutorManager] [Azkaban] Cleaning old logs from execution_logs
18 2017/12/14 14:43:47.013 +0800 INFO [ExecutorManager] [Azkaban] Cleaning old log files before 2017-09-21T14:43:46.853+08:00
19 2017/12/14 14:43:47.019 +0800 INFO [ExecutorManager] [Azkaban] Cleaned up 0 log entries.
20 2017/12/14 14:43:47.056 +0800 INFO [TriggerManager] [Azkaban] TriggerManager loaded.
21 2017/12/14 14:43:47.057 +0800 INFO [AzkabanWebServer] [Azkaban] Loading built-in checker and action types
22 2017/12/14 14:43:47.064 +0800 INFO [CheckerTypeLoader] [Azkaban] Registering checker BasicTimeChecker
23 2017/12/14 14:43:47.064 +0800 INFO [CheckerTypeLoader] [Azkaban] Registering checker SlaChecker
24 2017/12/14 14:43:47.064 +0800 INFO [CheckerTypeLoader] [Azkaban] Registering checker ExecutionChecker
25 2017/12/14 14:43:47.064 +0800 INFO [ActionTypeLoader] [Azkaban] Registering action ExecuteFlowAction
26 2017/12/14 14:43:47.065 +0800 INFO [ActionTypeLoader] [Azkaban] Registering action KillExecutionAction
27 2017/12/14 14:43:47.065 +0800 INFO [ActionTypeLoader] [Azkaban] Registering action AlertAction
28 2017/12/14 14:43:47.065 +0800 INFO [ActionTypeLoader] [Azkaban] Registering action CreateTriggerAction
29 2017/12/14 14:43:47.065 +0800 INFO [AzkabanWebServer] [Azkaban] Loading trigger based scheduler
30 2017/12/14 14:43:47.069 +0800 INFO [AzkabanWebServer] [Azkaban] Loading plug-in checker and action types
31 2017/12/14 14:43:47.069 +0800 ERROR [AzkabanWebServer] [Azkaban] plugin path plugins/triggers doesn't exist!
32 2017/12/14 14:43:47.069 +0800 INFO [AzkabanWebServer] [Azkaban] Setting timezone to Asia/Shanghai
33 2017/12/14 14:43:47.069 +0800 INFO [AzkabanWebServer] [Azkaban] Registering MBeans...
34 2017/12/14 14:43:47.157 +0800 INFO [AzkabanWebServer] [Azkaban] Bean azkaban.jmx.JmxJettyServer registered.
35 2017/12/14 14:43:47.163 +0800 INFO [AzkabanWebServer] [Azkaban] Bean azkaban.jmx.JmxTriggerManager registered.
36 2017/12/14 14:43:47.172 +0800 INFO [AzkabanWebServer] [Azkaban] Bean azkaban.jmx.JmxExecutorManager registered.
37 2017/12/14 14:43:47.175 +0800 INFO [AzkabanWebServer] [Azkaban] Setting up web resource dir web/
38 2017/12/14 14:43:47.249 +0800 INFO [JdbcTriggerLoader] [Azkaban] Loading all triggers from db.
39 2017/12/14 14:43:47.308 +0800 INFO [JdbcTriggerLoader] [Azkaban] Loaded 0 triggers.
40 2017/12/14 14:43:47.308 +0800 INFO [log] [Azkaban] jetty-6.1.26
41 2017/12/14 14:43:47.991 +0800 INFO [log] [Azkaban] Started SslSocketConnector@0.0.0.0:8443
42 2017/12/14 14:43:47.993 +0800 INFO [AzkabanWebServer] [Azkaban] Server running on ssl port 8443.然后启动执行服务器，在执行服务器目录下执行启动命令：bin/azkaban-executor-start.sh，关闭命令：[root@master executor]# bin/azkaban-executor-shutdown.sh注:只能要执行服务器根目录运行；
启动完成后,在浏览器(建议使用谷歌浏览器)中输入https://服务器IP地址:8443 ,即可访问azkaban服务了.在登录中输入刚才新的户用名及密码,点击 login.
[root@master executor]# bin/azkaban-executor-start.sh
出现和启动web一样的错误，这里自己解决一下即可：
[root@master executor]# vim bin/azkaban-executor-start.sh
解决完错误以后接着启动即可：
1 [root@master executor]# bin/azkaban-executor-start.sh
2 Using Hadoop from /home/hadoop/hadoop-2.4.1
3 Using Hive from
4 bin/..
5 :bin/../lib/azkaban-2.5.0.jar:bin/../lib/commons-collections-3.2.1.jar:bin/../lib/commons-configuration-1.8.jar:bin/../lib/commons-dbcp-1.4.jar:bin/../lib/commons-dbutils-1.5.jar:bin/../lib/commons-email-1.2.jar:bin/../lib/commons-fileupload-1.2.1.jar:bin/../lib/commons-io-2.4.jar:bin/../lib/commons-jexl-2.1.1.jar:bin/../lib/commons-lang-2.6.jar:bin/../lib/commons-logging-1.1.1.jar:bin/../lib/commons-pool-1.6.jar:bin/../lib/guava-13.0.1.jar:bin/../lib/h2-1.3.170.jar:bin/../lib/httpclient-4.2.1.jar:bin/../lib/httpcore-4.2.1.jar:bin/../lib/jackson-core-asl-1.9.5.jar:bin/../lib/jackson-mapper-asl-1.9.5.jar:bin/../lib/jetty-6.1.26.jar:bin/../lib/jetty-util-6.1.26.jar:bin/../lib/joda-time-2.0.jar:bin/../lib/jopt-simple-4.3.jar:bin/../lib/junit-4.8.jar:bin/../lib/log4j-1.2.16.jar:bin/../lib/mail-1.4.5.jar:bin/../lib/mysql-connector-java-5.1.28.jar:bin/../lib/servlet-api-2.5.jar:bin/../lib/slf4j-api-1.6.1.jar:bin/../lib/slf4j-log4j12-1.6.4.jar:bin/../lib/velocity-1.7.jar:bin/../lib/velocity-tools-2.0.jar:bin/../extlib/*.jar:bin/../plugins/*/*.jar:/home/hadoop/hadoop-2.4.1/conf:/home/hadoop/hadoop-2.4.1/*:/conf:/lib/*
6 Starting AzkabanExecutorServer on port 12321 ...
7 [root@master executor]# 2017/12/14 14:52:31.724 +0800 ERROR [AzkabanExecutorServer] [Azkaban] Starting Jetty Azkaban Executor...
8 2017/12/14 14:52:31.751 +0800 INFO [AzkabanServer] [Azkaban] Loading azkaban settings file from bin/../conf
9 2017/12/14 14:52:31.752 +0800 INFO [AzkabanServer] [Azkaban] Loading azkaban private properties file
10 2017/12/14 14:52:31.753 +0800 INFO [AzkabanServer] [Azkaban] Loading azkaban properties file
11 2017/12/14 14:52:31.776 +0800 INFO [AzkabanExecutorServer] [Azkaban] Setting timezone to Asia/Shanghai
12 2017/12/14 14:52:31.805 +0800 INFO [log] [Azkaban] Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
13 2017/12/14 14:52:31.882 +0800 INFO [FlowRunnerManager] [Azkaban] Execution dir retention set to 86400000 ms
14 2017/12/14 14:52:31.894 +0800 INFO [FlowRunnerManager] [Azkaban] Cleaning recently finished
15 2017/12/14 14:52:31.895 +0800 INFO [FlowRunnerManager] [Azkaban] Cleaning old projects
16 2017/12/14 14:52:31.896 +0800 INFO [FlowRunnerManager] [Azkaban] Cleaning old execution dirs
17 2017/12/14 14:52:31.922 +0800 INFO [AzkabanExecutorServer] [Azkaban] Registering MBeans...
18 2017/12/14 14:52:31.993 +0800 INFO [AzkabanExecutorServer] [Azkaban] Bean azkaban.jmx.JmxJettyServer registered.
19 2017/12/14 14:52:32.003 +0800 INFO [AzkabanExecutorServer] [Azkaban] Bean azkaban.jmx.JmxFlowRunnerManager registered.
20 2017/12/14 14:52:32.003 +0800 INFO [log] [Azkaban] jetty-6.1.26
21 2017/12/14 14:52:32.108 +0800 INFO [log] [Azkaban] Started SocketConnector@0.0.0.0:12321
22 2017/12/14 14:52:32.108 +0800 INFO [AzkabanExecutorServer] [Azkaban] Azkaban Executor Server started on port 12321最后可以进行浏览器访问查看，如下所示（账号密码是azkaban-users.xml配置文件里面配置的）：
由于访问https，浏览器会拦截，这里添加可信任即可：
9：Azkaban的简单实用，Azkaba内置的任务类型支持command、java；
Command类型单一job示例：
第一步：创建job描述文件：
1 #command.job
2 type=command
3 command=echo 'hello world !'第二步：将job资源文件打包成zip文件（在window打包）：
第三步：通过azkaban的web管理平台创建project并上传job压缩包，首先呢，需要创建project：
然后上传你的zip包，必须是zip包，如果是rar包会报如下的错误，如下所示：
页面也提示如下错误：Installation Failed. Error unzipping file.
1 azkaban.project.ProjectManagerException: Error unzipping file.
2 at azkaban.project.ProjectManager.uploadProject(ProjectManager.java:318)
3 at azkaban.webapp.servlet.ProjectManagerServlet.ajaxHandleUpload(ProjectManagerServlet.java:1389)
4 at azkaban.webapp.servlet.ProjectManagerServlet.handleUpload(ProjectManagerServlet.java:1414)
5 at azkaban.webapp.servlet.ProjectManagerServlet.handleMultiformPost(ProjectManagerServlet.java:163)
6 at azkaban.webapp.servlet.LoginAbstractAzkabanServlet.doPost(LoginAbstractAzkabanServlet.java:240)
7 at javax.servlet.http.HttpServlet.service(HttpServlet.java:727)
8 at javax.servlet.http.HttpServlet.service(HttpServlet.java:820)
9 at org.mortbay.jetty.servlet.ServletHolder.handle(ServletHolder.java:511)
10 at org.mortbay.jetty.servlet.ServletHandler.handle(ServletHandler.java:401)
11 at org.mortbay.jetty.servlet.SessionHandler.handle(SessionHandler.java:182)
12 at org.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:766)
13 at org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152)
14 at org.mortbay.jetty.Server.handle(Server.java:326)
15 at org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542)
16 at org.mortbay.jetty.HttpConnection$RequestHandler.content(HttpConnection.java:945)
17 at org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:756)
18 at org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:218)
19 at org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404)
20 at org.mortbay.jetty.bio.SocketConnector$Connection.run(SocketConnector.java:228)
21 at org.mortbay.jetty.security.SslSocketConnector$SslConnection.run(SslSocketConnector.java:713)
22 at org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)
23 Caused by: java.util.zip.ZipException: error in opening zip file
24 at java.util.zip.ZipFile.open(Native Method)
25 at java.util.zip.ZipFile.<init>(ZipFile.java:215)
26 at java.util.zip.ZipFile.<init>(ZipFile.java:145)
27 at java.util.zip.ZipFile.<init>(ZipFile.java:159)
28 at azkaban.project.ProjectManager.unzipFile(ProjectManager.java:402)
29 at azkaban.project.ProjectManager.uploadProject(ProjectManager.java:312)
30 ... 20 more如果Mysql的图形化工具无法查看自己的创建的hive或者azkaban数据表，应该是没有权限的问题，赋予一下权限即可：
如果出现没有权限的问题，在mysql授权(在安装mysql的机器上执行) mysql -uroot -p123456 #(执行下面的语句 *.*:所有库下的所有表 %：任何IP地址或主机都可以连接) GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; FLUSH PRIVILEGES;
红色区域内本应该存在上传的文件的，可是这里死活不出来，不知道什么问题。百度好像也没有说怎么解决，这里先记一下，看看日后解决的时候再贴一下。好难受。
此时此刻，离上句的好难受已经过去大约30分钟了，突然想到一件事情，然后就解决这个问题了，开始呢，我搞了一个txt文件，写上上面的命令，然后打成zip包，不是rar包，然后提交死活，页面不显示，感觉学习新东西，自己脑残一样，最后发现文件格式必须是.job格式的，然后打成的.zip包的。（azkaban上传的zip包页面不显示，No FlowsNo flows have been uploaded to this project yet.如果你搜索这些关键字的话，看到这些话，希望可以帮助到你，最后注意文件的格式必须为UTF-8）；
然后呢，可以看看summary可以看看最后一次运行状态，正在运行的状态等等。看看Graph工作流图；可以点击Execute Flow进行任务调度，如下所示：
然后出现下面界面：
最后如下所示：
到此结束，复杂案例，以后有机会再脑补吧。
azkaban后台启动，偶尔会报这个错误，这里先不解决了，以后真正实在不行再来解决它，网上好多方法，没去测试是否可行。先留一下吧。
1 2017/12/14 17:40:55.147 +0800 WARN [log] [Azkaban] EXCEPTION
2 javax.net.ssl.SSLHandshakeException: Remote host closed connection during handshake
3 at sun.security.ssl.SSLSocketImpl.readRecord(SSLSocketImpl.java:946)
4 at sun.security.ssl.SSLSocketImpl.waitForClose(SSLSocketImpl.java:1705)
5 at sun.security.ssl.HandshakeOutStream.flush(HandshakeOutStream.java:122)
6 at sun.security.ssl.Handshaker.sendChangeCipherSpec(Handshaker.java:972)
7 at sun.security.ssl.ServerHandshaker.sendChangeCipherAndFinish(ServerHandshaker.java:1532)
8 at sun.security.ssl.ServerHandshaker.clientHello(ServerHandshaker.java:671)
9 at sun.security.ssl.ServerHandshaker.processMessage(ServerHandshaker.java:167)
10 at sun.security.ssl.Handshaker.processLoop(Handshaker.java:868)
11 at sun.security.ssl.Handshaker.process_record(Handshaker.java:804)
12 at sun.security.ssl.SSLSocketImpl.readRecord(SSLSocketImpl.java:1016)
13 at sun.security.ssl.SSLSocketImpl.performInitialHandshake(SSLSocketImpl.java:1312)
14 at sun.security.ssl.SSLSocketImpl.startHandshake(SSLSocketImpl.java:1339)
15 at sun.security.ssl.SSLSocketImpl.startHandshake(SSLSocketImpl.java:1323)
16 at org.mortbay.jetty.security.SslSocketConnector$SslConnection.run(SslSocketConnector.java:708)
17 at org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)
18 Caused by: java.io.EOFException: SSL peer shut down incorrectly
19 at sun.security.ssl.InputRecord.read(InputRecord.java:482)
20 at sun.security.ssl.SSLSocketImpl.readRecord(SSLSocketImpl.java:927)
21 ... 14 more
22 2017/12/14 17:40:55.153 +0800 WARN [log] [Azkaban] EXCEPTION
23 javax.net.ssl.SSLHandshakeException: Remote host closed connection during handshake
24 at sun.security.ssl.SSLSocketImpl.readRecord(SSLSocketImpl.java:946)
25 at sun.security.ssl.SSLSocketImpl.waitForClose(SSLSocketImpl.java:1705)
26 at sun.security.ssl.HandshakeOutStream.flush(HandshakeOutStream.java:122)
27 at sun.security.ssl.Handshaker.sendChangeCipherSpec(Handshaker.java:972)
28 at sun.security.ssl.ServerHandshaker.sendChangeCipherAndFinish(ServerHandshaker.java:1532)
29 at sun.security.ssl.ServerHandshaker.clientHello(ServerHandshaker.java:671)
30 at sun.security.ssl.ServerHandshaker.processMessage(ServerHandshaker.java:167)
31 at sun.security.ssl.Handshaker.processLoop(Handshaker.java:868)
32 at sun.security.ssl.Handshaker.process_record(Handshaker.java:804)
33 at sun.security.ssl.SSLSocketImpl.readRecord(SSLSocketImpl.java:1016)
34 at sun.security.ssl.SSLSocketImpl.performInitialHandshake(SSLSocketImpl.java:1312)
35 at sun.security.ssl.SSLSocketImpl.startHandshake(SSLSocketImpl.java:1339)
36 at sun.security.ssl.SSLSocketImpl.startHandshake(SSLSocketImpl.java:1323)
37 at org.mortbay.jetty.security.SslSocketConnector$SslConnection.run(SslSocketConnector.java:708)
38 at org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)
39 Caused by: java.io.EOFException: SSL peer shut down incorrectly
40 at sun.security.ssl.InputRecord.read(InputRecord.java:482)
41 at sun.security.ssl.SSLSocketImpl.readRecord(SSLSocketImpl.java:927)
42 ... 14 more
43 2017/12/14 17:41:06.377 +0800 WARN [log] [Azkaban] EXCEPTION
44 javax.net.ssl.SSLHandshakeException: Remote host closed connection during handshake
45 at sun.security.ssl.SSLSocketImpl.readRecord(SSLSocketImpl.java:946)
46 at sun.security.ssl.SSLSocketImpl.performInitialHandshake(SSLSocketImpl.java:1312)
47 at sun.security.ssl.SSLSocketImpl.startHandshake(SSLSocketImpl.java:1339)
48 at sun.security.ssl.SSLSocketImpl.startHandshake(SSLSocketImpl.java:1323)
49 at org.mortbay.jetty.security.SslSocketConnector$SslConnection.run(SslSocketConnector.java:708)
50 at org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)
51 Caused by: java.io.EOFException: SSL peer shut down incorrectly
52 at sun.security.ssl.InputRecord.read(InputRecord.java:482)
53 at sun.security.ssl.SSLSocketImpl.readRecord(SSLSocketImpl.java:927)
54 ... 5 more待续.......