专栏首页我是攻城师驭象者之Apache Oozie

驭象者之Apache Oozie

(1)Apache Oozie是什么? Oozie在英语中的释义指的是:驯象人,驭象者(多指缅甸那边的俗称),这个比喻相对与它的功能来说,还是很恰当的。 Apache Oozie是一个用来管理Hadoop任务的工作流调度系统,是基于有向无环图的模型(DAG)。Oozie支持大多数的Hadoop任务的组合,常见的有Java MapReduce,Streaming map-reduce,Pig,Hive, Sqoop , Distcp,也可以结合一些脚本如Shell,Python,Java来很灵活的完成一些事情。同时,它也是一个可伸缩的,可扩展,高可靠的的系统

(2)Apache Oozie能用来干什么? 其实,上面的这张图,已经足够回答这个问题了,工作流嘛,顾名思义,就是我要干一件事,需要很多步骤,然后有序组合,最终达到能够完成这件事的目的。 举个例子,就拿做饭这件事吧。 1,买菜 2,洗菜 3,切菜 4,炒菜 5,上菜 这是一个简单的流程,当然这里面会有很多其他的小细节,比如我买菜,去了不同的菜市场,炒菜时候,又临时去买了一些调料,等等。 仔细分析这里面的道道,有些是有依赖关系的,有些没依赖关系的,比如菜是核心,所有很菜有关的都有先后顺序,其他的辅助步骤,比如说烧水,跟这是没有依赖关系的。反应到实际工作中的一些任务也是如此,所以采用oozie来管理调度,还是很方便的一件事。

(3)Oozie的组成 Readme, license, notice & Release log files.(一个项目的,版权,介绍,log等) Oozie server: oozie-server directory.(oozie的服务端目录) Scripts: bin/ directory, client and server scripts.(bin下面有一些常用的命令,来管理oozie的) Binaries: lib/ directory, client JAR files.(存放oozie的依赖包) Configuration: conf/ server configuration directory.(oozie的配置文件) Archives:(归档包目录) oozie-client-*.tar.gz : Client tools.(oozie的客户端包) oozie.war : Oozie WAR file.(web的服务工程) docs.zip : Documentation.(文档) oozie-examples-*.tar.gz : Examples.(例子) oozie-sharelib-*.tar.gz : Share libraries (with Streaming, Pig JARs).(一些工作流支持的框架共享包) (4)oozie支持调度的应用 1,Email任务 2,Shell任务 3,Hive任务 4,Sqoop任务 5,SSH任务 6,Distcp任务 7,自定义的任务

(5)oozie的下载,安装,编译 oozie目前最新的版本是oozie4.1.0,下载地址1,如果链接不上,可点击这个下载地址2, 在linux上,可以直接wget http://archive.apache.org/dist/oozie/4.1.0/oozie-4.1.0.tar.gz下载 下载完,可以解压出来根据自己的一些环境编译。 散仙这里的一些环境如下: Hadoop2.2 JDK1.7 Maven3.0.5 Ant1.9.4 Hive0.13.1 Pig0.12.1 所以,需要修改在oozie的根目录下的pom文件: 1,修改JDK版本 2,如有必要可修改各个组件的版本,在跟目录下执行 grep -l "2.3.0" `find . -name "pom.xml"`

Java代码

  1. ./pom.xml
  2. ./hadooplibs/hadoop-distcp-2/pom.xml
  3. ./hadooplibs/hadoop-test-2/pom.xml
  4. ./hadooplibs/hadoop-utils-2/pom.xml
  5. ./hadooplibs/hadoop-2/pom.xml

将查出来的pom文件,修改对应hadoop版本,hive,hbase,pig等组件版本 注意使用(sed -e 's/2.3.0/2.2.0/g' pom.xml 替换可能更快,但是建议自己去修改,因为改的地方并不是太多!) 注意,在4.1.0里,需要把下面这个保持成2.3.0,hadoop的版本可以是2.2.0如果,不改的话,编译Zookeeper-Scurity-Test时候,会报错

Java代码

  1. [INFO] Apache Oozie ZooKeeper Security Tests ............. FAILURE [2.204s]
  2. [INFO] ------------------------------------------------------------------------
  3. [INFO] BUILD FAILURE
  4. [INFO] ------------------------------------------------------------------------
  5. [INFO] Total time: 5:27.818s
  6. [INFO] Finished at: Fri May 15 12:50:50 CST 2015
  7. [INFO] Final Memory: 132M/237M
  8. [INFO] ------------------------------------------------------------------------
  9. [ERROR] Failed to execute goal on project oozie-zookeeper-security-tests: Could not resolve dependencies for project org.apache.oozie:oozie-zookeeper-security-tests:jar:4.1.0: Failed to collect dependencies for [org.apache.curator:curator-test:jar:2.5.0 (test), org.apache.hadoop:hadoop-minikdc:jar:2.2.0 (test), org.apache.oozie:oozie-core:jar:4.1.0 (test), org.apache.oozie:oozie-core:jar:tests:4.1.0 (test), org.apache.oozie:oozie-hadoop:jar:2.2.0.oozie-4.1.0 (provided), org.apache.oozie:oozie-hadoop-test:jar:2.2.0.oozie-4.1.0 (test)]: Failed to read artifact descriptor for org.apache.hadoop:hadoop-minikdc:jar:2.2.0: Could not transfer artifact org.apache.hadoop:hadoop-minikdc:pom:2.2.0 from/to Codehaus repository (http://repository.codehaus.org/): peer not authenticated -> [Help 1]
  10. [ERROR]
  11. [ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
  12. [ERROR] Re-run Maven using the -X switch to enable full debug logging.
  13. [ERROR]
  14. [ERROR] For more information about the errors and possible solutions, please read the following articles:
  15. [ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/DependencyResolutionException
  16. [ERROR]
  17. [ERROR] After correcting the problems, you can resume the build with the command
  18. [ERROR] mvn <goals> -rf :oozie-zookeeper-security-tests

改回2.3.0即可

Java代码

  1. <dependency>
  2. <groupId>org.apache.hadoop</groupId>
  3. <artifactId>hadoop-minikdc</artifactId>
  4. <version>2.3.0</version>
  5. </dependency>

3,修改完成后,执行下面命令进行编译: bin/mkdistro.sh -DskipTests -Dhadoop.version=2.2.0 4,中间如果出现错误,不要紧,重新执行上面命令,会增量的编译,原来编译成功的,不会重复编译,编译成功如下:

Java代码

  1. [INFO] Reactor Summary:
  2. [INFO]
  3. [INFO] Apache Oozie Main .................................. SUCCESS [ 1.440 s]
  4. [INFO] Apache Oozie Client ................................ SUCCESS [ 22.217 s]
  5. [INFO] Apache Oozie Hadoop 1.1.1.oozie-4.1.0 .............. SUCCESS [ 0.836 s]
  6. [INFO] Apache Oozie Hadoop Distcp 1.1.1.oozie-4.1.0 ....... SUCCESS [ 0.065 s]
  7. [INFO] Apache Oozie Hadoop 1.1.1.oozie-4.1.0 Test ......... SUCCESS [ 0.182 s]
  8. [INFO] Apache Oozie Hadoop Utils 1.1.1.oozie-4.1.0 ........ SUCCESS [ 0.784 s]
  9. [INFO] Apache Oozie Hadoop 2.3.0.oozie-4.1.0 .............. SUCCESS [ 4.803 s]
  10. [INFO] Apache Oozie Hadoop 2.3.0.oozie-4.1.0 Test ......... SUCCESS [ 0.254 s]
  11. [INFO] Apache Oozie Hadoop Distcp 2.3.0.oozie-4.1.0 ....... SUCCESS [ 0.066 s]
  12. [INFO] Apache Oozie Hadoop Utils 2.3.0.oozie-4.1.0 ........ SUCCESS [ 1.033 s]
  13. [INFO] Apache Oozie Hadoop 0.23.5.oozie-4.1.0 ............. SUCCESS [ 3.231 s]
  14. [INFO] Apache Oozie Hadoop 0.23.5.oozie-4.1.0 Test ........ SUCCESS [ 0.336 s]
  15. [INFO] Apache Oozie Hadoop Distcp 0.23.5.oozie-4.1.0 ...... SUCCESS [ 0.062 s]
  16. [INFO] Apache Oozie Hadoop Utils 0.23.5.oozie-4.1.0 ....... SUCCESS [ 0.878 s]
  17. [INFO] Apache Oozie Hadoop Libs ........................... SUCCESS [ 3.780 s]
  18. [INFO] Apache Oozie Hbase 0.94.2.oozie-4.1.0 .............. SUCCESS [ 0.338 s]
  19. [INFO] Apache Oozie Hbase Libs ............................ SUCCESS [ 0.692 s]
  20. [INFO] Apache Oozie HCatalog 0.13.1.oozie-4.1.0 ........... SUCCESS [ 0.919 s]
  21. [INFO] Apache Oozie HCatalog Libs ......................... SUCCESS [ 1.735 s]
  22. [INFO] Apache Oozie Share Lib Oozie ....................... SUCCESS [ 13.552 s]
  23. [INFO] Apache Oozie Share Lib HCatalog .................... SUCCESS [ 40.232 s]
  24. [INFO] Apache Oozie Core .................................. SUCCESS [05:03 min]
  25. [INFO] Apache Oozie Docs .................................. SUCCESS [01:07 min]
  26. [INFO] Apache Oozie Share Lib Pig ......................... SUCCESS [01:38 min]
  27. [INFO] Apache Oozie Share Lib Hive ........................ SUCCESS [ 12.927 s]
  28. [INFO] Apache Oozie Share Lib Sqoop ....................... SUCCESS [ 5.655 s]
  29. [INFO] Apache Oozie Share Lib Streaming ................... SUCCESS [ 4.577 s]
  30. [INFO] Apache Oozie Share Lib Distcp ...................... SUCCESS [ 1.900 s]
  31. [INFO] Apache Oozie WebApp ................................ SUCCESS [02:26 min]
  32. [INFO] Apache Oozie Examples .............................. SUCCESS [ 3.762 s]
  33. [INFO] Apache Oozie Share Lib ............................. SUCCESS [ 11.415 s]
  34. [INFO] Apache Oozie Tools ................................. SUCCESS [ 10.718 s]
  35. [INFO] Apache Oozie MiniOozie ............................. SUCCESS [ 9.647 s]
  36. [INFO] Apache Oozie Distro ................................ SUCCESS [ 27.966 s]
  37. [INFO] Apache Oozie ZooKeeper Security Tests .............. SUCCESS [ 7.040 s]
  38. [INFO] ------------------------------------------------------------------------
  39. [INFO] BUILD SUCCESS

5,编译成功后在oozie-release-4.1.0/distro/target目录下,会生成如下的几个文件:

Java代码

  1. drwxr-xr-x 2 root root 4096 5月 15 13:45 antrun
  2. drwxr-xr-x 2 root root 4096 5月 15 13:45 archive-tmp
  3. drwxr-xr-x 2 root root 4096 5月 15 13:45 maven-archiver
  4. drwxr-xr-x 3 root root 4096 5月 15 13:46 oozie-4.1.0-distro
  5. -rw-r--r-- 1 root root 201469924 5月 15 13:46 oozie-4.1.0-distro.tar.gz
  6. -rw-r--r-- 1 root root 2875 5月 15 13:45 oozie-distro-4.1.0.jar
  7. drwxr-xr-x 3 root root 4096 5月 15 13:45 tomcat

6,拷贝oozie-4.1.0-distro.tar.gz压缩包,至你需要安装的地方并解压,然后进入根目录下, 执行mkdir libext命令,创建libext目录 接着执行 cp ${HADOOP_HOME}/share/hadoop/*/*.jar libext/ cp ${HADOOP_HOME}/share/hadoop/*/lib/*.jar libext/ 命令,将hadoop的相关的jar包拷贝至改目录 下载一个ext-2.2.zip包,也放入libext目录,由于oozie的js可能会依赖这个包,最新的版本应该不需要了,待验证?这个包,散仙在文末会上传到附件中, 7,删除libext下这几个包,因为会和hadoop的中的一些包冲突,造成类加载器无法识别重复的jsp,servlet或el解析器: jasper-compiler-5.5.23.jar jasper-runtime-5.5.23.jar jsp-api-2.1.jar 8,修改conf/oozie-site.xml文件,更改以下几个地方:

Xml代码

  1. <!-- 修改对应的hadoop的安装用户,散仙这里是search -->
  2. <property>
  3. <name>oozie.system.id</name>
  4. <value>oozie-search</value>
  5. <description>
  6. The Oozie system ID.
  7. </description>
  8. </property>
  9. <!-- 修改hadoop的conf的文件目录 -->
  10. <property>
  11. <name>oozie.service.HadoopAccessorService.hadoop.configurations</name>
  12. <value>*=/home/search/hadoop/etc/hadoop</value>
  13. <description>
  14. Comma separated AUTHORITY=HADOOP_CONF_DIR, where AUTHORITY is the HOST:PORT of
  15. the Hadoop service (JobTracker, HDFS). The wildcard '*' configuration is
  16. used when there is no exact match for an authority. The HADOOP_CONF_DIR contains
  17. the relevant Hadoop *-site.xml files. If the path is relative is looked within
  18. the Oozie configuration directory; though the path can be absolute (i.e. to point
  19. to Hadoop client conf/ directories in the local filesystem.
  20. </description>
  21. </property>
  22. <!-- 修改oozie的share lib的HDFS目录 -->
  23. <property>
  24. <name>oozie.service.WorkflowAppService.system.libpath</name>
  25. <value>/user/search/share/lib</value>
  26. <description>
  27. System library path to use for workflow applications.
  28. This path is added to workflow application if their job properties sets
  29. the property 'oozie.use.system.libpath' to true.
  30. </description>
  31. </property>
  32. <!-- 修改代理用户Hue需要用到,下面这两个配置,在Hadoop的core-site.xml中,同样需要添加,代理用户提交作业功能 -->
  33. <property>
  34. <name>oozie.service.ProxyUserService.proxyuser.search.hosts</name>
  35. <value>*</value>
  36. </property>
  37. <property>
  38. <name>oozie.service.ProxyUserService.proxyuser.search.groups</name>
  39. <value>*</value>
  40. </property>

9,删除/home/search/oozie-4.1.0/conf/hadoop-conf下的core-site.xml文件,将/home/search/hadoop/etc/hadoop/下的所有配置文件,拷贝到此处 (6)执行bin/oozie-setup.sh prepare-war命令,重新生成war包 (7)执行bin/oozie-setup.sh sharelib create -fs hdfs://<namenode-hostname>:8020命令,将share下面的共享jar拷贝至HDFS中, 此处,也可以自己使用hadoop fs -copyFromLocal share/ /hdfs/xxx拷贝 (8)执行bin/oozie-setup.sh db create -run初始化oozie数据库 (9)执行bin/oozied.sh start启动oozie server

(10) 执行bin/oozie admin -oozie http://localhost:11000/oozie -status)返回Normal,即代表安装成功

Java代码

  1. [search@h1 oozie-4.1.0]$ bin/oozie admin -oozie http://localhost:11000/oozie -status
  2. System mode: NORMAL
  3. [search@h1 oozie-4.1.0]$

(11)在win上访问测试

(12)看到上图,说明你已经成功安装了,关系服务的命令 bin/oozied.sh stop,如果说不能停止,需要手动去删掉pid文件,然后在关闭。 oozie安装成功,很重要,因为Hue需要依赖它,做任务调度,下一篇文章,散仙就总结下hue安装笔记。

本文分享自微信公众号 - 我是攻城师(woshigcs)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2015-05-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 六个藉藉无名但迅速崛起的Apache大数据项目

    我是攻城师
  • Hadoop生态系统在壮大:十大炫酷大数据项目

    我是攻城师
  • 理解Java并发工具类Exchanger

    Exchanger类是JDK5中的一个并发工具辅助类,这个类的主要作用是可以用于两个线程之间交换数据,以实际生活中的场景来讲,比如很多小区楼下都有自取的快递柜,...

    我是攻城师
  • Hadoop数据分析平台实战——170Oozie介绍及环境搭建离线数据分析平台实战——170Oozie介绍及环境搭建

    离线数据分析平台实战——170Oozie介绍及环境搭建 Oozie介绍 Oozie是一个工作流引擎服务器,用于运行Hadoop Map/Reduce和Hive等...

    Albert陈凯
  • 2015年度CCF-腾讯犀牛鸟基金获奖结果今天发布

    当前,推动互联网、云计算、大数据、物联网等新兴技术工具、传输渠道与传统产业的结合已上升至国家战略。基于互联网+的连接模式正在改变着传统企业的运作方式和人们的日常...

    腾讯高校合作
  • 技术分析|XXE环境搭建及实战 包含有回显无回显操作

    搭建说明:安装xampp后,htdocs目录放入靶机项目,然后开启apache、mysql访问即可

    陈殷
  • 【明星自动大变脸,嬉笑怒骂加变性】最新StarGAN对抗生成网络实现多领域图像变换(附代码)

    【导读】图像之间的风格迁移和翻译是近年来最受关注的人工智能研究方向之一,这个任务在具有趣味性的同时也是很有挑战的。相关的研究成果也层出不穷,有的甚至引起了全世界...

    WZEARW
  • 如何发布自己的项目到Maven中央仓库?

    在Maven项目中,90%以上的jar包是通过pom文件直接从开源仓库中获取依赖jar包文件,然后在项目中进行集成使用。

    用户1161110
  • Python 实现简易版成绩管理系统

    上一次,公众号介绍了如何使用 Python 实现单链表,下面让我们一探单链表的简单应用:在命令行,实现简易版成绩管理系统。

    用户2870857
  • Hadoop与Spark以及那些坑

    这两天在搭建Hadoop与Spark的平台,要求是能够运行Spark,并且用python编程。笔者也不打算写一个很详细的细节教程,简单做一个笔记blog。

    钱塘小甲子

扫码关注云+社区

领取腾讯云代金券