专栏首页Albert陈凯Hadoop数据分析平台实战——170Oozie介绍及环境搭建离线数据分析平台实战——170Oozie介绍及环境搭建

Hadoop数据分析平台实战——170Oozie介绍及环境搭建离线数据分析平台实战——170Oozie介绍及环境搭建

离线数据分析平台实战——170Oozie介绍及环境搭建

Oozie介绍

Oozie是一个工作流引擎服务器,用于运行Hadoop Map/Reduce和Hive等任务工作流. 同时Oozie还是一个Java Web程序,运行在Java Servlet容器中,如Tomcat中。 Oozie以action为基本任务单位,可以将多个action构成一个DAG图(有向无环图Direct Acyclic Graph)的模式进行运行。 Oozie工作流通过HPDL(一种通过XML自定义处理的语言)来构造Oozie的工作流。 一个oozie服务器主要包括四个服务:Oozie Workflow、Oozie Coordinator、Oozie Bundle和Oozie SLA(oozie服务器等级协定)。

Oozie四大组件服务介绍

Oozie Workflow: 该组件用于定义和执行一个特定顺序的mapreduce、hive和pig作业。 Oozie Coordinator:该组件用于支持基于事件、系统资源存在性等条件的workflow的自动化执行。 Oozie Bundle:该引擎可以定义和执行"一束"应用,从而提供一个批量化的方法,将一组Coordinator应用程序一起进行管理。 Oozie服务器等级协定(Service Level Agreement, SLA):该组件支持workflow应用程序执行过程的记录跟踪。

Oozie安装介绍

Oozie使用tomcat等服务器作为web界面展示容器,使用关系型数据库存储oozie的工作流元数据,默认使用debry,由于debry的缺点,一般情况使用mysql作为oozie的元数据库,使用extjs来作为报表展示js框架。 安装步骤:

  1. 安装mysql
  2. 安装tomcat
  3. 安装oozie

Tomcat安装

安装步骤:

  1. 下载tomcat压缩包: wget http://archive.apache.org/dist/tomcat/tomcat-7/v7.0.8/bin/apache-tomcat-7.0.8.tar.gz
  2. 解压压缩包
  3. 设置环境变量
  4. 启动tomcat测试是否安装成功。

Oozie安装

安装步骤:

  1. 下载oozie安装包和ext-2.2.zip。
  2. 设置用户环境变量。
  3. 修改conf/oozie-site.xml文件进行配置信息修改。
  4. 在oozie根目录下创建libext文件夹,并将oozie依赖的其他第三方jar移动到该目录下。
  5. 创建oozie元数据库。
  6. 设置hadoop代理用户。
  7. 在hdfs上设置oozie的公用jar文件夹。
  8. 创建oozie的war文件。
  9. 运行oozie并检查是否安装成。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 2018-11-18 你知道Adoc文档是什么吗?

    AsciiDoc 是一种轻量级标记语言,它可以让我们以纯文本的形式来书写笔记、文章、文档、书籍、网页、幻灯片和 man 帮助。 本指南是常用的 AsciiDoc...

    Albert陈凯
  • 2018-05-22 java 8 lambda List 过滤重复Object对象 根据特定field属性

    Albert陈凯
  • 2018-09-17 Vagrant 启动报错

    Stderr: VBoxManage.exe: error: VT-x is disabled in the BIOS for all CPU modes (V...

    Albert陈凯
  • 驭象者之Apache Oozie

    我是攻城师
  • dplyr-cli:在Linux Terminal上直接执行dplyr

    熟悉R的朋友都会知道, dplyr包是对原始的数据集进行清洗、整理以及变换的有力武器之一。但是其使用会局限于你需要有打开R/R studio或者通过R脚本来执行...

    生信菜鸟团
  • Python 实现简易版成绩管理系统

    上一次,公众号介绍了如何使用 Python 实现单链表,下面让我们一探单链表的简单应用:在命令行,实现简易版成绩管理系统。

    用户2870857
  • 【图像分类】 关于图像分类中类别不平衡那些事

    欢迎大家来到图像分类专栏,类别不平衡时是很常见的问题,本文介绍了类别不平衡图像分类算法的发展现状,供大家参考学习。

    用户1508658
  • nodejs创建HTTP服务器与前端通信示例(多demo)

    前面几篇都在复习nodejs创建HTTP服务器的若干知识点,本篇将使用原生AJAX和nodejs的HTTP服务器配合写几个DEMO,加深运用理解,也方便时间长回...

    前端_AWhile
  • easyui表单提交验证form

    方式一,不需要考虑jquery.easyui.min.js版本 <script> $(function () { //...

    纯粹是糖
  • 4399AT界面版使用说明(三)

    注:程序运行过程中如出现中文乱码的情况,需配置以下环境变量,重启电脑后可正常使用。变量名:JAVA_TOOL_OPTIONS,变量值:-Dfile.encodi...

    厦门-安仔

扫码关注云+社区

领取腾讯云代金券