首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hadoop数据分析平台实战——170Oozie介绍及环境搭建离线数据分析平台实战——170Oozie介绍及环境搭建

Hadoop数据分析平台实战——170Oozie介绍及环境搭建离线数据分析平台实战——170Oozie介绍及环境搭建

作者头像
Albert陈凯
发布2018-04-08 11:30:06
7880
发布2018-04-08 11:30:06
举报
文章被收录于专栏:Albert陈凯Albert陈凯

离线数据分析平台实战——170Oozie介绍及环境搭建

Oozie介绍

Oozie是一个工作流引擎服务器,用于运行Hadoop Map/Reduce和Hive等任务工作流. 同时Oozie还是一个Java Web程序,运行在Java Servlet容器中,如Tomcat中。 Oozie以action为基本任务单位,可以将多个action构成一个DAG图(有向无环图Direct Acyclic Graph)的模式进行运行。 Oozie工作流通过HPDL(一种通过XML自定义处理的语言)来构造Oozie的工作流。 一个oozie服务器主要包括四个服务:Oozie Workflow、Oozie Coordinator、Oozie Bundle和Oozie SLA(oozie服务器等级协定)。

Oozie四大组件服务介绍

Oozie Workflow: 该组件用于定义和执行一个特定顺序的mapreduce、hive和pig作业。 Oozie Coordinator:该组件用于支持基于事件、系统资源存在性等条件的workflow的自动化执行。 Oozie Bundle:该引擎可以定义和执行"一束"应用,从而提供一个批量化的方法,将一组Coordinator应用程序一起进行管理。 Oozie服务器等级协定(Service Level Agreement, SLA):该组件支持workflow应用程序执行过程的记录跟踪。

Oozie安装介绍

Oozie使用tomcat等服务器作为web界面展示容器,使用关系型数据库存储oozie的工作流元数据,默认使用debry,由于debry的缺点,一般情况使用mysql作为oozie的元数据库,使用extjs来作为报表展示js框架。 安装步骤:

  1. 安装mysql
  2. 安装tomcat
  3. 安装oozie

Tomcat安装

安装步骤:

  1. 下载tomcat压缩包: wget http://archive.apache.org/dist/tomcat/tomcat-7/v7.0.8/bin/apache-tomcat-7.0.8.tar.gz
  2. 解压压缩包
  3. 设置环境变量
  4. 启动tomcat测试是否安装成功。

Oozie安装

安装步骤:

  1. 下载oozie安装包和ext-2.2.zip。
  2. 设置用户环境变量。
  3. 修改conf/oozie-site.xml文件进行配置信息修改。
  4. 在oozie根目录下创建libext文件夹,并将oozie依赖的其他第三方jar移动到该目录下。
  5. 创建oozie元数据库。
  6. 设置hadoop代理用户。
  7. 在hdfs上设置oozie的公用jar文件夹。
  8. 创建oozie的war文件。
  9. 运行oozie并检查是否安装成。
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2017.08.31 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 离线数据分析平台实战——170Oozie介绍及环境搭建
    • Oozie介绍
      • Oozie四大组件服务介绍
        • Oozie安装介绍
          • Tomcat安装
            • Oozie安装
            相关产品与服务
            容器服务
            腾讯云容器服务(Tencent Kubernetes Engine, TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,覆盖 Serverless、边缘计算、分布式云等多种业务部署场景,业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者,主导开源项目Crane,全面助力客户实现资源优化、成本控制。
            领券
            问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档