Hadoop离线数据分析平台实战——430MR和Hive任务Oozie部署Hadoop离线数据分析平台实战——430MR和Hive任务Oozie部署

Hadoop离线数据分析平台实战——430MR和Hive任务Oozie部署

参考:oozie\package-info.java

项目进度

模块名称

完成情况

用户基本信息分析(MR)�

完成

浏览器信息分析(MR)

完成

地域信息分析(MR)

完成

外链信息分析(MR)

完成

用户浏览深度分析(Hive)

完成

订单分析(Hive)

完成

事件分析(Hive)

完成

MR程序Oozie workflow部署

MR程序有两种方式进行oozie部署, 第一种就是使用oozie的mapreduce action进行部署, 第二种就是使用普通的java action进行部署。 由于我们的mr程序读取的是hbase中的数据结构, 所以我们采用第二种部署方式来进行mr程序的部署操作。

注意:

在我们打包的时候,需要将TransformerBaseRunner类中的initJob方法中的TableMapReduceUtil.initTableMapperJob调用设置为集群运行(最后一个参数为true)。 以及AnalyserLogDataRunner类中run方法中的TableMapReduceUtil.initTableReducerJob设置为集群运行(最后一个参数为true)。

Hive&Sqoop脚本Oozie部署

针对Hive和sqoop脚本,oozie提供了专门的hive action和sqoop action, 但是我们这里采用将hive脚本和sqoop脚本写入到shell文件中, 通过shell命令给定参数,然后运行脚本的方式。 所以在这里我们采用oozie部署shell action来进行hive和sqoop的运行。

Oozie最终部署情况

我们定义一个定时的oozie的Coordinator,在其中包含所有的workflow,对应workflow的分支操作来进行组合。 需要注意的是: oozie是通过异常信息来判断是否执行成功的, 所以我们需要注意mr成功执行失败的情况下, 我们需要进行异常的抛出。 作业:自己完善oozie部署

注意:

oozie的运行要求启动hdfs、yarn、historyserver这三个服务(必须), 针对具体的workflow还需要启动hbase、hivemetastore、mysql等服务。

MR和Hive的区别(优缺点)

  1. 运算资源消耗 无论从时间,数据量,计算量上来看,一般情况下mr都是优于或者等于hive的。mr的灵活性是毋庸置疑的。在转换到hive的过程中,会有一些为了实现某些场景的需求而不得不用多步hive来实现的时候。
  2. 开发成本&维护成本 相比于mr每次开发&维度都需要修改代码逻辑外,hive脚本可以比较容易的进行逻辑修改和代码管理(文本),但是在超大型或者大型的生成集群上,调试hive脚本相对于调试mr成功更加复杂和困难。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏零基础使用Django2.0.1打造在线教育网站

利用Flask搭建微电影视频网站(一):项目介绍

努力与运动兼备~~~有任何问题可以加我好友或者关注微信公众号,欢迎交流,我们一起进步!

2.2K30
来自专栏编程微刊

如何运行vue项目(维护他人的项目)

前提: 首先,这个教程主要针对vue小白,并且不知道安装node.js环境的。言归正传,下面开始教程:在维护项目之前,需要把所有的环境搭建好,这里我就不多说了...

11620
来自专栏Hadoop实操

如何在CDH中配置YARN动态资源池的计划规则

在CDH中使用Yarn的动态资源池,用户会根据时段来区分集群资源的分配情况(如:在夜晚时段集群资源主要倾向于跑批作业,白天时段集群资源主要倾向于业务部门实时计算...

1.7K60
来自专栏DevOps时代的专栏

认识高性能Web缓存体系,你需要知道这些

前言 我们再看知识体系的时候,我们学一个东西的时候,每次我们都回过头去看一看,这就是所谓的不忘初心。这个说着容易做起来难,当一个人慢慢在成长,在进步的时候,是很...

30670
来自专栏hadoop学习

DKhadoop安装包下载与监控参数说明

前阶段用了差不多两周的时间把DKhadoop的运行环境搭建以及安装的各个操作都介绍了一遍。关于DKhadoop安装包下载也只是顺带说了一下,但好像大快搜索的服务...

11920
来自专栏祝威廉

猛犸系统

10.猛犸也支持通过分布式Shell引擎支持传统的服务器模式。并且资源模型和传统的服务器模式同时并存,解决各自擅长的问题

7820
来自专栏hadoop学习笔记

DKhadoop安装包下载与DKM监控参数说明

前阶段用了差不多两周的时间把DKhadoop的运行环境搭建以及安装的各个操作都介绍了一遍。关于DKhadoop安装包下载也只是顺带说了一下,但好像大快搜索的服务...

11330
来自专栏desperate633

Java NIO之NIO与传统IO的区别I/ONIO小结

I/O ? 或者输入/输出 ? 指的是计算机与外部世界或者一个程序与计算机的其余部分的之间的接口。它对于任何计算机系统都非常关键,因而所有 I/O 的主体实际上...

9110
来自专栏散尽浮华

Redis+TwemProxy(nutcracker)集群方案部署记录

Twemproxy 又称nutcracker ,是一个memcache、Redis协议的轻量级代理,一个用于sharding 的中间件。有了Twemproxy,...

493100
来自专栏互联网技术栈

技术选型系列 - Tair&Redis对比

22520

扫码关注云+社区

领取腾讯云代金券