00:00
好,接下来我们看这个屋Z啊,乌Z它其实就是一个调度工具。调度工具,之前我们学过的cible,它也是可以调度任务的吧,还说每天或者每个月啊等等,哎按照什么时间来执行,对,就是定时任务,就是调定时任务,就调度任务用的嘛,对吧,调度任务的OK,但是Co它有一个问题,它最大问题在哪呢?它只能说你这个第一个,假如说你要调度很多任务的时候,你只能把123,假如说三个任务。你这个一点起两点起三点起这样的可以。但是科勒不能做什么事呢,就说我第二个任务啊,是依赖第一个任务的一个结果。能懂这个意思吧,就是你你们之前不讲MR吗?MR他如果业务逻辑很复杂的时候,他是不是要用多个MR来串新来工作呀,对吧,那这个时候如果说这个串新工作我需要每天都要执行的话。那你用框的我来做的话,你想着你是不是预估一下第一个任务多长时间,假如说他大概每天的一个数据量呢,50分钟就跑完了,那你就把它一点起,那你最好把它在两点半以后起吧。
01:11
对吧,因为第一个可能他最少的一个时间段50分钟,他有可能当时资源的一个情况超过了一个50分钟。你是不是自己来控制这个时间啊,就很麻烦,就很麻烦,或者说这个任务某一天他跑挂了呢,就由于资资源的一个问题,跑挂了呢,没跑起来,那你用框子来调度的时候,是不是这个任务还是正常起啊。他根本他也有问题的吧。就是说扣淘宝他能够定时的来调度任务,哎,每天啊,或者每个月啊,这种情况都可以,但是他就不能做这种什么。有逻辑关系的一个任务,就是说我任务之间是有互相依赖关系的,他做不了,可我做不了,因为只能通过这个时间啊,你只能预估一个任务时间啊,多长时间完成,多长时间完成,所以说我们要用相对来说更复杂一点的一个框架来帮我们做这个事。
02:07
啊,来帮我们做这个事儿,那我们要学的就是这个乌Z,那大家可能还听过一个什么阿拉卡班对吧?阿拉卡班等等这些东西,它也是一个交通工具,但是乌Z呢,它是这样的,它是最轻量级的,如果你的一个任务在公司当中有一个任务,就是每天单独的跑一个什么任务,你用框就行了,因为它是Linux自带的,对吧,它不需要安装任何的一个框架,你想想看,OZ你要启动的话,它是不是也会占资源啊。对吧,就省点资源,那像这个cor能完成的尽量就用Co去做,完成不了的你再去考虑啊,用其他的一个框架,什么阿达卡班啊乌啊,然后阿达卡班呢。它是介于屋跟框之间,它的一个功能性也好,就是说屋Z它的一个功能性要更强大一些,但是呢,它的一个安装部署,或者说他在框架的一个重量度啊,都要比阿达卡曼要高,阿达卡曼要高,所以我们学了OA之后,如果说公司有的公司,他说我们公司就用阿达卡班,那你到时候自己去学一下啊,资料呢,我们这边也有啊,到时候你们需要的时候可以回来考一下,都行都行,但是就目前考察情况来说,这个屋Z要比巴巴卡班应用的场景要多,就是目前啊,出去工作的同学跟他们的一个讨论啊,跟他们的一个沟通,就是说。
03:26
他们反馈回来的就是乌Z要应用的要要更广一点,因为它更强大一些嘛,啊更强大一些是这样的,OK,好,我们初步了解了一下这个屋Z,它是一个调度工具,然后呢,他真正的翻译过来啊,就是乌贼是吧,然后他其实是一个驯象人。驯象人,那他是驯象人,大象大象知道是谁吧,哈度吧,对吧?哎,其实他就是调度哈度的调,其实核心的就是调度MA6的,调度MA6的,然后它是一个基于工作流引擎的一个开源框架,工作流啊这个东西是屋当中非常重要的一块啊,等会我们再讲它的一个工能模块的时候,会给大家介绍啊工作流是什么,大家都知道那个流程图对吧。
04:10
他的一个任务,整个的执行就类似于一个流程图,就开始有结束,然后中间有分支,就有判断条件嘛,说成功了怎么样,失败了怎么样啊,就是他就是他的一个工作流啊,就类似于那个流程图一样的,他按照这个流程图一步一步的往下走,然后呢,它是由CDH公司开发的,然后贡献给原发起的,所以他的一个官网地址。就是UZ点的几点org啊,它这个官网地址也是这样的啊,是这样的,但是它是由CDH公司开发的,而且它叫迅向人,它跟这个什么MA6啊pig呀,Pig跟have类似的,也是做数据分析的,但是现在用的其比较少了,然后等等其他的,或者说你调度一个shell啊,调度一个shell也是可以的啊,它是调度很多的一个任务的,所以它跟就无Z跟其他的一个框架的一个联系的一个紧密度。
05:00
非常密切,非常密切,那你要想用原声的话,你要做很多的一个。适配你要自己做,适配之前我们自己做了一个什么have的是吧,对吧,就挺麻烦的,一个炸包一个炸包的去编译,那就很麻烦,所以说这一块呢,我们整个的采用的就是CDH版本的,就是我们会装一个那个CDH的哈,然后CDH的屋Z啊,就适配置不要自己做了啊,太麻烦了,没必要,我公司当中用的也是CDS的啊,公司当中也是用的CS的,OK,他是做这个任务调度CD的,然后主要的就这块,它的安装难在哪呢?这个屋这个东西啊,这个项目啊,需要自己部署。需要自己部署啊,这个就比较麻烦了,就是说自己得发布一个外部项目啊,打上挂包,挂包之后自己发布啊,所以说他这个安装呢,就很麻烦啊,很麻烦,不像我们之前所谓解压一下,点一个配置文件就完了吧,他不是的,他不是的,他好像自己发布项目啊,自己发布项目啊南京南站那块啊,然后呢,他一个主要的就是定时调度任务,多任务可以按照逻辑顺序来执行。
06:12
啊,像这个定时调度任务C就能完完成,但是它更重要的,咱们要看一下它的一个逻辑顺序,就是有多个任务。然后说呢,第一个任务执行完了之后,我们看他成功与否,如果说成功了啊,我们走第二个任务,如果失败了,我们走第三个任务,哎,他是这整个的这样的,他能做这个事情。啊,能做这个事情,那核心的在公司当中,像这种就像相当于一个有效图计算是吧。啊,有向图计算啊,DA啊这样的一个东西啊,它是应用的非常多的啊,公司当中一个任务呢,大部分时候都是一个相互依赖的一个关系啊,相互依赖的一个关系,OK,这是整体的一个屋Z的一个介绍啊,它就是跟类似的一个任务调度的一个框架啊,一个框架。
我来说两句