08_尚硅谷_Oozie_调度MR任务.avi原创

好，然后看一下这个第三个案例，用咱们那个屋子啊调度map任务啊，刚才我们的调的什么shell啊，一个脚本，那这块是如何来调度这个map呢。它相对来说要叫比较复杂一点了，一下掉。你要找到一个memory的一个炸包吧，就拿你们自己之前写的我count，或者用那个当时我们执行的那个官方案例都有吧，点点价都可以啊都可以，那我等会用的呢，就。官方案例，官方案例啊，OK，就随便找一个能运行的就OK了啊，能运行的那官方案例肯定能运行是吧，还有第二拷贝这个模板，他这个ma也有自己一个模板在这。CP5Z，哎，应该是examples底下有一个是MA6对吧。嗯，考到当前目录Z-APS下，每次都忘了加杠R。

考目录的时候。杠R那CD到那个我们看一眼啊，5Z杠，然后是这个。它文件比那个操作效要多一些是吧，那我们来看一下看一下啊，其实核心的是这几个还是叫过点，还有一个lo，我们要动的这些，这些呢是对屋的一个配置文件做一个修改啊，你要不改的话，就用之前默认的那些啊，那想一下这个力是干什么的呢。就炸包吧，你那个炸包吧，要放到这个下，放在这个下，OK，那我们把这个文件打开一下。这个wall flow这些东西。是上一集卖60吧。嗯，交点这个东西我们要核心要改的，然后。

还有flow flow啊，这两个东西是我们核心要改的力，我们就不看了，等会要加包啊，因为它是一个目录，然后还有像类似于这东西给大家看一下。或者说还有一个这个对吧，看它里面配的是什么东西，这个东西我们是不动的。那他配的是把这个配置信息可以做修改吧，然后重要的是这个东西。是屋类的，就是屋类的一个配置文件，配置文件，然后这两个东西是配套的，它指向的是。刚才你看是这个地址，把这个地址，当然这两个文件你删掉都无所谓，或者说把它放到这，因为我们不用，因为我们并没有对屋Z的一个任何的一个配置文件做修改啊，没有做修改，那我们要改的呢，核心的还是这两个配置文件，还是这两个配置文件啊是这样的，OK，然后这个地方我们要动一下吧，啊宝102，注意还是叫点和floorlo，以及等会live我们也要动力，因为我们要放自己的那个什么官方的一个加包进去啊，啊官方的加包进去，OK，然后这个地方改成。

他多吧？三有好同学没动吧？花零三，这个零骚哪来的？不知道是吧，哪里配的是吧，看一下。来肯定是默认的配置文件嘛。对吧，而且resource属于谁的呀。色的。默认的配置嘛，你没改的，你自己配置文件没写的，肯定是默认的配置嘛，对吧，就是resource manager address。

他我们知道有一个8088是吧，看一下搜一下CTRLF。巴里巴巴是什么resource什么端口啊，外部端口啊，啊这些东西在这个默认的配置文件里面都有啊，都有的啊，肯定是默认那个配置，OK，那这个东西知道在哪就行了啊把这东西改一下，然后它这个目录。这样吧，我还是统一一下用这个。RC拿过来放到这来对比一下，就是东西我都没动吧，啊，只不过说这个地方我不想去，不想改了，还有一个ABS这些东西都都都直接删掉吧，删掉OK，还可以在这定义一个，随便定义多少个属性都可以吧，你想定义多少多少定义多少主要是为了在这后面里面用的对吧？啊定义多少OK，你看它这个路径还是。啊，就是拼接起来的是这么一个路径，这个地方不是它的命啊，它的部分。他的，那然后那个然后指向的还是我们的一个文件文件吧，是这样的一个东西，OK，然后这个里边就相对来说复杂一点了，你看一下它里面要配什么，就关于MR的一个弄的对吧。

看一下，首先它有一个prepare，这个叫。Delete就是说我们不是MR的时候，要写一个输出目录嘛，对吧，这个目录它是不是事先删除掉是这个意思。这个意思，那当然如果说你要用统一的话，你这个路径得跟你最后写的那个路径统一吧，你最后肯定要定义一个什么输入路径跟输出路径嘛，你得定义吧，要不然它怎怎么运行任务呢？对吧，有一个input，有一个out，有outut，那这个标签呢，就是说要不要提前把它删掉，一般工程当中呢，也不删也不删OK，然后还有这个是队列的名称，用前面的那个deft默认的，对吧。

默认的，然后你看一下还有什么。这叫什么？Memory。要你跑你任务干什么？那类reduce类是哪一个，然后还有input电压，Output电压，还有这些东西吗？那你想想看，我等会要执行官方案例，那这个东西怎么写呢？谁知道官方案例里边map是用的什么map？谁也不知道吧。这样来。呃，我这个地方是好对吧。B雅，我先来一个touch，一个一个文件叫。我count.txt，然后呢，我们VI一下这个TS，我们准备一些环境吧，等会你做测试是不是也要这些数据啊，我们准备一些数据到这个集群。

屋吧，然后什么。然后have，就这样吧，好一个what，就这样五个单词就这样OK，然后呢，我们把这个单词给到上传上去，B，好f what到干干。好，我们来执行一下官方案例啊，看这个官方案例是否正常使用，官方例是否正常使用啊B延这对吧，哎，观方例在哪啊shell，然后。Map度是吧，好长时间不写这个东西了，这是一个，下面有一个example是是什么家包是哈多吧是吧，是这个。

对吧，这个东西，然后我来看看吧。我count啊，作为一个参数进行筛选，我们要走的是what count一个主类，我的一个主类，OK，然后跟上它的一个。输入输出参数吧，我count.tst，然后输出我们叫奥特曼走一下。这里面什么？这里面有ma plus，那去哪看呢？对吧，我其实执行这个任务啊，不是为了说测验一下官方案例能不能执行啊，官方案例肯定能执行的吧，我是为了拿什么那两个类map那两个类，因为刚才我们这个是不是打开的是什么官方的案例啊，对吧，他要求至少要配这些东西吧，这是最少的吧，你其实你这些配置你是不还可以加呀。对吧，你像map所要的那些属性啊，都可以加，都可以加，那我们是为了拿这些最少的最少的核心的是不是拿这两个东西啊，因为这个input output是我们自己定义的吧，对吧。

这边走完了，走完了之后啊，我就看写嘛，在这个地方是吧。输出有个out，然后同样的还是这两个文件，那具体的东西我就不看了啊，应该没有问题了，是不是我要带家看什么呢？就是那个map跟reducer去哪看去哪看在这。到零八端口。刷新一下，这是我们刚才执行的，What，对吧，History？这有个什么？Configuration点进来，这个地方就是你所有的关于你当前那个家包所有的。配置文件，配置文件啊，所有的都有啊，那我们要找的是哪个。

他应该是不一定叫这个名字，直接这样搜，因为你刚才看到的这个是不是map对吧，这个我之前提过是什么。老的吧，那这样搜一下，嗯。Map点叫过点map连那个手性名都变了吧，连个手性名都变了，你看一下他用了一个什么。新API是不是你们当时在走那个提交任务的时候。是不是能看到他有一个分成三版核心的，就第一步里边去什么设置新API啊，将老A老API全部改成新的吧。对吧，啊，就是你把这个属性给加上，然后他实际的他用的map类是这么个东西。是这样的一个类，那你想想看，你如果不说执行一下，那谁知道他他他是这样迷迷单单对吧？哎，那通过这种方式，你就可以拿到他所有的关于这个价包里，就是当前这个我这个任务啊，所有的一个配置属性，配置属性就能拿到了，而且我们这个地方你要注意一下，他用的都是老的API。

对吧，哎，用的都是老的API，所以呢，我们要干什么也要把刚才那个什么处的属性给配上，就这个我们也得加一个额外的属性，就是这个东西。给它改为处用新API，然后里面呢，我们用这种方式来指定它的一个，要不然你还是从。要不然你还是通过什么map这个map.class这种方式来指定嘛，啊，所以说我们要自己给调整成一个新的API啊，新的API，然后也告诉大家这个东西怎么拿来的，那我们就是我我就这样拿一下了这个东西。因为我们额外要指定一些东西给大家说一下C。把这个替换掉，核心的就是这个东西都没变，就后面这个好看这块你成功了时候了。

所有的里面我们都是这样写的吧，因为没有动过，让他失败了，就是打印一些信息，这个信息就是打印到那个屋类的we部端的啊，那个信息OK，然后看一下里面配的什么东西。首先这个什么队列名称还是一样的，来加了一个调用新API，就是map跟reducer都调用新API了啊，改为处OK，然后指定输入输出类型。输入收入类型啊，这个我们要指定的输入输出类型，以及输入输出目录，输入输出目录，那这块我们就不是这个目录了嘛，我们当前应该改成what。count.txt对吧，因为我们的目录我没有建那个input了，没有建那个input啊，就直接指向那个目录，然后这个这没有问题吧，啊没有问题，OK，然后是map类reduce类。

对吧，这个至于是哪来的，是我从这个地方拿出来的。Com，这拿出来的啊，是这个东西，这个东西OK，然后至于ma task你也可以指定，当然他自己也有自己的一个切分策略吧，你也可以不指定，你可以不指定，那就是基本的一些配置啊，像你要执行MAP6任务的话，就这样啊。比较相对比较麻烦一点，麻烦一点，然后。接下来我们就做一个什么事。把立马给他扔过来吧。你看当前的它肯定是什么官方案例的一个吧，对吧，哎，我们把这个删掉，RM-RF，下一个新吧，所有的东西，你再一下这个label，他应该没有东西了吧，我们把刚才我们执行的那个官方案例给他拿过来，CP在哪啊，OT model。C哈，底下有一个笑笑。

有一个是吧，然后是下有一个哈一个斯点这，然后拷贝到当前目录的下。OK，你在LSLS一下这个。我们把刚才我们运行的那个官方案例拿过来了吧。啊，就拿过来了就行了，就行了，之后呢，我们现在需要做的事情就是把这个上传到。HDFS上传到哪了？还是这个目录吧，这个目录是不是杠啊，引用过来的嘛，对吧，引用过来OK，那做一下OD model CD哈，跑B。然后是哈宝告不的，我们那个到哪啊有的。挨着硅谷，然后呢。是ZPS吧？

就到这个目录下就够了吧，走一下。好，然后我们来检查一下，在这这个窗口。U的爱的硅谷有一个MA6，看一下这些文件都在吧，啊都在就行了，然后接下来我们要执行一下这个文件在这。执行任务。乌APP我们得退出去，在这执行一下，还是同样的提交到提交给吴由乌，提交给谁啊，提交给雅安吧，提交给雅安来运行这个任务走下。好，然后我们到这来还是无这个窗口吧，刷新一下I叫我它在运行过程当中可以看一下。首先stop的节点，然后再跑了吧。

可以到这边来等着刷新一下。乌贼有一个六六。可以在这边等着他，哎，这边结束了是吧，我们可以看一下他是否完成成功了吧，成功的，那你可以看一下刚才我们写的那个是奥负的那个目录吧，对吧。好的啊，执行成功了吧，用屋来调度我们那个MR，那核心的是你一定要拿到你要执行的这个价包的相关的一个配置属性，一定要拿到这些东西，所以说你们自己打成一个架包之后，在公司当中啊。文档一定要有，就是你里边用的类全类名是什么样子的，然后相应的是逻辑是什么样的，都要写清楚。要不然你因为公司当中，你不可能在一家公司干一辈子，对吧，或者说你。

去了之后，上一次你你接手一个项目，不是说一去所有的项目都是新的吧，有可能接手人家的项目是吧，很多都是人家打好的包的，如果说人家就光给你一堆假包，什么文档都没有用的，太痛苦了，你只能一个一个的去执行，自己去拿配置文件了，所以说相应的你做了一些修改的配置文件啊，就类似于你写过的count，你把什么。它里边默认的什么long啊，改成了text等这些信息，你给它标注上修改了默认的配置文件，你就不用不用说了，因为刚才我们看到了这个里边是不是有几大部分都是默认的呀，对吧，默认的大家都一样，他自己也能找到，通过看官方文档也好，或者说找一些资料也好，都能够找到默认的配置，所以说你要把自己改了一个配置，跟你架包，形成一个自己的文档。形成自己那个文档，把它放放的好好的，然后无论是你这个前辈，你接手前辈的一个项目的时候，人家如果有文档你也方便，那你有文档给人家的话时候，人家也方便，人家也方便，因为开发的时候，公司当中不可能说一直没有人离职啊，人员的一个流动还是很正常的，所以说方便人家也方便自己是吧？啊都大家都这样干就就挺好的啊，就挺好的，所以说你就没必要，如果说我们已经拿到了整个官方文档，提供好的一个非常好的案例，那我们就没必要刚才把这个什么官方案例再执行一次了吧，哎，我们就是为了拿他的一个配置文件啊，拿他一个配置文件是这样的。