00:00
好,接下来我们讲一下这个延安的突接口案例,那这个在生产环境下呢,也是非常有用的一个功能哈,那光说这个突接口好像没有什么直观的印象,就啥叫突接口啊。那首先我来回顾一下上节课我们在讲这个公平调度器的时候,执行一个任务,我是不是可以后面加上这个杠大D,然后加上对应的输入参数啊。是这样吗?哎,好,那我们来看一下我们以前是不是写了一个Wc.J还记得吗?第一个word count就是这个程序。嗯,再come to。它它在里面这个地方输入参数一,输入参数二。记得吧,啊,有个他那在我们集群上,我找一下对应的这个价包还在不在啊。是他吧,哎,是他,那它这个程序怎么执行的,还记得不叫hi doop,然后价WC点价,然后后面跟上对应的这个全列名,全列名。右键。Copy。Reference。对吧,哎,是这个程序copy完之后。
01:02
那怎么执行,Copy完之后,我们加上对应的输入路径和输出路径,是这样吗?那输出路径,输出路径你得看一下啊。刷新。干掉。干掉对吧,哎,只剩一个INPUT1OK回来。准备一下。Input。二的不是有一吗?没有一吧。就是input啊行,那out put1吧,啊这样执行看能不能执行。好像没啥问题对吧。啊,MAP100%。啊,结束了啊,你说这个没啥问题啊海哥。那下面我们再来执行看一下这个案例。我在原来这个WC点价啊基础上加个什么呢?加一个杠大D,然后map job队列,我把这个任务啊提交到root下面的T队列,没问题吧,然后input out put1。
02:13
那也就是说,我把这个任务提交到某一个指定队列,这不是我们正常设计的吗?那会有问题吗?我来一个OUTUT2对吧,走。你看他报啥?看一下啊,说output directory啊已经存在,而且这个路径呢,叫input路径已经存在。懵了。说,怎么爆音铺的路径已经存在呢?你说这程序怎么走的?看一下这个代码。好好想一想。我们这里面的输入参数X0作为输入路径,二,一作为输出路径。那你看我这个程序。我这个程序你这里面执行完之后,这是全列名之后的第一个参数,Input的路径呢,第二个参数。
03:05
知道什么原因了吗?大家认为这个input的路径是out的input的路径,然后呢,你第一个呢,它是代表的第一个数参数。那你想那这怎么解决呢?你说你这这系统写的代码没问题,那我们自己写的这个不行啊,在上网这下没没法用啊。对吧,哎,那这里面就是这个to接口就闪亮登场了,哎,可以采用to接口的方式解决对应的这个问题。那好,那下面我们来创建一个工程哈。创建一个没问项目将。啊,DEMO可以吧。单独来一个吧,嗯,HTFS来一个,MA6来一个啊,雅安再来一个创建工程。下一步。那我们这个呢,放到PROJECT1下面。
04:00
这个路径行吧,嗯,2DEMO没问题,那这个呢是com点艾特硅谷。DEMO。创建完之后啊,第一时间呢,改一下这个没文仓库地址啊。没有。那我这个呢,用这个我自己的。因为自己的可以用阿里云的这个镜像啊。D盘。South。打牌。矿下面有个settinging斯打开。哎,这就是正常创建一个工程没问题吧,哎,好,创建好之后呢,下面呢,我们啊来导一下这个包,哎,我们这里只需要是hi do3.1.3就可以了哈,那只要把这个依赖拿出来。OK吧,哎,这是第一步,那接下来继续,下面呢,我们创建一个报名com点爱五甲N。
05:03
这是常规操作。接下来我们开始写它的代码啊。
我来说两句