00:00
好,接下来呢,我们开始写这个代码啊,也是写这个配置。那这个配置想一想,我们是不是得一个一个去写啊,对吧?啊,这肯定是涉及到三个配置。啊,不用慌,一点一点的分析,你把它拆解成三个。的配置就完了。啊,你先可以不看别的,屏蔽掉所有的,你就先看这个,前前一集是这个。日志啊,日志文件,那就是S6的这种输不出都是阿芙罗对吧?啊都是到下一级,那不管你是啥,我就先把这个配置完。那这里面呢,既然是三个文件啊,我在这个里面配置一个一,相当于把它们分成一个主。啊啊,一个图。然后在这里面创建这个room。三啊,这个是最终输出的目录的一个准备啊,因为你看一下这个。他最终要求输出到这个DATE3,如果你不创建的话,这个它不会给你省成。
01:05
所以说这块呢,要注意要提前创建啊,As录用as是没问题的啊好,那我们来啊,先把准备工作做一下。CD进来,进来之后呢,Make ER?CR法一第一个分数进到这个里面去啊。创建第一个。第一个配置文件对吧,哎,Touch。嘎。左侧是什么?是吧,文件。右侧呢?车还是也是第二。VM编辑下。那这个配置文件是不是跟上面的。几乎是一样。
02:00
想想啊,来看。左侧这个这一块读的是不是还是他呀,还有怎文念啊,没有变化的,哎,只是右侧这边阿波罗是我也配配过一个。那我们来吧,嗯,看一下改。那首先这里面稍微增加点难度是吧。地瓜。这块。一个是没问题吧,哎,几个性格。两个是是吧,啊K一个中间是。风格。啊,中间空格啊,然后是穿头几个穿头。两个台灯,C1C2。记好了啊,这块跟之前的不太一样,在这儿。啊,它是多个,然后下边呢,是数据流复制所有的传导。就是默认这个默认这个select选择器变成啊。就说所有的都能收到。OK,那往下接下来开始配置它的第二个模块。
03:02
上这一块。那这个不就是SQ的吗?啊,监控的这个文件就是我上面上面那个例子吗。啊,包括这个赛依然是这个是官方手册上给的一个是best或者是啊。都行,可以去选用哪一个去解析。啊,算完事之后该写了,只不过性格这块,现在是几个性格。两个性格对吧,来两个性格,两个性格最终的15号是不是都是阿波罗。都是那个吧,OK,那你看。IE辛呃,辛格斯,K ta,阿波罗。然后NAME102啊,然后因为这个呢,是最终你要把这个数据啊放到一个地方。而且这个端口就是默认写一个端口就行啊,这个名字你可以任意取哈。然后这个呢,是还1024141。然后再往下呢,这个是。
04:00
啊,阿芙罗啊,主机名称啊,这个得得取自己的啊,跟自己的主机名称一样,102,然后是4142。这个只要别人没占用就行,任意两个都可以啊,都可以。就完了吗?这不就写就行了吗?两个写出就行了。那好,那再往下。再往下,该拆走了。这里面是不是两个圈呢?两呢穿是不是要我们要求是一模一样的?啊,你看配置都一样,C1C memory memory c1C2,嗯。容量容量。一模一样吧,没有任何区别,只是一个复制而已,就是这一块。对吧,改成你的名字就完了,因为前面它叫穿丝穿丝。啊,你看上上一个这个格斯think什么呢?Think格斯辛格斯。然后K1K。其他的没有任何变化。啊,不要把它想的啊。
05:01
然后最后最后这一块,那就是一个拼接了。那现在紧接这个有点意思了,你看啊看哈,那我们这个是R1对吧,R1是造子啊。对应的输出到C1。C2是这意思吧,啊CC2,那么C1对应着K吧,C1对应着K。C对应的。这个结构就出来了。看着很复杂,其实就是这么简单。好,那这条码呢,拿回来。嗯,那我问。把这块解释一下吧,这里面有个解释哈,阿波罗纳斯哈德创始人道法,他创建的一种跟语言无关的数据系列化。和RPC框架。那这个RBC呢,你们可能。这个没感觉是吧,其实底层全部都是RPC这种腾讯协议。
06:01
叫produce号,远程过程调用。程过程调用的一种远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层。这个网络协议其。这就是一种通信协议,可以简单这么理解哈。OK,这是这一块拿来。OK。搞定,那就说第一张图当中的。是不是轻松拿下了啊?那接下来我们来处理一下这个膜二。左侧这边S。他说,这。都用过。这都用过吗?阿波罗啊啊,都写过很多遍了,那好,那我们来写一下。
07:07
大一个杠,数据源是杠,最终目的地是HDS点。V。把这个代码拿过来。那这个代码呢,我们来解释一下啊,稍微解释一下。那刚才这个组件它的名字啊,起个名字叫A2。第二个嘛,二,然后呢,上次呢是二一黑。穿上C名字这就不多说了啊,讲官变了,那下面呢,接下来来配置它的S。S的源头是阿芙罗。那这块有讲究了。怎么叫有讲究了呢?上面一级的输出是不是就是这一集的输入啊?对吧,那你说你这块你要跟上面你写的。
08:03
必须一致。OK,那我们这写的是阿芙罗哈斯国1024141,那这块呢,写的就是阿芙罗哈斯1024141。这块要注意一下。那再往下,那接下来就是到了它的输出端。输出I think是HDS,这已经第三遍了吧。HS。不多说了啊。下面配置和全部配置都是一模一样。那到了最下边这一块,到了穿。还是一样的啊。第四列了是啥?那最后拼接。简单,R1对应着C1 C一再对应着K。只要你能上道。这个地。OK,这个搞定,那再来,接下来呢,我们来看一下这个三。
09:05
到这一块。那这个呢,它的输入呢,依然是阿罗上啊,没啥说的,只不过这个输出这块你们第一次接触叫file。是有这个滚动的这个文件啊。滚动生成的文件到这个date斯,什么五三这。那这个date字符三我创建了吗。没看见吗?啊。创建一下Mac d斯。三。加一个杠P对吧。这个是。最终会把文件数据传到这。OK,那这个准备好了,准备好之后呢,我们开始配置一下它啊。
10:03
创建一个呃,DR,也就说上一级呢,是下一级呢,最终输出到文件里面去。去刚上一级的是,下一级的是DR,存到一个目录里面去。VM点。拿来我们先看一下。第一部分取名字,我。就不多说了啊,只不过记住这是A3啊。那下一集呢,是这个。上这一块,这个是不是也跟上一级是一定要一模一样的,比如说阿波罗还多样零二这地方就变成了4142啊。一定跟上边一致就OK。
11:00
那好,那下边这个稍微强调一下。第一次出现,那这个type呢,叫肉。也就说在这个文目录下进行实时的滚动生成相应的文件,一会儿你会看到啊。它那个30秒一个文件,30秒一个文件。那这个这身份认职哈,当然你可以进行对他进行一个修改。那OT model贝斯三,也就是刚才我们创建这个目录。啊,要跟他一对应上,而且这个目录呢,必须提前创建。否则的话,它不会生成。那再往下。就是这个一模一样。那再往下呢,是拼接啊,HR1C2K1。好。那这个我们来。
12:02
其他吧。搞定,那这个就搞定了。那下边我是不是要开始启动了。开始了,那我先把这个。无所谓了啊,掀起一个。来吧。那我来就把这个D先起来。B杠杠。告杠杠杠,那这是D是A级。A3吧,我倒来的应该是倒叙吧,A3 a2。上面是A1啊,记住啊,这个名字一定要搞定啊,别整错了。那么来A3,然后呢,这个数据也是杠杠杠杠。在哪呢?Job下面的GROUP1 group一下面的丁知道吧,好。
13:05
启动。其中一个放在这,然后再来再克隆。在这啊。干干告诉你。然后是杠杠内没几。A,对吧?A2杠杠告诉。Five。下面的group一下面的。HDFS。又启动一个。再来。就得开启多了啊。B杠。杠杠内埃及。
14:00
A啊。然后杠杠杠。下一个是。下面的一。啊。对吧,第一个源头。就这个知道。三个都已经启动起来了,启动起来之后我们换一个窗口。这是102这一个这一个。对吧,这也没用的吧。我们是不是得来到这个还这啊,哎呀。是不是两个地,这是一个地,还有一个还得看一个。太多了,晕了吧,来来到这个里面去。电是这意思吧,哎,然后呢,一条路径呢,是到。
15:03
到这儿啊,到这儿as。到底在外是哪儿啊?芙蓉二啊。天都已经出来了。是不是上已经有的了。能把这还粘起来啊,因为这里面本身就有这个内容。这是日,然后呢,我们来到这个三。三里面是我创建的这个这个路啊,这个是三啊,两条路径,刚才那是这个是这个是三,这里面你看。Get一个。幺,这是。三数据。看一下这什么日志。是不是就have的日志啊,哎,这呢就是have的日志,所以说你回过头来,你再看这张这张图。看这张图。
16:00
我们配置了三个啊,123。读的原数据呢,都是这个汉的日志,这个读完之后,第一条路线走的是as,第二条路线走的就是到这个OG model斯萨。啊,两条线全部贯通啊,其中这里面用到的知识点呢,就是这个穿越道这一块。啊,完全数据一样啊,采用的默认的这种方式是吧?啊。分析。然后呢,分别通道往上走,往下走。是内部通道分叉,分完叉之后呢,又加了第二集的,那上面这个as的这个think大家都很熟,那下面这个呢是fair。滚动的文件,你看一下这里面这个内容,它是不是一直在滚啊。看一再增加啊,30秒一个默认值。还会增加。这个啊,这个我就不再等了啊。呃,这个就是这个单节点输入。
17:02
多目的地的一个处理,往往用在我再强调一遍,用在多空门业务线,多条业务线的时候。那这个呢,就是采用这种方式。
我来说两句