00:00
好,那这里边呢,其实我们有几个东西先需要去官方文档当中看一下,然后呢,我们再去拿这个配置文件啊,第一个阿think是不是之前没用过,对吧?还有这里边是不是没用过,还有一个东西没用过,其他东西都用过了吧?啊,其他东西都用过了啊,所以呢,我们先到官方档当中把这三个东西看一下,第一个阿波罗的一个think来搜,对吧?在这啊,说到这种大标题,那么它核心的要配的东西你看啊,比较简单,China是不是最后的绑定啊,类型用alo。对吧,啊,然后接下来呢,是host,它主要配的上面。嗯,一个主机名,一个什么端口号啊,因为我们说它是一个轻量级的RBC通讯框架,那它都是通过这种端口发送出去的啊,主要配的东西就是它那其他的一些东西是关于优化的,什么PA4呀,Out呀,假如说连接失败,那么到底是多长时间我不能一直连嘛。
01:09
对吧,我到底要启求多长时间,我就认为你超时了啊等等这些信息都可以去配置的啊,其实最基本的我们天说了,只要我们把这个黑色字体部分配置上了,就怎么样,是不是就可以用了呀,对吧?啊就可以用了,这是阿芙罗的一个think,那大家想一想啊,阿波罗S你觉得应该要配什么东西啊?连接端口是不是跟他差不多,也要有主机名,也要有端口号对吧?那因为我们俩人你是开启一个服务端去接收数据,而我这边是往那个客是一个客户端往你的服务端去发数据,对吧?所以两个人得主机名端口号都得有,好那我们来看一下啊,阿阿罗的一个S。还是一样的,搜到我们的这个内容在这,对吧,我们点那个也行,那你看是不是绑定的China,这是south,所以说China加S,刚才是不是没加S,因为刚才think只能绑定一个,我们说过了啊,然后叫ta类型阿罗,呃,And绑定的什么house name或者说。
02:16
IP地址对吧,都可以,刚才我们说看的那个叫house name啊,这个无所谓叫band对吧,所以它是它叫绑定啊,所以从这个名字也能看出来,它是这种属于这种服务端啊,服务端它是必须的,要只能选择当前这台机器上的端口号的,然后接下来呢,是端口端口二对吧?啊,这是我们所看到的这最基本的内容,这是这两个啊,然后接下来呢,我们看一下还有一个。非肉。Fair think啊,这个是呢,往本地文件系统当中去写的,那么它呢,也比较简单,绑定一个China对吧,然后它的类型就叫fair,然后呢,think.director就是用来存放数据的一个什么目录啊,因为你要往本地文件去放,那你到底放哪,你得告诉我对吧?那这里边还有啊,它也有干什么。
03:15
滚动文件啊,滚动文件30秒一个,就跟我们今天看到的,在ID当中是不是也有这个内容,但是它有区别,ID think,当时我们是看到当30秒,假如说我们这30秒,30秒过了以后。没有数据了,它会生成新文件吗?不会,它必须有下一条数据才会去新成新文件了,而本地等会再看一下,它会有大量的副文件,哪怕你不发它只要到了30秒它就干什么,它就会滚动一个啊,这是区别,但是其实像这个S其实在生产文件当中用还相对说比较少,因为本身我们更多的都是采集本地的日志数据,就不会再往本地写了,对吧?我本身采集的地方我还往本地写干嘛呢?
04:02
对吧,是这个意思啊,所以说这个东西咱们了解一下啊,大家去看一下啊,这是我们所说的这三个内容啊,就是之前我们没用过的啊,没用过的好,那么接下来呢,我们去把这三个配置信息去加一下啊,配置一下一下啊,首先呢,我们得去一个准备工作,我们先去建一个GROUP1这个目录,在job底下再建一个GROUP1,因为它要放三个配置信息了,我们希望把它放在一起,OK吧,CD的job里边,然后make第一个group。1CD到这个所谓的勾一里边啊CD来,那我们把对应的,因为我们要写三个配置文件,对不对,把这三个配置文件呢放在这,呃,那这三个配置文件呢,我们来看一下第一个。啊,至于这个内容啊,这个内容我们等会再再去说,这个其实就是本地文件系统放在一个目录,这个目录还必须存在它不存在它不像HDFS,当然我们看到HDFS是不是它自己会给我们创建目录,本地文件系统不会它会报错啊,所以呢,你得先把这个目录就准备好啊,等会呢我们再去准备吧,先在这里面呢,我们要创建三个配置文件,第一个叫from fire from。
05:18
就是说这个表示什么意思啊,读取文件传给from对吧?啊传给from,好,那我们就直接拿过来了啊,这里边我们对着这个来看一下第一块声明对吧,第二个我们又说了一个这个事情拆的选择器对吧?Replicating好,那我们把这个来搜一下啊,Replicating。还蛮多的是吧,来在这。这个叫什么?From的一个China选择器。啊呃,他说如果当前的类型没有指定。
06:01
默认就是什么副本机制对吧?啊副本机制是这样的一个内容啊,就可以有副本机制,那这边呢有两个啊,一个呢是reliccult默认的就是他,那还有一种呢,是这种马啊呢,就要有多一点的,你看它是不是跟头信息有关啊,这边有一个hi能看到吗?嗯,对吧,到时候我们再具体的来聊这块的事情啊,所以呢,它要结合着连截器来用。啊,当然你还可以自定义China选择写对吧,Customer自定义的啊,但是一般很少自定义啊,好这块呢,是我们所看到的,那其实也就是说这句话可要。可不要因为默认的是不是就是它呀,对吧,默认的就是它好,那么接下来呢,我们使用的exec source。还是监控什么汉服日志OK吗?还是这个问题啊,再强调一下,有的同学没有改这个日志路径,所以呢,你的在汉B底下,当然你也不一定非得去监控那个have,所谓的haveb日志,你随便搞一个文件,我们是不是可以用艾克追加服务往里添加也能看得到信息啊,对吧,不一定非得是这个文件啊,这个无所谓的,那不能说我只能监控have日志啊,那你身然后你当中怎么用啊,对吧?所有的文件都可以啊,所有文件都可以啊,好,那么接下来呢,是C啊,那我们刚才说了多路复用。
07:22
就是说我们的复制对吧,一个sources接触数据是不是要传给所谓的两个产呢。而我们知道一个S呢,它不能绑定多个参,对不对?所以呢,既然你有两个参,你至少得有什么,是不是两个S,我说的叫至少,为什么这样说啊,因为一个China也可以对应多个S,既然你有两个China,那你至少得有两个S。对吧?啊,是这样的一个情况啊好,那我们有两个think都是阿罗的,由于我们那个机器呢,选在同一台,所以都是哈5102,哎这块呢是相当于S1,哎K1对吧,这块呢是另外一个S叫K2,两个名字不一样了,你不能取一样的名字了,对吧?啊但是呢,一个是发到C1C1,一个发到C132啊然后接下来是China,两个China一模一样,两个我们都用之前配过,对吧,最后绑定,那我们source是不是绑定两个。
08:25
没问题吧,绑定两个China,因为它是复制嘛,副本机制对吧,那另外一个K1绑定C1 K2绑定C2,是不是对应起来,就是一个S跟一个China给它绑定起来对吧?好,那我把这个东西呢,给他拿过来啊。好,那么接下来我们去写第二个配置文件啊,第二个配置文件呢,是到SDFS对吧。呃,那首先呢,注意这个名字必须跟刚才那个A1不同了。
09:07
首先因为我们是把它放在同一台机器的。对吧,啊,第二。这几个任务是要同时开的。对吧,我们接下来这三个A呢,是不是要同时开的呀?啊,所以要看三个,那么你同时开的这个内容呢,你名字必须不同是必须不同,如果相同第二个人我都起不来,他就会说刚才那个名字已经被占用了啊好,那么接下来呢,是这个阿波罗的一个什么SS绑定了哈1024141,那我们就知道FOR3呢,我们绑定了4142端口,对吧?因为我们刚才副本机制是不是一个往4141端口发,一个往C142端口放,对吧?所以这边呢,我们从C141端口去拿数据,然后接下来还是用的S是这F对吧,这一套我们配过了,但是还是这块的东西啊,我这个呢是980,大家呢是8020啊注意改一下啊,嗯,你可以之前就说了嘛,你可以全局做一个替换,对吧,你再去复制就不会有问题了啊,就不会有问题了啊好,然后呢,用我memory China加上。
10:13
绑定对吧,这是最后两个东西啊,然后呢,我们把这个拿一下。嗯,我看一下吧,这个600秒太长了,对吧,我给他改一下,我给他改成还是改成30秒。因为我们这样就方便看效果一些,OK吧,600秒的话太长了,好第二个配置文件我们已经搞定了,那么第三个还有一个对吧,第三个呢是from到DR到一个本地目录啊来插入,然后呢,我们来看一下这个文件,呃,前面两个其实跟刚才没什么区别,区别的地方就在于这个名字不一样,然后这个端口不一样。跟FROM2是不是没区别对吧,区别端口你肯定要换,名字肯定要换了,对吧,不能用A1,也不能用A2,所以我们才用A3,然后接下来我们的think用的是。
11:08
还要录,哎,把文件放在这,注意这个目录啊,一定要存在,这边也有提示了,对于本地而言,它这个目录必须是已经存在的,不存在它不会创建啊,它不会创建,不像IDFSIDF它会创建,所以等会呢,我们去创建一个3D目录,OK吧,然后呢,就看你的文件啊,那么接下来呢,是这个。麦China加最后的一个什么绑定对吧?好,那我们把这个去拿进来保存蜘蛛,然后呢,我们进到o Mo data塔目录下make DR,一个FORM3,啊,这个目录得存在,那我们这样先进到FROM3里边,它肯定是空的,然后我们再开一个啊啊再开一个,那接下来我们就要去启动对应的任务了,对吧?啊,就启动任务我们。
我来说两句