00:00
好,那接下来呢,我们看这个内容,看下面这个,其实在生长环境当中用的更多的呢,是当前的我们要讲的这个source,也就是哪个呢,这个里边的一个tell。那你想第一个啊,前面这个这两个东西啊,就是二三两个案例是不是都可以监控我们本地的文件。但都有缺点,呃,第二个呢,我们用的ECC什么缺点啊。对,他不能断点续传,而他不能够监控这种动态变化的文件,对吧,而我们日志生成一般都是动态往里写的。对吧,那其实在芙蓉当中啊,在1.7版本的时候啊,1.7其实之前在生长环境用的时候呢,用了1.6啊,因为早些年的时候,那时候1.7还没出,17年1.7我记得是那个,呃,好像就是一七年还是一六年左右出的啊,在之前我们用的时候呢,根本就没有没有这些东西可用啊,就是那个这个啊,这个SS呢,只有1.7才出来,当然现在我们用的1.9肯定有了,对吧,它就能实现一个什么功能呢?断点续传,同时还能够做监控动态变化数据。
01:33
啊,他能做这个事情,其实大家想一下啊,如果说让你从思想上去思考这个问题,我监控一个文件,然后呢,我当前整个A阵呢,挂掉,我重启,我还能接着上一次的位置重新开始读。那应该至少在里边要做什么事情,从思想来说,你不用说怎么实现,说自己把这个写了,对,是不是要应该做标记啊,我假如说读到第十行读完了,我是不是应该把第十行那个信息给它保存到一个地方,假如说我挂掉了,我是不是先找这个文件看一看,我上一次读到什么位置,我接下来从这个第11行开始读啊,是不是类似于就这样的事情啊,其实就是这样的啊,当然当然如果说让你实现,肯定不会实现思想没问题吧,对吧,肯定是你要保留一个什么位置信息啊,这个所谓的T压source呢,就是保留这个位置信息,而且压source它不光能够监控这个动态变化的文件,不光能够做这个断点续传,它还能同时监控多个文件。
02:38
就是说什么意思呢?假如说那有的才想的SP to也可以兼顾多个文件啊,当然那个多个文件是不是来自于同一个目录啊,Tell source,它能够兼顾不同目录当中的不同文件。就我监控的文件呢,我可以来自于好几个目录,他能他能这样吧,对吧,那我们来看一下这个东西啊,那首先呢,我们要做一个事情,使用这个form监听整个目录当中实时追加的文件,而且是动态追加进去的啊,上传到HDFS,然后呢,China我们还是用的,那这个我们就不打开看了啊,那整体要做什么事呢?首先第一步是不是还是一样的写配置文件,嗯,这没问题吧啊然后呢,我们用的还是memory China加啊这两个thing,这两个呢,现在用的比较多了,然后呢,我们要用tell。
03:29
给他写好,写好之后是不是把这个任务给它启动,启动好以后我们配置的呢,可以监控这个范斯底下。所有的文件,当然呢,也可以配置多个目录,等会我们可以看官方文档,大家都知道怎么配了,其实就配两个目录名字啊,然后呢,配里面东西啊,这是一个目录,然后在这个目录当中呢,我们有两个文件,一个FILE1,一个FILE2,然后呢,动态的往里面去追加,我们到时候到HDF去看数据就好啊,通过这种方式对吧?然后接下来呢,我们把这个配置文件再写一下。
04:01
LC拿过来,呃,还是CD到我们的教里边对吧?哎,对,我不应该这样,还是干什么怕啊。好,接下来到这来打开这个有的配置文件,我肯定给他干掉了,没必要吧。这个呢是监控我们太DR对吧,这个内容点开ID的编辑啊,诶好打开,打开好以后呢,我们把这个拿过来,然后结合着文档我们再去看一看啊。其实后面的东西都一样啊,哎,完犊子,咱错地方是吧?呃,首先呢,我们看一下我们所熟悉的为什么爆粗口了是吧,然后这个是声明对吧?啊,这个还是,然后我们又换了一个目录,Uplo的二啊,换了一个目录啊,等会我们看了一个目录能不能自动生成啊呃,还是以uplo的这个下面都一样的,假如说这个我还是调一下。
05:09
20吧,啊不能零零啊20对吧,然后接下来呢,M China还是这一套,然后最后是绑定,那无非我们就要看一下谁啊。太source那一样的,我们结合着官方文档来看一下啊,太DR的一个S,哎,就在这块,它里面要配的东西,首先China斯是不是最后绑定要配的,接下来table类型叫ta对吧?好,那么接下来呢,看这这有个什么。文件组啊,它后面呢,就配的是什么呢,你可以随便写名字,你叫A叫B叫F1叫F2都可以无所谓。能听懂这个意思,就是相当于声明的一个变量,然后接下来这个变量怎么用呢?你看这个fair groups点先,括号里面放的是fair group name,就是刚才我们写的A,写的B。
06:12
能听懂这个意思,就是在发groups,这我们得配AB,配当然随便啊,我刚才说了,你配F1F2这些都行,随便叫什么名字就取个名字而已啊,然后接下来呢,这个就要配两个了,假如说你配了AB,第一个呢,叫fair groups.a你指向一个目录对吧,然后点B,你可以指向不同的目录,这个所谓的多目录的一个配方啊,就是因为它这边叫file格group斯是文件组吧,所谓的文件组呢,我们可以把它看作一个目录,它这边说了这个组里边配什么。决斗路径对吧?啊对,决斗路径它这里边可不是相对路径对吧?啊,就这个,当然也可以用正则来表示啊,包含的一些数据对吧,那我看一下我们是怎配的,当然还有一些东西啊,就是刚才大家提到的,就是说我们要实现断点续传的功能,可以保留位置信息来这。
07:07
叫什么position,它是以杰形式来对吧,它里面放的就是说你里面不有很多文件吗?AA文件我读到哪个位置了,B文件读到哪个位置了啊,它这样记录的啊,等会我们可以看得到,但是这个你一般的我们会把这个目录改一下,他默认的放在哪啊跟目录吗?这是飘目录吧,之前不说过飘目录吗?加目录,当年用户的加目录对吧,就是CD啊,直接回车进到的目录啊,然后呢,放在一个隐藏文件里边啊,应该这种文件我们就把它配到当前目录底下呗,对吧,好看一点啊,就方便看一点啊好,那我们就配着这样子啊来看,第一个是太阳电压。第二个我们是不是刚才说的把它这个position给它放到当前的目录底下,对吧,这一这东西呢,都可以改,然后接下来我们配了两个文件组,看文件组的用法是不是上面相当于声明两个文件组,然后配置什么。
08:10
路径对吧?然后路径呢,我们用的f false斯跟FALSE22个目录,我们实现监控多个目录嘛,然后对于false里边我们监控的,虽然正则我没学过对吧,没有特别讲过这个东西表什么意思,猜一下包含,那这个就这个能猜到这个位样包含log的对吧?所以说呢,在呃,File里边我们去放file什么东西文件对吧?然后FILES2里边呢,我们放什么log文件,我们看一下是不是都能给我们干什么上传对吧?啊好,CTRL做一个保存啊啊那接下来呢,我们这个是配置文件写好了。
我来说两句