00:00
好,上节课我们把这个的拦截器已经上传到集群当中了,那接下来诶,我们就把这个脚本啊,进一步完善一下,这个脚本当中,我们是不是这个时间出来截器这个type类型还没有补齐啊,那这里面给它补齐啊,它补的是对应的这个的全类名copy。拉过来,然后呢,后面拼接上对应的Dollar for build。知道吗?哎,这样就OK了,那这里面我先给大家干什么呢?哎,我先给它注释掉。比如说我先不加这个拦截器,大家看一下对应这个效果O不OK,然后呢,我们再把这个拦截器打开,看一下它工作之后的一个效果,这样可以吧,啊,那这个文件呢,我们就整体复制过来copy。Copy完毕之后呢,我们来到对应的104这包下。进入到。com目录下,那在这里面创建一个文件啊,这个文件呢,比如说是VM。
01:01
原始数据是不是在卡卡里面,然后我们通过这个写入到哪里,写入到对应的HTFS,那我们这个命名呢,就是卡普卡中杠,然后杠ATS,然后点com OK吧,好。那就是KFK卡不卡杠?Bloom gone。HTFS,然后点,Com。这样呢,就哎这个文件呢,我们就搞定了,搞定之后啊,下面呢,我们来启动一下对应的这个哈。启动。啊,这里面,哎,这个呢,是的,启动停止脚本,我们来看一下对应的这个命令。首先呢,还是加上这个no hop,然后obt model b目录下有一个from NG,然后我们启动的是agent,好,那下面配置G杠,Come OBD model room。Cof,我们这个名称呢,叫卡夫卡杠杠as叫cof知道吧,然后之后呢,杠杠name我们是AGENT1。
02:03
之后呢,后面这个含义是不是就是把这个日志打印到哪里啊,哎,把这个日志打印到OPT model log2这个文件夹下,哎,不管你是比如说标准的输出还是标准的。错误输出,那我们都给它放到这个LOG2的文件里面,那这个日志啊,对我们来说很有很有用哈,比如说未来你在调试程序的时候啊,万一说这个数据通道没有打通,那是什么原因导致的呢?诶通常情况下我们都会去查看对应的这个日志来帮我们去解决,所以说这个日志呢,我们给他留下来哈,那这个呢,是在后台进行运行啊,我们运行一下。拉到这里面右键。执行。现在呢,我们这里面这个也已经启动起来了,那支持啊,我们这个收藏的这个架构卡不卡as。是不是就都已经搭建完毕了,那接下来现在我们要做什么事,用这个log.sh生成日志,然后来观察谁,观察HDFS上是否会产生对应的日志,是不是这样就OK了?哎,好啊,那在执行之前啊,我们先看一下什么呢?我们先查看一下在104上对应的日期。
03:19
是不是2021年8月8号。这是他的日期,然后我们再来到这个102上找谁呢?这里面有一个APP log,然后vm application。在这个配置文件当中,我们是不是将这个日期已经配置成对应的。六月14。这样,那看一下一会儿在HD上生成的日志时间到底是六月14还是8月8号。那有什么区别?大家思考一下。如果生成的日期是六月14,相当于是取的日志里面的对应的时间,那如果生成的日期是8月8号,那相当于是取的104这台机器的,哎,系统时间是这样吗?那你再回忆一下看一下。
04:11
这里面我们这个时间出了拦截器,拦截器是不是现在已经是注释的状态啊,比如说没有起作用,OK吧,啊好,那基于这种场景,我们现在来操作一下。呃,先打开HTS。开头1029870啊。进来,进来之后来到这儿,然后准备工作好了,准备好了之后我们来到这呢,Lg.SH走。这样生成生成之后啊,我们来到这个页面刷新,点那个刷新。好,哎,有了哈,有了数据,Date log topic log是不是8月8号啊,那8月8号相当于是取的Linux系统时间,是这样吧,哎,默认取的是它啊,然后进来。进来之后你会发现哦,这里面产生了大量的这个文件,但这个文件你会发现是不是有点多呀。
05:05
知道吧,哎,这个呢,其实就是HDFSSK对应的小文件的问题,你看每一个文件大小都是哎多少多少B,那后面呢,一会再来解释,我们先把这个拦截器啊,哎,先给它搞定好吧,哎,那这个拦截器怎么搞定呢?比如说怎么让它变成。是从日志当中获取对应的时间呢?非常简单啊。首先我们来到这边。来到幺龙四。CD com进来之后,我们重新修改一下对应的这个配置文件好不好进来。进来之后。啊,走到这个位置,哎,将它改掉。然后将它是吧,哎,注释呢,给它释放开来,然后接下来我们保存保存退出之后啊,我们先把这个application,比如说把这个弗鲁姆先给它杀掉。Q杠九。啊,不是206啊。
06:00
幺四。881OK,哎,这样呢,就把它Q掉了啊,Q掉之后我们来看一下。呃,下面呢,我们再来启动一下,对这个。哎,来到这个目录下啊走。查看一下对应的进程,Application已经启动了,对吧,启动之后我们再回到这个102上,哎,准备开始执行这个命令,执行命令之前来到这儿。干嘛呢?把这个给它删掉。哎,这个目录啊,其实你发现没,我们是不是没有提前创建这个data啊,哎,它自己会自动帮你去创建啊,那我们就直接把它删掉。现在没有了,没有了之后我们再来执行一下。然后再来到回到这个页面刷新。
07:01
好有了,哎,数据有了哈,之后打开打开打开。啊,这里面呢,就按照日志产生的时间对吧,来进行创建对应的文件夹,那就说明我们这个时间窗拦截器已经起到了作用。
我来说两句