00:00
好,那现在我们去测试一把啊呃,咱们要测试的话呢,咱需要先把这个104啊,这个先那个配置文件先给它创建出来c do Mo这个room啊,那同样我这也是make啊,这个DR来个jobs啊,这个jobs这个路径随便啊大家嗯可以放在之前,大家这个可能放在comfort里边了,对吧,你放里边也行,哎,无所谓啊啊进来进来之后呢,咱们VM这个名字呢,呃,我怎么起,我还是叫做kaf KA卡不卡到。HTS对吧,然后点com啊,然后按下A,把咱们这个配置文件先拿过来,Ctrl a ctrl c,诶不能直接CTRLCRLC,咱得改个地方吧,拦截器时候得改一下啊,先把它删掉,然后呢,把我们自己那个拦截器拿过来,找到这个build copy reference。啊,然后CTRLV,那我这时候把这里边那个点改一下啊,把这个点改成CRL负啊到负行搞定ctrl a ctrl c啊然后呢,放到这里边来。然后看一下最上边,诶没有丢东西,那就完事,Shift today啊行,这个完事了,那接下来还得再往这里边放一个咱们那个的哎,Li Li目录里边还得放一个拦截器啊啊,那现在找到这个拦截器,这时窗口我得关一个啊,我这只能是。
01:16
我只能开俩窗口啊。因为我这个是。教育版的啊,来咱们打开,诶不是这个啊,应该是点点一个绿的啊。Student。嗯,好,那这边等它连接上啊。稍微等一下。还没连上,诶连上了,那现在把这个呃,福罗兰器传过来双击啊,引过来了啊,那现在应该是万事俱备了吧?啊万事俱备了啊,那现在咱们怎么去测试,呃一下咱们这个效果啊,咱们要想测试效果啊,大家想想啊,现在卡夫卡里边有没有数据。有咱们刚才已经把那个数据呃,写在卡画里边了,对不对,那你说我现在假如说啊,我启动104这个。
02:02
啊,那你说数据现在能进到咱们的hfs吗。现在我现在你看现在进程是什么样的啊,是这样的进程,SSGPS。啊,我现在卡不卡是不是起的呢?没问题对吧,那如果现在直接启动104的辅助数据,现在能不能写到H上。能不能?能不能?不能啊,为什么不能啊,对吧,因为卡普卡104是不是卡普卡S啊对吧,卡普萨斯就是消费者,消费者默认从最新的位置开始消费对吧,那最新的是不是没有东西啊,那所以说还是写不上去啊,那要想看出来效果就得怎么办啊,把咱们整个的采集通道全部提起来啊,102103的辅写起来,然后呢,104的辅路也提起来,这时候怎么办?重新生成日志对不对,那这样一来数据是不是就是呃重新生成,然后数据呢?诶直接就上到hfs来,哎这样才可以啊,所以大家自己做测试的时候一定得注意啊,把所有通道全部打通,启动三个启动卡夫卡,然后再生成日志啊那我现在先启动104的flow啊来B门机agent正它啊杠2A1啊杠C。
03:11
然后呢,哎,这个连上了啊,然后然后杠f jobs加上它还是把日志打开控制台啊,root.log啊等于in four啊conso seven so,然后咱们那个回车就行了啊走。目前看是,目前看是没有报错对吧?啊,目前看是没有报错啊好,那接下来我们把102103的也启动起来,1023咱是不是有脚本了,那直接f1.sh那的就行,能。啊走,那完了之后呢,现在我们就来着手去这个,呃,生成咱们这个数据啊着是先看一下进程吧,看正常不正常。啊,Application有啊,这个application呢,有这个application也有对吧?好,那现在呢,我们去生成这个数据啊,那生成数据的话,那你说咱们这个数据会写到HDFS的哪个路径上。
04:03
会写到哪个路径上,哪一点的路径,其实大家可以对应一下这个这个前后的关系啊,你说现在应该是由谁决定,这个数据最终写到哪个路径上都知道由时间戳对吧,那时间串由谁定现在。时间多,应该是由咱们生成日志的那个,诶配置文件决定吧,大properties是不是有一个mo.date呀。对不对,那它配的是不是就是咱们日志当中那个时间串的时间,所以说你这儿配成多少,那你的数据是不是就最终写到哪儿啊,对,咱们现在是5月10号,你看它是不是进到5月10号的路径里啊,那现在激动人心的时刻到了啊,落点SH啊,生成日志啊,看数据最终能不能写到H上啊。咱们稍微等一会儿,目前还没有动静,他这个写数据呢,需要写一会啊,咱们稍微等会儿。啊,看数据最终能不能上到hfs,咱们稍微等一会,哎,这边有动静了对吧,有动静哎,这边应该就诶报错了啊又点哦,那是不是刚才我代码写的有问题啊,我看一下是不是。
05:10
啊,我写的是加号线是吧?啊,那这个显然它就不对了啊。那你这个就属于这个那种东西啊,发现了不告诉我报错再说啊啊,那这个咱们这个有问题啊,那这个还得来替换一下啊,这个应该没问题了,对吧,那这样一来那就麻烦了,那咱们还得先把104这个辅录先给它,呃,先停了对吧?啊先停掉啊停掉,那停掉之后呢,还得先把这个立本目录里边那个炸包啊啊先给它删了啊RM啊,然后大家一定得记得删一下啊呃,咱们同学往里边传文件有有的用的是那个RZ对吧?啊RZRZ传有一这样特点,如果说你传那个文件在里边已经有了。啊,那它会怎么,它不是给它覆盖的,它会保留原来那个,然后把你新传进来的这个东西呢,给你重复名加个零对吧,那可可,所以说你加进来实际上相当于什么呀,没改还是用的原来那个,那所以这个大家得注意一下啊,一定得先删啊先RM有同学已经踩坑了是吧,RM咱们把那个然后杠啊这个什么叫什么来着,1.0是吧,一点好像也不是啊,看一下这个Windows上叫啥啊。
06:20
呃呃,叫零六啊零六啊,然后杠零再就是它对吧,先给它干掉啊,干掉之后呢,咱们重新再上传一下,这边刷新一下,这边刷新一下的包还没打呢啊来重新打包来,那现在我们点击没啊,我先clean一下吧,先把那个先清一下,看能不能清掉,诶已经没了啊重新打包这个确保没问题,咱们。这次争取没问题。来搞定啊,先来重新拿这个CTRLC拿过来,这又耽误了点时间啊。来来CTRL我给它替换啊,替换之后呢,那现在我们再打开它这边刷新啊,这边呢,重新上传啊,那这边那个flu呢,我再重新啊启动啊重新启动。
07:04
呃,这个我得CD点点才行啊,点点找到这个B,好,那现在我们回收走。那现在我们现在又重新这个启动起来了啊,又重新启动起来了,那这个重新起来,重新启动起来之后呢,那我们现在看一看HDFS呢,现在有没有数据生成啊。哎,我们海度吧,啊,这个102,然后呢,应该是9870走。嗯。啊,学了个屁是吗?笑啥呀,学个屁怎么了,要不谁给谁给整一个来我们打开这个,哎来看一下我们现在有没有出现数据啊,目前看是不是还是没有啊,啊还是没有,这还是因为什么,这因为是不是咱们辅助现在又是重新启动的呀,啊重新启动重新是不是又是从最新开始消费了呀,那说又不行了,那咱们现在再去重新,诶生成一下这个,诶数据捞点SH啊,刚才咱们出点问题啊,所以大家就自己做的时候怎么办?也就保证采集通道全部打通啊,然后呢,呃,把这个log.sh执行一下,重新生数据,这时候看到能不能生成啊,咱们再重新执行log.sh,然后看104这边这个动静啊。
08:19
看能不能数据能不能上去。哎,这回是不是有动静了,那有动之后呢,那我们现在打开这个我们的这个H的web页面刷新,诶,你看是不是出现了一个origin data呀,然后点进去啊,点进去啊,点进去再点去,哎,那地边我们是不是就出现了一个2020杠零五杠幺零啊,这个是怎么回事啊,这是因为咱们那个配置文件呀,咱们刚才为了演示一个效果对不对。把这个小时也加上了,现在是不是十点钟了啊,咱们忘了把这个删了,那所以这个还得删了啊,那这个咱们我就不再演示了啊,那这个是不是应该是没有问题了呀,对不对,那所以说OK那就行了,那咱们现在数据能上去就相当于已经通了啊,我把这个CTRLC诶给它CTRLC取消掉完之后呢,我我得去改一下那个东西啊,后续咱们还得用它呢啊jobs,然后里边有一个这个文件,咱把那个小时给它删掉啊。
09:13
来,嗯。干掉。摁一下哎,然后走走走,哎,这个shift对,这回应该就正常了吧,这个是啥了,那我就不再测了啊好,那我把视频录一下。
我来说两句