00:00
来,我们开始上课,呃,前面已经分析过了,我们做这个全流程调度啊,呃,需要这个再造一天的数据,呃,那咱们现在呢,去造这个12号的数据,造12号的数据啊,好,那我们看看这个数据准备应该做哪些工作啊,那要造12号的数据,首先我们先造一下这个,呃,业务系统的数据吧,也就是DB里边的,那咱DB里边的那个数据咱是怎么造的,咱是不是有一个炸包啊?呃,在哪,在这个里边啊,这个DB log里是吧,那咱们进到DB log。好,那我们这个这是一个用spring BOO写的一个一个小项目啊小项目,然后呢,它读取的是咱们外边这个application文件,那咱们要造这个新的数据,我得改一下这个配置文件啊,那前面这个URL啊,包括用户名密码,这个应该前面都造过了,就不用改了,那下边我们改一下日期。那主要就改一下这个,呃,把这一改成这个12号就行,12就行,那下边这个位置啊,大家看。是否重置,那我们给它设成这个零,那也就说我前面的数据还留着,还留着啊,那现在shift z z好了,那它完事之后呢,我们执行一下这个Java Java杠这。
01:11
然后这个机帽加上这个炸包,然后咱回车走。那现在呢,这个数据呢,就应该呃,已经生成了,12号的数据应该就生成了啊,那咱们去检查一下,我们打开这个链接经贸数据库,咱们找一个订单表吧,找一个订单表O点野兽,咱看有没有这个12号的订单啊,咱们去搜一下。这边有十号11号,你看这个位置是不是12号的,那说明咱12号的数据呢,已经造出来了,行,那造完之后呢,我们再接下来再去造一下咱们这个,呃,12号的日志,12日志,那12号的日志,我们那个日志怎么生成的呢?也是用一个这个炸包去生成,对吧?咱们是不是有一个脚本LG的SH啊,那这个要注意了,大家那这个脚本的这个这个脚本我们那个时间啊,它读取的是系统时间,呃,是不可配的,所以说咱们要想造12号数据啊,还得是把系统时间给他改一下啊对不对,那我们现在系统时间是多少,我看一下啊,来s date一下。
02:15
呃,我们现在系统时间是这个31号,31号,那现在要求我们不是得把时间得改成这个12号啊,对不对,那现在咱改一下,那我就使用那个是不是有一个DTSH啊,那2020杠零三杠幺二。把时间改回去啊,回说。呃,输一下密码123456,那六个零回车。1234566个零。123456。六个零,好,那那现在呢,我们这个时间呢,应该都改完了,DA,咱们查一下啊。好,那现在全部3月12号了,这个差几秒,这个没事啊,大家几没事,好,那时间改完之后,呃,我们现在要想呃这个往HD上传数据,传这个日志,那咱们得怎么样啊,得把这个整个的采集通道,日志采集道得打开,也就是得开谁得开那个呃前102103的,呃然后得开一个卡夫卡,然后把104的也得开起来,这时候咱们再去生成日志,这个数据呢,才能写到咱们的HDFS上。
03:19
然后这个流程大家应该比较熟悉,但是这里边儿呢,我们有一个点大家需要注意一下,大家需要注意一下啊,注意什么呢?大家来认听,就是我们卡不卡呀,嗯,不知道这个前面老师,前面那个大老师有没有给大家提这个事啊,就我们卡卡当中呢,有一个时间索引的概念。时间索引的概念啊,这个时间索引干什么用的?就是说我们在往卡夫卡的一个topic当中写数据的时候呢,就是说你只能怎么写呀,就是说假如说我在某一刻某一刻写进去数据了,那OK,我再往里边写数据呢,我的这个时间是必须得诶大于前面那个时间的,必须大于那个时间的,呃,也就是说咱们往卡夫卡里边写数据的时候,你这个时间呢,只能是怎么样,只能是从前到后这么正常的,哎,这么这么这么往后走的,也就是说我想表达的是什么呢?想表达的就是说,诶,咱们这的这个时间你不能往前改,你只能往后改。
04:16
这个大家得记住,因为我们正常的这个时间是什么样的,是不是就是从前往后走啊,就是时间是不可能倒流的,对不对,那卡夫卡这边呢,就有一个时间索引,时间索引如果说诶你在某一刻,比如说是在3月11号,OK,你3月11号往卡夫卡这个topic里边写过数据,那OK,你的你的,那你的时间如果说你再给他调回3月10号,那这时候你再往卡夫卡里边写数据,你是写不进去的。你写不进去的啊,你这个时间呢,只能是来从前往后走就往后走,那所以说我就啊讲过是吧,那讲过就行了,那我现在就得检查一下咱们这个有没有往卡夫卡里边写过这个这个呃,那个12号以后的数据啊,那我去看看HTS上,我看这个上面有没有这个后边的数据,海多普1025070,那咱们去找一下啊。
05:07
呃,往后拉一下origin date贸那log这里边。诶,这个这个有一个三月12 3月23号的数据吧,ADS上,那所以说这边这个时间之前是不是已经写过3月23号的数据了呀,那我现在再写3月12号的数据,实际上是写不进去的,写不进去啊,那所以说这边呢,呃,咱们就麻烦了,麻烦了,那这个怎么去解决这个问题呢?那咱们最方便的最快捷的这个解决方式啊,就是这样,你把卡夫卡这两个topic给他删掉,删掉再重新创建出来,那OK,它那个时间呢,就又至零了,就没有这个三月23的记录了,没有了我们就可以写12号的了。是这样,那这边呢,我还得先把那个topic删一下啊好,那要删topic,首先咱得把卡夫卡起下来,起卡卡之前起组K来,CK先启动。
06:00
这个大家到时候也要去注意啊,如果说你写到这个写过12号以后的数据,那你这个12号就写不进去了,你再重新这个启动一下啊,你再把那topic删了重建一下就行了。好,那主K班成启成功启动,那起一下卡不卡start。嗯。诶啊啊,我点错了,应该是点那个KF啊。呃,K。f.H然后startt ST走。好,那卡不卡,现在我也正在启动SGPS。Position文件,Position文件你说的是那个,你说的是那谁呀?你说的是那个的position文件吧,他跟卡不卡是没关系的。你删那个没用,删那没用啊,只能只能删topic这边只能删卡卡的topic,那position是的跟卡不卡没关系,那不行啊好,那现在我卡夫卡已经这个启启动起来了,那现在呢,我们去进到卡夫卡的跟路径,那我删一下卡夫卡topic记混了是吧,这个学的太杂了哈。
07:04
来,我们删掉卡卡topic,然后杠杠。然后GOPR组kper,然后海杜吧,102,呃2181。那后边呢,杠杠呃,Delete,然后杠杠你要删除的topic有一个topic start对不对,那回车。好,这个已经这个删除了,那另一个呢,还有一个topic event e这个也给它删除。好,那两个topic呢,我们现在都已经呃删除了,那删除之后呢,我们查看一下啊杠杠这个list走。好,那现在是不是那两个topic已经没有了呀,没有了没有了,那现在呢,我们再给它重新创建出来,然后大家要注意啊,在删topic的时候呢,你要确保没有生产者呃,也没有消费者再去使用这个topic。要确保这个事啊,就是说你删这个topic的时候呢,要保证没有消费者以及生产者在使用这个topic,也就是说你需要把前面那个F1那俩跟后边那F2那给它停了,停了之后呢,呃,再去删除这个topic,当然你自己开的什么console consumer那些东西也要关掉,就是说在没有使用的情况下去删除它啊,好OK,那咱们这个已经呃删掉了,删掉之后重新创建出来,然后B卡不卡,然后呃,topic.sh,然后刚刚这。
08:29
诶是用刚才那命令吧,组开是吧,然后杠杠那个c create,嗯,那后边呢,你要create的时候呢,需要指明几个参数,第一个parts,几个分区,三个分区几个副本,杠杠republicanation re。Republicanation,然后那个杠republican factor,然后来一个二,然后起个名字杠杠topic,那还叫topic start啊,To,那保保持同名,那这样我们那些配置文件就不用改了啊,来回车。
09:06
嗯。诶,我这个是拼写,拼写错了吧,他说我那个part写的有问题,对不对,Parts多了一个I,那现在回车好,那这个已经创建出来了,那接下来呢,我们再把event也创建出来evt,然后回车。那现在我们两个topic都成功的创建出来了,那创完之后呢,咱们的时系统时间刚才已经,呃,是不是已经改到这个12号了呀,那现在我们要做的是卡普卡已经启动了,那就启动F1,启动F2,然后再生成日志应该就可以了,来f1.shstart。然后F2呢,咱们也给它启动起来,SF2的sh start。好,那执行完这俩脚本之后,咱们稍微的等个几秒钟啊,咱们等这个flu这个顺利的这个进程启动成功之后,咱们再去生成那个日志,咱们稍微等等两秒钟,OK,那现在基本上就可以了,我们执行那个生成日志的脚本,落个点SH回车。
10:06
那现在呢,我们去这个HTFS上面呢,咱们等着这个数据往上传啊来,现在是topic event,咱们刷新一下。等等一会啊,咱们等一会儿好,那现在这个数据呢,是不是已经传上来了呀,3月12号,因为它传输的过程需要这个一定的时间,咱们稍微等会就出来了,好大家看现在是不是还是tmp的这种这种结尾啊T结尾说明这个文件是不是还没有写完,那刷新刷新等写完之后呢,它就会变成什么呀,它就会变成那个拉着罗的后坠,咱们稍微等会儿啊。嗯。这个看看那个,呃,Star有没有写完,嗯,这还是TMMP,咱们稍微等一下。稍微等会儿啊。嗯嗯。你们集群上是3600秒是吧。你们调成3600秒了呀。
11:01
我去看一下那个配置啊。那你3600秒。这个I,呃,我看一下啊。CD到这个,呃,OPT module。呃,然后进到这个康复目录,呃,你们在哪?应该是在这个康复里是吧。VM这个呃,得去104看是吧,得去104看啊,那我还得再开个104的连接,呃,我这边我因为是教育版,我只能是开四个窗口,那我直接跳到海都会央零四吧,呃,A。I这个104。然后呢,我进到这个o BT Mo,我现在已经到104了啊,你看已经到104了,那现在进到呃,IL,然后进到。CD到C,然后vm fair应该是卡夫卡flu到HTYS。
12:02
哎呀,我天呐,你们是这个3600秒,那这个文件这个得很长时间才能关闭啊,那C的ZZ,呃,那这样一来的话,这个我看一下啊,我刷新一下,那这个很久才才会变,那这样这样吧,我们把这个时间呢,咱们给它改一下啊,给改一下光停应该不行啊,你要停掉,那那个tmp这个这个文件后缀呢,它可能就去不掉了,可能去不掉了,那我们改一下时间吧,咱们把时间呢,呃,咱们往后改一下,再再改到下一天,再改到下一天啊,那也就ddt点这个D。那现在先退出来啊,退到还退到102,那执行一个DTSH2020杠零三杠幺三,咱们打把时间呢,往后再推一天,然后回车。然后000000回车,1234566个01234566个两,好,那这个时间改回去了,那现在现在呢,我们再去看一看这个后缀有没有去掉啊,再刷新一下。
13:06
呃,咱们刷新一下啊嗯。呃。这个呢,可能还去不掉,去不掉我们刷新啊,咱们稍微等一下。嗯。呃,按理说咱们现在这个时间呢,已经超过了这个,呃,超过了这个时间了,超过它那个时间应该是能去掉的才对啊。嗯。来刷新。那这个行,那我们把这个停一下,那停的时候,呃,也就是说咱们那个呃,文件也会关闭的啊,就是停的时候应该是也会关闭的,因为它停的时候会有一个这个flash的这样的一个一个一个就是Fla这样一个操作,那我们把这个F2停掉,F2SH stop1下来走。那这回我们再去看一看啊,它这边有没有这个刷新掉,诶这回行了啊对,就是它关闭的时候呢,也会有一个这样的一个flash的操作,好,那现在看一下行,那这边这个文件都已经这个上传完毕了,那都准备好了啊,那大家到时候呢,把这个flu停掉,那它就OK了,行,那停掉之后呢,呃,我们到现在为止,相当于是咱们12号的数据就已经,呃顺利的准备完毕了,是吧?都已经顺利的准备完毕了,那OK,我现在把这个视频录一下啊。
我来说两句