00:00
好,那刚才呢,我们说了,我们要。把这个整体去测一下,对吧,那整体测一下的话呢,我们在这边还是一样的,把两个东西写一下啊,已经长草了是吧。武汉疫情你都已经关了四个月了。好,那这边呢,我们写一下,第一个是我们的数据流对吧,我们从数据流来分析,第二个呢,我们要启动的程序啊,我们去看,这样的话就不容易漏啊,这是我们今天说的,首先呢,呃,我们的数据流当然是web或者APP。对吧,呃,将数据将我们的请求发送到。啊,发送到X,接下来由X传输到日志服务器。对吧,啊,因为我们这是一个日志数据啊,啊日志服务器呢,它会进行落盘点。Log文件。对吧,落盘,然后呢,咱们用去采集这个日志数据,诶给他传到我们的卡夫卡。
01:07
啊,当然这个from呢是F1对吧,大家的F1这个看法呢,是我们的ods叫topic log这个主题。对吧,好,那接下来呢,由一个flink。APP去消费这个ods的主题,把数据呢,还是写回到我们的卡夫卡啊,这个呢是咱们的DWD层原始数据表对吧,就这么多啊好那一样的这个东西呢,咱们直接用的一个Mo去代替的,对吧。某个数据。啊,去代替直接呢可以落盘啊,往磁盘里边写一个数据,咱们呢,这个Mo呢是啊Lg.SH。对吧,好,那接下来呢,我们的from,诶那from呢就是进程啊,那我们脚本呢,应该是F1。
02:04
对吧,脚本RV好,那下来用到的卡夫卡它呢,依赖于这个ZK。对吧,啊,他要1.1JK,而当前这个。Linkb,那就是他自己。就是它对吧,最后呢,把数据传到卡夫卡啊,又写回到卡夫卡,卡夫卡呢依赖于这个ZK,所以我们就知道了,等会我们要做测试呢,不光要开这个东西,我们ZK卡夫卡F1都要开,最后呢,开这个Mo造数据我们去看对吧,还要开这个,呃,消费者还要开,消费者看这个数据能不能传到我们的主题里边,对吧?我们要做的事情就这样子,好,那我们把准备工作做一下啊,把这个进程先都开起来,然后呢去做测试啊。好,那我这边呢,多准备几个哈。
03:01
呃,咱们有五个。啊,再再开一个吧。好,那这边呢,我们先开启这个ZK。然后开启咱的这个卡夫卡。嗯,然后呢,我们把这个F1对吧,开一下啊。好,那我们服务端东西都开了,然后接下来呢,我们进到卡夫卡里边,呃,开启这个消费者对吧。啊,我们进到这个卡夫卡。
04:06
好,那我们开启这个消费者啊,那咱们呢,到这块来啊。应该昨天我们顺手把这个测了对吧,最后呢,就是因为呃时间问题,我最后呢没测啊,今天呢给大家测一下啊。当然已经到这一步了,肯定没什么大问题的,对吧。好,这是第一个,嗯,诶第二个我还是一样的啊,我先把这个大家都粘一下,然后呢,只粘这个主题就好了。呃,这是第二个对吧。啊,这个不能先。先不能敲回车啊。第三个。第四个第五个咱们五个吧,啊好,那第一个配置我们已经写了,第二个呢,我们就用这个start啊。第三个。曝光。第四个。动作。第五个。
05:01
A,对吧,好,那这是我们的一个准备工作就搞定了,对吧,准备工作那那接下来呢,我们就启动。这个程序啊,最后呢,开这个Lg.SH造这个数据就好了,对吧。好让它多启动一会儿,因为它并不像Spark STEM那个流处理,因为Spark streaming呢,不管有没有数据,它都会开始打印时间戳,那一打印时间戳呢,我就知道他已经启动好了,对吧?但弗Li呢,它正常启动好了,他什么都不打印,所以呢,我们就可能要多等一会儿啊,省得他还没启动你就开始造数据了,可能数据就看不到对吧,还以为是任务写错了啊,可能是根本就没启动啊,那这个应该差不多了啊,那Lg.SSH,诶,走一下,我们造点数据啊。早点数据呢,我们就等着就行了,好看这边有没有数据打印对吧。诶,这边已经有数据了,什么display page都有了,对吧,那我们看这啊,这是配置啊呃,这是start啊,这里边呢,都是启动日志。
06:04
对吧,每一个都有start啊,这个是display啊,这个是action,然后这个是错误对吧?诶五个就都有了,所以最终呢,我们要把这个做一次联调啊,省得到最后我们测试的时候发现前面可能出了问题。啊,那就不好了,对吧,所以呢,每一步我们写完之后都要测一下,步步为营对吧?啊,你不要等所有的东西写完了一把测,那最后没产生数据,那你还得回来一个一个测,对吧,你通了。都是好事儿,你通了你就不用管了,那所有的都没有问题嘛,对吧,关键问题在于你没有数据没通。对吧,你没通怎么办呢,你不是回过头来还得一个一个测吧,因为你也不知道那数据丢了呀,是不是对吧?啊,所以呢,咱们就把这个全部都测完测好。啊,全部都搞定啊,那就没有问题了,对吧?好,那这是我们做的一个整体的测试啊。
我来说两句