00:00
好,那接下来呢,咱们把这个代码呢,做一个测试对吧?呃,那首先这样啊,我们还是自己去做测试。啊,先我们手动开启一个这个生产者往这里边啊,这个呢,我也加一个。消费者0210325对吧,我加一个啊,大家可以加过来,我这边加一个啊行,那我们手动往这里面去放数据,然后呢,消费他看这个结果OK吧,呃,然后我们还是梳理一下我们要开启的数据流,那开启数据流现在呢就比较简单了,我直接把这个拿过来。对吧,拿过来,然后呢,在这个上面再加一点东西,对吧,从DWD层呢,然后接下来又用我们的flink APP消费这个数据又写回到卡夫卡,那这个时候呢,是属于我们的DWM层。没问题吧,啊这样子好,那当前这个APP呢,是unq visit APP对吧?然后呢,写到我们的卡夫卡,卡夫卡呢还是卡夫卡,所以我们要开的东西看啊an spring book,然后卡夫卡ZK对吧?呃,把这些东西呢都打开就可以了,行,那这样这个是这真的have对吧?呃,哈多波呢就没什么关系了,我就把它哈多关掉啊。
01:25
然后我们看这个卡瓦尔是开的ZK开的好,那直接让这个开的,然后把log提起来。还有这个N对吧,速度啊,然后呢,OPT Mo到N,然后呢是SBN起来杠DF。Great and啊,但and也开了,最后呢,我们需要到G末link r ta log当中去启动这个Mo对吧?啊,但是这个不着急啊,咱们先这样先手动做测试啊,也就是说我先只开unique visit,自己往里放数据来测一测啊,自己放数据来测一测,因为我们这里边涉及到过滤的嘛,驱除我们得看一下这个有没有生效对吧,有没有生效好,那我们来测试啊,数据呢,等会我就这一条,我就用这一条数据对吧,这个我们可以改一改,我把它粘出来啊。
02:25
放在这测试数据。UV测试数据对吧。等会呢,我们就统一的用这条数据我们来看啊好,那我们怎么做呢?首先开启一个生产者。生产者在这来,我们拉到最上面,这边呢,有一个生产者。啊producer对吧,然后呢,到这边来,主题在这往这个DWD配置log里边去生成,生成我们的数据对吧,生产者,然后接下来呢,我们还得有一个消费者,消费者也在这儿把它拿过来。
03:11
消费这个主题,DWDQVI的这个主题的数据,好,这是消费者生产者箭头已经有了,对吧,这个是消费者,那没有问题,接下来呢,启动当前我们的这个任务。啊,先启动它,我们先单点来做测试啊,先不要着急把那些东西呢,全部打开去测试。正好我们可以看一看这个东西有没有报错,对吧。
04:14
好,那现在启动这么久,应该不会有什么大的问题了,我们可以测试这个数据对吧,然后呢,我先把这个数据测试数据在这啊,我从这拿一下。诶,把它拿回来,这是一个配置页面数据啊,然后呢,我们扔进来,扔到这个生产者,那第一条数据它肯定得有对吧,第一条嘛。啊不对,这个呢,Last倍怎么样,不会空,所以呢,它不会出现,是不是过滤掉了,它压根就不会出现对吧?好,那我们要想看它出现呢,来我第二条数据再搞一下啊搞一个什么呢?把这个last配置ID,把这个字段呢给它去掉。让他没有上一跳对吧,好,这条数据呢,拿过来。
05:02
往那一放走。哎,那这个数据就出现了,对吧,第一条数据过滤掉,第二条数据出现了,好,那在这种情况来说,我再把这个数据再放一遍呢。是不是同一天的时间桌我都没换对吧?我再放一次它是不是也会过滤掉,尽管当前这条数据last page ID视为呢,但是这条数据呢,它不会打。不会打印对吧?啊,那同样的对于同一个m midd,比方说我把这个时间改大一点,我把直间我一步到位改成二,对吧,肯定不属于今天啊,我也不用去算这个加多少秒多少秒了,我就不算这个事儿了啊,我直接。把这个变成二对吧,那是不是还会出现了,对吧,把这个走一下啊。大家看它不属于同一天的,这是一,这是二也能出现吧,对吧,啊就这样子的时间呢,再往上增也能够去看到,照样能够出现,没有过滤掉对吧,所以呢,咱们这个代码逻辑是没有问题的啊,该过滤掉过滤掉,不该过滤掉的呢,保留对吧,那这个就搞定了,所以生产者呢,我就可以给他干掉。
06:12
生产者干掉对吧,接下来我们要做什么事呢?我们要把前面那一套提起来,那这个里边log开了对吧,En开了,然后呢,就差这个被slo APP了,把它开起来啊,被s log APP它在这啊点运行。贝斯奥的ABB。开启来之后,我们到这边去开启Mo对吧,Javava看这但是启动之前啊,我这边先改一个东西,改谁呢来看啊,这里边MID啊只有20个,太少了,对吧,然后呢,我们给他加多一点,假如说2000个啊,或者200个都行啊,这边会员呢,我们也加到这个UID啊,加到这个4000个。啊,那如果是20,大家想啊,如果20会有什么现象,是不是这个代码运行一会儿之后就没有数据了,因为20个mid都被。
07:10
随机产生了对吧?啊,所以呢,很快就看不到数据了啊,所以呢,我们把这个数据可以调大一些啊,调大一些对吧?啊,然后Java这这样末二零。好,那这边呢,是这个我就关掉了,这是刚才生产者对吧,这是消费者,那我们把这个扫一个空瓶出来,呃,当前这个base logg也已经开启了,对吧?呃,UV这个也开启了,打印数据都有了啊呃,那接来呢,我只需要。开启我们的走,你。好,这边我们打上success。对吧,成功了,好,那我们等一下这边是不是有数据了,对吧,这边呢,就是会有数据过来了,好,那这个就没有问题,所以你要先手动测试,因为这里边呢,我们写了有代码逻辑对吧?啊,所以呢,你要你要做这个手动测试,你要做手动测试才可以,对吧,你要测一下你的代码逻辑之后呢,再运行起来,把整个数据流去测一测,测通对吧。
08:14
好,那这个呢就没有问题了,我把它抗C干掉啊。
我来说两句