00:00
就后面再也找不到这么简单的需求了啊,这个需求过于简单了,这第一个对吧,它就是一个分流业务啊嗯,那这块呢,我们要做测试,由于这里边呢有的字段要改对吧,所以呢,我们先手动输入的方式去做测试,先不要着急对吧,不要先想着把前面那一套全部开起来啊,我们先不着急,先呢手动测试,手动测试呢,我明显的要去开启这个主题的。生产者了,对吧,好,那这边呢,我们开启一个生产者。克CD到OBD Mo到卡卡B叫卡普卡的一个producer,然后尴尬。Brook how,杜102冒号9092杠杠topic,然后呢,这个主题对吧,那接下来呢,我把它复制一下,我也因为后面呢,可能我们还要做类似的事情,所以呢,我也把它拿到这个位置。
01:02
一个生产者,一个消费者。对吧,一个生产者一个消费者啊,做这个事情好,那这个生产者有了,等会儿呢,我们自己造数据,这边呢,我们应该开启三个消费者对吧?好,第一个来我们写到这最后啊,第一个DW lock。好,第二个。消费者拿过来。复制一份。CD到OD Mo卡不卡?然后呢,这个我们第二个主题叫DW配置页面数据。对吧,还有第三个。啊,第三个c DOD module到卡夫卡,呃,那么接下来呢,还是一样的,我把这个复制一份。
02:00
往那一放,然后接下来呢,我们获取主题名称display log对吧?好拿过来好启动,呃,那这个就搞定我们主题自己手动发数据的方式,然后接下来呢,三个主题的消费都放在这儿,对吧?接下来我们启动该内容啊,看看他有没有报错或者什么样子。诶这边呢,我们这样啊,因为我们今天说了把脏数据呢,要我把这个提一下啊,我们把脏数据要写到测出流保存到另外的一个地方,可以方便我们看脏数据率是多少,但是我们也没看对吧,所以呢,我们在这边干一个什么事呢?我对这个数据啊,脏数据我做一个打印可以吧,好在这边杰森就是他啊,对这个脏数据做一个打印,这个是打印。脏数据对吧,那就对它点get set out food,然后呢,是一个out of time.print啊,然后我们可以测这个脏数据嘛,对吧,这边呢,我们叫得体。
03:08
啊,脏数据好,那我们重新启动。正常生产环境当中,我们可以把这个内容写到数据库里边啊,可以写到数据库里边。嗯,我们多等一会儿,等待它启动,差不多其实就好了。对吧,等待它启动差不多好,那这个时候呢,我们。CTRLC拿过来。先我们数据呢,注意看啊,是MID6对吧,一六是一好这个呢,是一个启动日志吧,看是一个启动日志,这样啊,不管他怎么样,我先把这个大括号干掉,注意少了一个大括号啊,少了一个大括号,它并非这个数据对吧,所以我们回车好看这个数据输出到哪了。
04:09
得体,因为发生异常了,解析过不去了,大括号少了对吧,所以任务,但任务没停了对吧,如果说你不加这个任务可能就停掉了啊,这个一定要注意一下,这是第一个好,那接下来呢,我们就不搞这个脏数据了啊,脏数据我们测了一下第二个六对吧,正常数据好,这是启动日志走。输出哎在启动,你看这是启动主题吧,启动主题这打印了啊,那此时呢,它还是一没有问题,还是一好大家想一下,我把这条数据原封不动的,我再输一次,那么如果说能工作成功,这个地方第二条数据是不是应该是一个零。对不对,应该是个零,说明我们的代码才没有问题吧。好,来啊,回正。
05:03
过来了,哎,看我同样的,你看啊,我输的数据是两个一,但是呢,输出一个011个什么一个零对吧,说明做了修改了,那说明我们代码是生效的啊,是生效的,好这是启动日志,那接下来我们看一下普通的页面日志,我找一个啊。普通的页面日志这个就是一个啊,这是不是曝光数据,它并不是曝光数据,好,那我们在这输进来走。那他应该呢,只在页面数据这打印对吧,配置好,那接下来呢,我再来一个曝光啊,再来一个曝光来,注意啊,曝光第二条数据就是一个曝光吧,它还有九个曝光数据呢,对吧?好,那到这来,我再在生产者输一下走。呃,看这两个都有数据了,来原封不动的是拿到了我们的页面数据,因为我们说过曝光数据也属于页面是指对吧,因为它里边有配置啊,有配置好大家来看一下曝光诶,九条数据啊,同时呢,这个里边还加了一个配置ID啊,本身曝光数据当中是不带BD的,而且他们都一样的,因为它属于同一个页面嘛,对吧,那说明我们的东西都已经做好了。
06:18
啊,都已经做好了,对吧,这是手动测试,那接下来呢,我们整体做一个测试,也就是说我希望把那个locker那个东西呢开起来,看着这个屏幕刷刷的滚动,把这个流给它测动,对吧?那么在这个之前呢,我们先要做一个事情,什么事呢?来到我们这个上面来,我们从两个角度来分析这个内容,第一个是数据流,第二个是程序。啊,就是大家一定要在测试之前把这个自己先去写一写,因为现在来说说这还用写吗?那么简单,就那么几个程序,那你想想看,现在你是。DWD层,如果到了DWADS这些层呢?
07:03
是不是特别复杂对吧。啊,所以呢,一定要写一下数据流Webb啊,Webb到哪了。I对吧,I发送请求到。Spring啊,Spring对吧,直接将数据发送到我们的卡卡里边,而卡夫卡呢,是依赖于。这个是ods对吧?好,它是一个主题ods贝,接下来由我们flink APP去消费,这个数据又写到卡夫卡里边啊,那此时这个卡法呢,应该是我们的DWD。没问题吧,好,那接下来从程序的角度来说,Web ABB其实就是我们的Mo log啊Mo log这个啊,那N呢,那就是N。
08:06
Supreme是不是咱们的logo?点SH对吧,好卡卡呢,那卡夫卡当然就是我们的卡夫卡这个服务,但是它依赖于ZK,所以要启动ZK,好最后当前这个程序是谁啊。贝,那最后呢,是我们的卡夫卡啊,最后呢又回到卡夫卡了,所以一定要写一下,你想想看,现在呢,我们只是DW层,它相对来说比较简单,那未来你想象一下肯定怎么样,很复杂对吧,会很长的这个线,所以说你在做测试之前一定要自己先写一写,这样的话就不会少起什么东西漏了。对吧,好,那我们现在只差谁了呀,卡不卡这些东西都开的,消费者都开起来了,对吧,这个abd也开的啊,ZK卡不卡开的,然后我们要开log,开and开Mo log啊开Mo log就好了,对吧?我们要开这些东西行,那接下来呢,And到这边来啊。
09:05
速度,嗯,然后呢,去启动OPT。下面sb and启动对吧,杠EF GR and走诶起来了,起来之后呢,我们看一下log.s start。好,这个也起来了,我们XX这边看一下。呃,那这边呢,有三个消费者没有问题,对吧,这个是log啊ZK卡不卡啊log ZK卡不卡,Log ZK卡不卡没有问题,我们家最后一步了就是追末。R ta block对吧,好,然后我们启动谁啊Mo啊,那这边呢,Java杠这叫J。2020MO啊启动。这个我们之前测过了,那接下来我们盯着这边三个点,哎,这个启动日志有数据了,你看啊,这三个都变成蓝色了,看见没说明他们三个人都有数据了,而且你看这看这个这。
10:09
数据打印比较快,但是可能大家看的是花屏的对吧?啊但是呢,能看到它在滚动啊,那同时呢,这边启动日志。迭带滚动对吧,启动日志啊,那这边呢,是我们的页面啊,页面曝光,哎曝光呢,可能数据量更大一点,因为一条数据我们要拆开对吧,我们要拆开,所以呢曝光看来会更大一点,那这块呢,就联条就走通了。对吧,这边就搞定了啊,那相对来说这个需求我们一直强调的它是一个很简单很简单的需求啊。
我来说两句