00:00
好,那接下来呢,我们要写这个代码对吧,写代码呢,我们就不用看这些东西了啊呃,那首先呢,我们把这个拿过来叫贝斯APP啊,这个名字我取一下啊,然后呢,到这边来。创建一个Java类,那这个呢,我们把它放到DWD层,这叫base log APP对吧?好,那我们刚才说的这里面我们要做的事情。我们先把逻辑线写一下啊。第一个叫获取执行环境,对吧,第二个。第二步啊,消费叫ods base log主题数据创建流,好,那第三步那正常的,为了后面方便处理对吧,所以呢,我们将每行数据转换为杰森对象。
01:04
啊,因为我们前面是接算的格式数据嘛,就是刚才我们看到这个样子对吧,所以转成接算对象,我们方便处理啊好,那接下来第四步。转好这个对象以后,接下来我们就可以做啊,叫新老用户。校验啊,我们做一个校验,那这个呢,用状态编程就好了,好,那下来。第五步分流啊,那使用侧输出流,测输流,那假如说我们分为这个页面对吧,我们放到主流啊,启动启动日志放到测输入流,我们规划一下,当然这个无所谓啊,就是只要有一个在主流,两个测出流,至于谁在主流这个都一样,对吧?还有一个曝光啊,曝光呢,我们也放到测输出流,对吧,我们先做一个规划,到时候就按照这个来写。
02:06
啊,那接下来呢,我们就提取。测输出流。数据对吧,提取这个好,那接下来第七步。将三个流进行打印,并输出到对应的卡夫卡主题中,对吧,这个就是比较简单啊,好,那接下来第八步就是启动任务了。对吧,好,那这个逻辑我们要做的事情有没有问题啊,大家给我一个回应。整个的业务逻辑有没有问题啊。没有问题吧,啊,这个是比较简单的啊,那这个需求呢,其实是比较简单的一个需求,对吧,比较简单的一个需求。
03:09
好,那我们就开始写我们的代码了啊,那A部分获取执行环境,那拿过来这个我就不写了吧,我直接把这个拿过来得了,对吧,把这一套整个的拿过来啊,因为大家都一样了嘛,对吧,整个拿过来到这边。投个来啊,不写了,因为这个大家都写的,自己也写的太多了,对吧,你每次写的时候比较多了,好第二个消费卡夫卡主题的数据,那其实正常来说in微点and source。这里面一样的,你有一个叫Li KA的一个consumer对吧?啊,你有一个他,但是还是一样的问题啊,大家想我们这个是消费ods。对吧,行为数据,那业务数据ods要不要交费。
04:00
DWD主题数据要不要消费,DWM是不是照样也要消费啊,所以这个消费数据啊,也要有很多地方用,所以我们是还一样的给他写一个工具类里边统一的去调用吧,是不是对吧?好,那这边呢,我们就直接这样啊,呃,接下来呢,到我们麦卡瓦优秀当中,我先把这个类拿一下,这是我们的返回值对吧,返回值呢,这边肯定是,呃,我们返回string类型。啊,还是返回string类型消费过来数据,对吧,这返回值类型好拿到我们工具类里边来,这边public static返回值写一下,接下来呢,我们就get卡的一个cons。框好,那参数叫什么东西呢?我们来创建一个来试试看啊,又一个link卡的一个consumer,好,那这里边。第一个要一个主题。
05:00
啊,要一个主题,那我们肯定得给你要告诉我你消费哪个主题,对吧,这个毋庸置疑啊,呃,第二个。反序列化器的一个STEM啊,还是一样的simple STEM,第三个它要一个pro,那pro里边我们是不是也要放这个brookly对吧,肯定要放它还有呢。还有消费者组是不是也给他放进来,大家想一下是不是是不是还有一个消费者组啊。对吧,啊,所以呢,这边参数啊两个,一个是类型topic,你要消费的主题,第二个是类型,我们有一个group ID。啊,消费者组好,那这边呢,我们把参数传一下,第一个主题topic,第二个是有一个simple street STEM啊,第三个位置他要一个promise啊,所以呢,我们这边有一个promise。
06:01
看得到一个proper,那接下来呢,把这个proper扔进去,但这样肯定不行,因为我们还缺参数,然后呢,在这边proper.put对吧,往里边放东西啊,放东西啊,那消费者组。Consumer。con.d啊,那我们直接呢把groupd乘进来,然后接下来是主机名点put叫consumer con点。不stop so对吧,好,那这个呢,我们要参数,既然这两个地方都用到的话,我就这样啊,我提一个变量出去private啊,然后呢,这个地方是。Static等是静态的对吧,思维类型啊,因为我们要静态方法里面用啊,那这个呢是brookli。对吧,好,那这个东西呢,拿回来。
07:03
往那一放,这个呢,我们就整个替换掉。好,那他呢,我们也可以用broke对吧,那这样的话就是复用了啊,就是你都要用嘛,都是同一个集群对吧,我就提出去啊做这个事情,那也就是说此时呢,我们卡不卡的一个消费者的工具类也已经写好了,那此时这边我们只要准备两个东西,第一个topic啊,Source。Topic等于这个什么?赋值对吧?ODS好,那接下来还有一个string类型。叫D啊,然后呢,我们也给他赋值,我们就用这个。哎,就他。然后接下来呢,我们这样啊,加一个这个加一隔开,然后呢,我们再加一个。210325啊,因为我的主题都已经创建过了,如果说我还是直接用它的话,呃,那就重复了,就可能接着消费了,对吧,我加一个咱班级号,表示他肯定消费最新的数据啊,就历史数据跟我跟我们无关,对吧,我加一个这个,那你们无所谓,你们就直接用这个名字其实就够了,因为你这个主题新建的嘛,对吧,是无所谓的,你没有消费过,我因为之前拿着这个东西自己做测试的时候消费过,所以保存有off位置,如果说我直接还用它的话,那它就会消费太多的数据了啊,不希望看到太多的数据,好,那接下来呢,这边。
08:35
呃,我们叫MY卡,点get卡consumer,嗯。然后呢,勾D对吧,传进去好CR得到一个卡夫卡DS。啊,得到一个卡法的一个数据流,对吧,这个呢是比较简单的。
我来说两句