00:01
好来,我们接着这个昨天的啊,把这个把它写完啊,嗯,昨天我们剩了两个任务啊,这个我希望大家这个下课以后呢,自己完成啊,这个大多数同学应该都是完成了的。啊,然后可能也有个别的同学这个不知道怎么写啊行呃,那我们一起来把它这个再来完成一下吧,啊把它这个补充完整啊OK,呃,那我们接下来就是把这个事件数据给它这个提取一下。这个事件数据怎么提呢?其实跟你这个曝光数据呢是一个道理啊,但是如果你要提的话,呃,那你最好还是什么参考这个数据的格式去提啊,所以这个现在我还得呃做点事啊嗯,我们去生成一下数据啊,然后呢,拿一条这个数据,然后呢作为一个参考啊,嗯,那我把环境提一下啊,忘了起环境了啊。好,大家稍等啊。好环境起一下啊。
01:04
行呃,这个起来以后呢,我这样啊,我起一个起一个消费者哈。KC啊,然后呢叫ods,然后呢菲斯log,嗯,1018是吧,就是我我拿一下那个我们生成的数据,然后呢,我再去什么做这个数据的一个拆分啊,好把这个消费者提起来,提起来以后我就可以怎么去生成一波数据了啊。好,我们一会从这里面找一条数据啊,那我先把这个浏览器打开啊,我们拿那个Jason去做一个格式化啊。好,来这个找一下诶。好战成视图啊,行,我们去找那个数据去啊,呃,就从这里面找吧,嗯。
02:00
这个是曝光的啊,Action有没有这里面。大家眼睛乖一点啊,看一看啊,有没有这个action的。这是曝光的,都是曝光的是吧。这里面不太好收啊,我就随便找吧。曝光的有没有看到的。都是display的。Action,我看看啊。找一下啊,找一下。嗯。最下面有啊。这个有吗?Display display。过了。又过了。哎。诶哦,看到了看到了,看到了看到了在这啊。对吧,这条数据是吧,诶这条OK啊行,这眼睛还可以啊。
03:05
啊。眼神还可以是吧,来看一下啊,这是这个action的啊,好,里面正好有一个啊,有一个就够用了啊,同学们,有一个就够用了啊来,我们把它这个截过来啊,截过来。好,呃,截过来以后,那我们就可以什么开始去写了啊呃,来这个怎么写啊,那首先你想提取这个事件数据还是一样的,你想要什么,先去这个尝试着提一下看有没有啊,那我们再来写一下吧,就是通过我们的战胜object啊。尝试的去提一下啊好get是一个什么叫做摘啊,因为它也是一个,呃,来看这啊,它也是一个数组啊,所以你要什么把它提成一个数组啊,我们这里面写一下。好叫actions啊,把它这个接收回来啊,这是我们的叫做action吧。对吧,啊,这个就叫这个X瑞得得了啊啊JA是吧,行JA瑞啊行,拿到以后你要做判断的啊,就判断一下,如果说啊你的这个action AR,然后呢,不等于空啊,并且呢,它是有有有值的哈,它的这个长度呢,是要大于零的,就是你那边是有值的,那我才值得去给你做一个。
04:20
解析对吧?好,那拿到以后呢,下面我们要写一个循环来去解析了,因为它是个数组,我们要什么给它做一个循环啊,For,好,然后呢,0UNTIL until谁呢,就是action,呃,AR read这个size对吧?啊怎么去写啊,OK,然后呢,我们获取到每一个啊怎么获取呢?就是action,然后呢,Get一个再生,再生object对吧,把I传进去好,这样我们就拿到了我们的每一个这个动作数据对不对?好,拿到以后你就什么挨个提取呗,提取字段啊提取字段好,这个字段怎么提呢?那就是action object,这样get成一个string,首先这里面有一个叫做action ID对不对,动作ID啊。
05:04
好,XID提出来。好,接着回来,这个是我们的action ID啊,好,再往后啊。好get一个string,然后呢,我们有一个叫做item啊,就是你的动作类型吧,对吧,来这个叫做action item行再往后。好,这是我们的呃item type啊诶item type好,这时回来这是item type type a OK,好再往后啊,再往后是呃TS啊注意啊,呃这个TS我们在之前提,诶我们在之前这个提过一个这个TS啊。对吧,这个是我们整条数据里面的TS啊,大家这个重新观察一下啊,就是我们的整条加成数据中,它有一个TS,然后呢,我们在这个action里面呢,它也有一个什么TS,这个是你的动作时间能听懂吧,说这个你要什么单独给它提出来啊,你用不用你先别管,你先把它提出来啊。
06:15
好盖成一个什么,盖成一个string吧,啊这个叫什么叫actions。对吧,那就把它提好了,那提好以后呢,下面还是一样的,就是我们要什么写写写出到什么呀,写出到一个什么主题,那这个主题的话,我们上面都定义过啊,叫action啊,就这个主题好拿过来。对吧,好,那你怎么把它写出呢?那你首先还有什么,还是要把这个加上你的页面的,哎,不是加上你的什么这个页面的,对吧,再加上我们的公共字段拼成一个什么具体的。数据对不对?好,那这个时候我们需要用到一个并对象来,那我再来写一下。好,用上一个盖类啊,我们就叫什么配置,诶大写的啊,配置action的一个log吧,那行吧,配置action log啊好,然后呢,我们也是把它什么生命成一个样例类啊,我们叫kiss。
07:12
写到前面啊,样例类好,那后面就是我们的一个字段了啊,字段的话呢,我们还是,呃,我就不写了啊,还从这个文档里面复制一下吧,嗯,因为这个就比较简单啊,配置start page action就这几个啊,拿过来。好拿过来啊,拿过来以后呢,给它放进来,呃,放进来以后我们来这个对比的看一下啊。呃,这里面应该还是差几个啊,就是我们这个还差几个,就是像那个,呃,有一个品牌那个对吧,就是那个。公共里面有个什么品牌吧,我记得是叫什么brand,对不对,补上吧,啊补上吧,我自己来把它补上啊,然后这个页面里面的话呢,我们应该还有一个什么source type,是不是source type啊,好,也把它补上行,然后这几个你看一下啊,这几个就是我们的action的啊,但是它差一个这个action ts啊,那我也把它补上吧。
08:08
对吧,就你的动作的这个时间啊,Action的这个下好像TS吧,啊,那我也补充浪吧。对吧,我都把它补一下啊,就是我们这个可能这里面少一点东西啊,呃,反正我们都已经把它提出来了嘛,那我就什么都把它用上。OK吧,都把它这个封装进来啊行,那这个有了以后,那我们还是回到我们这里面。过来以后呢,我们就把它这个封装一下啊,来先封装一个好封装一个叫做,呃,这个配置action log啊啊配置action log。配置action打个包啊。OK,好,那接下来就是往他那面补充东西呗,是吧,啊这个就没什么难度,你就一点点去补吧。
09:02
第一个是mid啊,第二个是我们的UID后面是你的什么叫AR,在后面是你的CH,呃,New对吧,然后呢,后面是这个MD,呃。这个不要了。好,我再提示一下啊,这个挨个去补啊,好在后面是OS,然后再后面是VC啊,在后面是BA,好这后面是配置的ID,然后呢,这个last配置ID。对吧,啊,在后面是你的page item page item type,然后呢,Doing time,呃,然后是一个source type,好,Action的ID。然后呢,Action的这个item好,Action的item type,最后是一个action ts啊,这个我好像提错了啊,我这个一会改一下好吧,呃,Action的这个TS啊,它是要浪类型,但是我提的是一个字符串对吧,就这个字段类型有问题,来我把它改一下啊,我把它提成一个浪类型啊好盖成一个浪,这这个地方变成浪,就这就可以了。
10:11
浪了一些OK吧,行,那就把它封装好了啊行,那这个封装好以后,我们就写出到这个卡不卡,那你怎么把它写出到卡夫卡呢?这个很简单吧,是不是直接还是麦卡夫卡us加send。对吧,来主题的话就是我们的DWD,然后呢叫page action topic,好后面就是,呃,通过我们的Ja.to string,对吧,把你的配置action log传进去。好,然后呢,后面的话我们还是用上一个server conig啊true,这样就OK了。对吧,这就把它写好了。好吧,来这个我就先不测试了啊同学们,呃,这个我先不测试了,我们接着把大家写完,写完以后呢,我们再去做一个统一的测试啊行,那这个都提完以后呢,下面就是我们的这个启动数据了,对吧?那启动数据的话呢,其实提取的方式呢,呃,跟你这个页面数据呢是一个道理,就是把你的这个启动信息提出来,然后呢,再结合上你的呃公共字段,拼成一个什么具体的数据啊OK,首接下来我们就要去提了啊,那这张题呢,首先我们先尝试着获取啊,还是这个战object get起一个什么盖起一个什么加object对吧,这里面写什么呀?
11:21
那你就要看你的启动数据了吧,同学们,启动数据的话,那我还得再去找找啊,这里面有没有什么启动数据啊。呃,启动。启动好好看看吧,这好不好找啊。昨天的那个我就不应该给关了是吧,我应该留着好了。体重是那个。嗯,Start是吧。诶,这有是吧,找到了啊。好拿过来啊,好拿过来以后来我们这个这个我就先放到这吧,啊,我这个万万一会还要用呢,嗯,诶,那我再打开一个哈。
12:05
好,格式化一下来看一下啊,这是我们的启动数据吧,对吧,启动数据啊行,那我们先把这个启动的信息给他提出来啊。好,截过来放到这好呃,那我们就写代码了啊同学们,首先啊,我们启动的话呢,我们提的是这个start啊start来把这个start写到这好,这收回来,这是我们的start加生object对吧?那我要判断了啊,如果说你这个start的加上object是不等于空的对不对,那说明你才是一个启动数据,如果你是启动数据,那我就为什么提取这个字段了啊,提取这个字段好,那就什么start加上object.r get一个string啊首先第一个是你的呃,En t entry对吧,这应该是你的启动方式啊,你是点的图标还是什么点的这个通知啊等等一些啊来再来提啊,Start加上object改成一个讯,我现在都呃统一提升讯吧,如果一会类型不对,我再去改啊呃,Loading time啊,就是加点时间啊。
13:13
好,呃,Loading time啊。OK,呃,再往后是startson object get一个string,我们叫open ad的ID啊。好,这个是open的啊。啊,改成一个群啊,然后呢,这个是open的叫ad的MS啊,这两个都是广告的广告ID,然后呢,还有就是广告的什么播放时间对吧?啊时间啊好再来提啊。下面是open的ad的一个什么SK,就是你那个跳过广告时间对吧,SK的MS。
14:00
好,大家看着点啊,别让我写错了是吧,Ad的。的MS对吧?啊,应该没问题啊,一个两个三个四个五个啊12345OK都提完了啊,就这个千万不要写错了,这个一定要跟你的字段里面这个值呢,一定要保持一致啊,就你这个如果写错了,那你将来可能是提不出来的啊,我觉得应该都没问题吧。MS好MS好应该没毛病啊行,那这个提完以后呢,下面是不是还是什么封装对吧?我们再封装一个并对象,然后呢,封装一个我们叫什么配置action对不对,配置action,呃,不是配置action,这叫叫start lock啊start lock对吧?启动数据,然后呢,最后呢,在什么写出到卡夫卡中来,写出到哪个主题呢?我们的主题也有啊,就是启动,启动是这个啊。对吧,啊,OK,拿过来。对不对,好,那接下来我们再去准备一个冰对象啊,来,我们用上一个。
15:00
来,我们就叫这个log吧,Start log啊,启动启动数据啊。好,然后呢,这里面我们写个kiss行,那后面我们要什么东西啊,还是一样的呀,你就我就什么直接从文档里面去拿了啊,懒得去写了啊。呃,启动启动是大log在这儿啊。诶。不听我使唤了,怎么?好来,我把它这个拿过来啊。啊复制一下,然后呢,拿到这个地方啊呃,它还是一样的,应该还少也是少点东西啊,就是它这个common里面,大家来看一下啊,这个common都是通用的啊同学们common都是通用的。对吧,我们还是少一个那个什么BBBBA对不对,来把这个BA补上啊,补到这把就不啊OK,呃,然后它就没有什么那个source type了,因为它不是页面的啊,然后下面就是你的这个这个启动数据相关的啊,它还有个TS啊,它这个都是浪是吧?这个时间都是浪类型的对不对啊,那如果都是浪的话呢,我们在封装之前把它改改吧,这几个时间啊。
16:09
呃,就是我看看啊从哪个呀。呃,这个就是MSMSMS都是类型的对吧,那我就把这个改一个啊。这个这个,诶还有一个人。Skips loading time啊,这个loading time也是啊,那就这个是long型的啊,我把它改一下。Get long对吧?啊改一下啊,这是一个long类型啊行,然后呢,这个是这个也是long类型的吧。改一下啊啊,我们应该先看一下类型的对不对啊,要省得省得你改啊。好来狼类型的好下吧,呃,那提取的这个具体类型以后下面就要去封装了啊,还是一样的,这个来一个start log啊。
17:04
导个包啊好,然后呢,这里面我们就开始补充字段啊,看一下吧,还是按照提示去补充啊,M midd u ID,然后呢,这个AR啊,这你们写了好多次,应该都记住了,是不是new,然后呢,MD ovc,呃,BA,然后呢,Entry,对吧,这个是open的A,然后呢,这个是loading time啊,这个是open的adms。对吧,这个是open的adks啊,再来一个TS搞定。对吧,这个比较少啊,OK,行,那把这个拼装好以后呢,接下来我们写出去啊,还是什么麦卡,还有T4.side往出发,呃,Topic就是DWD,然后呢,我们叫做start log topic,对吧?好,后面是呃,还是JA,这two JA string,然后把我们的start log传进去,好用上一个S。搞定。
18:02
对吧,这就是我们这个最后的这个分流工作,好吧,就把它补充完整了啊行,那这个补充完整以后呢,我们整体来做一个测试啊同学们,呃,那整体做测试的话,我们先把这个任务给它提起来。就把整个任务把它跑起来啊,运行起来。呃,这个任务我们运行起来以后呢,我们这样,我们回到这儿啊,然后呢,呃,我们要启动几个消费者呀,同学们。啊,是不是总共得五个消费者呀。对吧,其实我个消费者啊,来KC呃,就是Kf.SH然后KC呃,我们分别把这几个主题呢,给他做一个消费啊。好,我们的主题在这啊,来分别做一个消费啊,首先第一个是你的叫做page log,对吧,Page log来这个复制一下。过来放到这儿。好,再往后啊,这个Kf.SH,然后KC。
19:05
啊,这是我刚刚这个生成生成过数据是吧?呃,生成过数据,那就这个停掉停掉重来一下对吧,我们都从头来啊,然后呢,呃,下面是你的这个啊。好来再来写啊Kf.SH然后呢KC啊。反正最后你这个五个主题你都测通了,它里面都是有数据过来的啊,那就没问题了啊。好,来最后一个啊Kf.SH然后KC啊,把它拿过来。OK行吧,那分别我们的五个主题啊,我现在就都开始去做消费了,然后最后呢,我们就什么直接Lg.SH比如说2022杠零三杠二幺对吧走。只要我这生成数据,那么数据呢,就会什么进到我的实时处理过程中啊,那么在这个处理过程中,它就会把数据呢,分流到我的不同主题中,那我的这个地方应该都是能够拿到数据的。
20:10
看到了吧,来我们挨个看一下啊呃,挨个看一下,这个应该是我们的页面数据啊,页面数据其实我们昨天都已经测过了,它应该问题不是很大啊呃,来,我再来打开一个啊。好,格式化一下,你看这是我们的这个页面数据没问题吧,啊页面数据没问题啊,好,这个是,呃,这个是什么呀,拿过来看看啊,格式化啊,这是什么呀。呃。这是我们的曝光数据,对不对啊,曝光数据也没问题啊,然后下面这个。下面这个是这应该是动作数据吧,我看看啊。对吧,诶,这应该是我们的action啊,这是我们的这个动作数据啊,对吧,这也没问题啊,都有好这个是这应该是启动的吧。
21:03
格式化一下啊看看。对吧,这应该是启动的啊,有这个什么启动的什么类型什么的,对吧,你看这个启动类型通知啊,Notice不是通知吗?对不对,启动数据啊,然后最后这个是你的错误数据,错数据的话,其实你就不用看啊,它里面肯定是会包含什么呀,包含一个什么错误消息的,你看一下是不是有这个error的呀,只要有error啊,那我认为你就是一个错误数据。对吧,行好,那我们经过测试以后呢,我们最终的这个五个主题呢,都是可以什么正常过来数据的啊,那说明我们这个分流呢,诶基本的这个分流工作啊,就已经完成了。好吧,啊,就是我把这个昨天啊给大家这个留的作业呢,呃,用这个带着你们去补充了一下,不会写的同学呢,你再去参考一下。好吧,然后这个会写的同学,你写完以后呢,一定要保证啊,都是能够这个测试通过的啊,自己都去测一下这个数据能够正常过来啊,那就没啥问题了,好吧,行,那我就先说到这儿啊。
我来说两句