00:00
呃,首先呢,那我现在要想去读取咱们这个用户数据的话,对吧,那么这块呢,我先把这个东西该创的东西给创建好。呃,在我们这个diam里边呢,我去新创建一个我们这个U的音啊,这样的一个APP。那么它所完成功能呢,那应该是从我们这个卡夫卡中来读取我们这个数据,然后发送到哪呢?呃,保存到哪,保存到我们这个菲利克斯,保存到菲利克斯上面去,然后接下来这块呢,那第一步啊,那应该是从我们的卡普卡里读出去,对吧,那么咱现在呢,在这里对吧,基本环境。准备对吧,你把该创建的给创建好啊,1.1,然后接下来呢,那么再往下,呃,那么咱们基本环境准备好之后呢,1.2来获取我们这个偏移量啊,来读取偏移量,然后接下来那么1.3这个应该呢,是获取咱们这个本批次啊,获取咱们这个本批次呃,销。
01:20
这数据的偏量情况啊,那再往下走啊,那么咱们把这个获取完之后呢,那其实呢,可以对我们这个1.4万,对从我们这个卡夫卡中读取的数据来进行一个结构的转换啊,来进行个转换,那么怎么转换呢?咱们从卡卡里读到的应该是我们这个consumer record吧,对吧,这个record呢,还有key,还有咱们这个V对吧?那么最终呢,我希望啊,我希望我现在转换成什么呢?咱们是不是有user info这样的一个样例类啊,我希望你给我转换成样例率对象,对,这是1.4,然后接下来那么咱们的第二个是吧,直接就1.5吧,和1.5干什么呢?保存到我们这个菲尼克斯啊,保存到我们。
02:20
这个菲利克斯大概的这么几个步骤,你们先来看一看啊,这里边大概我说的是什么啊,大概说的是什么,在哪保存菲尼克斯,这里面其实还可以做一个操作,对吧,什么呢?1.6更新我偏移量,我提交偏移量。啊,就是我想写的每一个东西,应该都知道干什么吧啊。我找同学来试一试啊,来找同学试一试。
03:14
张新春。边敲边说。其他同学呢,跟着他的思啊,没准你就接他啊,要不会的话就提问你。先准备这个环境。
04:05
嗯。
05:07
这个现在还是准备吃大哥金。然后。
06:09
然后春的获取便宜量。We'already ready come。咱还得定那个。说。
08:12
也不说不说话,然后找你就开始说了,行了,先别往下敲了啊,这个行,那你阅读认识吗。不太认识。已经交了。
09:06
咱班是不是有班长的拼搏?班长拼种飞,我就我就有点不好找。我要不要自己来敲一份?
10:02
本来我想这个找个女同学上来对吧,但是你说他刚说找班长姘头是不是,那我也不能再找女同学了是不是,那我就得再找一个男的,我看一看。谁和班长关系比较暧昧呢?我看一下隔力强。我说我感觉我都不会写。嗯。
11:05
不知道。你亮。嗯。嗯。咱们先判断那个片量是否为空,然后或者是它那个它它不是空,但是它那个大小是是零那种,然后就是。
12:33
Cool。说他。如果它不为空,然后且它的大小不为零,咱们就可以传偏移量进行对那个卡夫卡的消费,然后在里面传餐啊餐,把topic传进去。
13:19
然后SC还有group。还有6ID,然后或者呢,就是它的偏移量是是空的,咱们就咱们就不存偏移量进行消费。
14:20
然后。咱们这个偏移量是要改变的嘛,所以说有两种情况,就是可能传可能不传,所以说这个stream咱们要定义到外边。嗯。
15:11
然后,然后咱们要获取这个本批次的这个数据的消费情况,就是拿这个把它给转化成那个那个那个RD,呃。然后我们要调RDD里面有一个有一个获取偏移量的方法,但是那个RD它是没有的,所以咱们要把它这个转换一下,转换成那个叫什么来着。
16:05
等我想想。那个叫啥来着。啊,这个叫叫head of啊。然后。
17:36
就同样的,然后咱们要根据那个。这个这个这个transform那个算子来获取嘛,但是咱们后后面要用到这个偏移量,所以要把它定义到外边。
18:30
然后获取到偏移量之后呢,咱们需要把这个。处理这个这个这个这个stream,然后给他进行这个结构转换。找找找谁呢?有没有自愿的,没没有自愿的,我就我就我就写个随机数程序抽了啊。
19:37
前几天说的。
20:00
嗯。
21:26
说一下,呃。嗯,把刚才把那个嗯里面的那个value取出来,嗯,然后。是一个杰森的字符串。
22:10
然后为了后面的处理方便一点,把它封装成user info对象,嗯。然后用这个可以传。类型的这个重载方法。
23:24
嗯。
25:12
嗯。再找。能叫班长吗?
我来说两句