00:00
好,那接下来呢,我们将这个数据呢,嗯,作为一个过滤,过滤掉非接算格式的数据,同时保留新增变化以及。初始化的数据。对吧,啊,初始化数据啊,当然了,这里面具体类型是什么,我们等会儿还得看一下啊,那我们不管怎么样写一个。Filter对吧,那如果说在生产环境当中,我们想把这个脏数据也保留出来,对吧,看一看有多少条。未来我有可能看一下这个脏数据有多少条,对吧,类似于这种情况,那我可以写一个测输出流。对吧,写出去啊,但是这块呢,我们也没必要去保留了啊,你写侧出流的话,你就得用。Process对吧,你可以把它保存下来啊,未来可以看一下脏数据率是多少对吧,那这边地方我们就直接用非过滤啊好那。爹。非。
01:00
非function也没有什么状态,你就直接这样去写就好了。那首先。我们得判断它能不能转化为这个。算格式对吧,好,那这个其实比较简单啊,怎么说呢,直接接算。Pass。啊,然后呢,把这个。Value弹进去,CTRL加V,那我们就得到一个JA of价格。对吧,得到一个杰森object价格啊好呃,那我们直接这样处理,它有可能不是杰森,那就会怎么样。他就会怎么样。他就会抛异常吧。啊,他会抛一张就挂掉啊,就会报错,那我们怎么处理呢。那我们怎么处理呢?我们是不是可以去try catch抓这个异常啊?
02:04
对吧,好抓这个一条好没毛病好,那同时还有一个问题。那你看啊,我们这儿转正接层以后。大家告诉我这个里边它是个string啊,如果说咱们用filter,它返回值写的是true跟false,就最终啊,你不管是true跟false对吧,最终这个数据流还是spring,那你说是spring,接下来处理方面还是真的把它转成切分对象处理方面,大家告诉我。是不是变成杰森更方便啊,对吧?所以在这个之后,咱们是不是还要点一个map,好,关键的问题在于我能不能把过滤和转化为杰森放在一起呢?大家告诉我,我能不能一步做这个事儿,对吧?那当然大家知道我先过滤,然后呢,在这个后面调用一次什么。
03:18
诶。比如说我先做过滤,我再调用一次map,然后把这个数据呢变成接S格式,当然它诚然是可以的。但是我现在问大家,我能不能用一个方法解决这两件事情,就是把过滤跟转化为阶层,我一起给他处理了。可不可以?用哪个方法,大家告诉我。用哪个方法?
04:09
那用哪个方法吗?我都问了用哪个方法了吗。用map map能实现吗?Map能实现过滤吗?啊,大家呢,就直接用process,那除了process呢。Map肯定不行啊,Map他做不到过滤。For each。啊,你们。你们都学的这么混乱吗?
05:01
For each都出来了。问题很大诶。呃,对了,Fla map啊,Fla map你要简单的用Fla map,你要复杂的你用process,但实际上我们这边就是一个基本的功能,对吧?啊,并不需用到process这么高阶的一个API啊,所以呢,我们改成Fla map就够了,因为我们又不需要用状态编程,又不需要用定时器,对吧?啊,测输入流呢,你可以加啊,如果你想用测输入流对吧,你就用process,如果你不用测输入流,你用Fla map其实就够了,对吧?这个地方呢,我带着大家写一下map这种形式,大家可能印象当中Fla map。就是做压频的。对吧?没有其他的功能,但实际上你太误解弗莱的脉了。Map可以做map的功能,也可以做的功能。啊,它可以把它俩直接都代替的,而且呢,它可以把它俩结合起来,来给大家写一下返回值,写接三好。
06:12
对吧,好,那里边的内容过滤掉非切数据,那我们直接写啊,那就是切点pass object value对吧?加可得到一个杰森object,当然对它呢,我们要。Try catch对吧?把它选中,然后呢按ctrl out加T包裹,然后呢,我们写try catch。Try catch对吧?好,那如果说我们有脏数据对吧?哎,它不行,那我们就打印一下这个地方呢,说发现脏数据对吧?加value就是非阶层格式的啊,当然如果我们用的是process,你可以不打印,你直接写到测输出流,在这个位置写到侧输出流。
07:03
OK吧,写到测试流里边,好,那第一个相当于第一步,这个就搞定了。对吧,哎,我们把数据,然后呢,你要写出这个数据,那就out。点connect这个杰森object写出去对吧,正常数据写出去,那如果不是杰森的格式是不是就不写出去了,是不是起到了一个过滤,而且咱们写出那段是一个杰森对象吧,所以是不是同时转换成了杰森对象跟过滤两个操作。对吧,好,但是呢,目前为止我们只搞定了它,还有这个东西没有搞定。还有这个东西没有搞定,对吧,那这个东西我们应该怎么来做呢?这样因为后续呢,我还是要对数据进行加工,所以呢,我打开Maxwell去造几条数据,我一定要拿一下产生数据的格式,如果你没有格式,你未来加工就很麻烦,对吧?所以这边呢很简单,我们打开虚拟机。
08:07
我们去造几条数据。对吧,我们拿一下格式也是为了后后续方便加工啊。因为你后续要对数据加工,如果你不知道这个数据。格式是什么样子,你怎么加工啊,根本就加工不了对吧,所以呢,我们打开这个啊,等会呢,我们就用basemark在这里边添加数据,我们来看啊增删改初始化,我们都做一下这个事情,对吧?把所有的格式拿到OK了,好那么。接下来在这边呢,启动ZK。卡不卡对吧。
09:00
好,那ZK卡夫卡已经开启了,那接下来呢,我们要。启动麦克。好,麦克教已经启动了,应该没有问题,我们等一会儿再查一下,对吧。好,那还没有挂掉啊,那没有问题,麦开了blog之前我们都测过了啊,然后呢,我们就开启一个消费者在这。CD联播者到卡夫卡对吧,然后呢,开启一个消费者,咱们呢是topic DB啊回车,接下来呢,我们就造数据对吧,我们新增一条来。13。看下的硅谷。比如说我们得按照规则啊A。A。保存对吧,好把这个数据拿过来,等会我们统一拿吧,啊这是新增对吧?呃,然后第二个修改。
10:04
比如说我把这个改成BBBBB对吧。保存这是第二个修改,诶也有了对吧,老的数据是AA啊没有问题,然后呢,删除对吧。删除一条数据,好,那这是。增山。改三个对吧,查没有用啊,查没有用好,那接下来呢,我们还有一个初始化吧,初始化我得到这来。初始法怎么写呢?很简单,我们之前是不是写过那个脚本啊,我们从脚本里面拿一个就行了啊,CD到OBD,诶不是不是OBD啊,CD到C目录下咱们有这个脚本,我们看一下啊。呃,我有个这个脚本,但是你们有那个事实表,这个在后续会给到大家,你先不用管对吧,你们应该有一个事实表的脚本。对吧,咱们不是有一个初始化的脚本吗?将买四个数据到卡夫卡的初始化脚本,对吧?你去拿一个啊,那怎么拿呢?来这个,当然我也可以给到文档当中,把这个拿过来改一改就行了,对吧?来拿过来啊。
11:11
这个在这写一个叫。数据格式。展示对吧,因为未来呢,我们是要做这个处理的,呃,当了发后对吧,这个呢我们就不要。直接并目录,然后这个呢,也不要我们用点杠对吧,因为我直接切到Excel目录就好了啊呃,接下来呢,数据库咱们呢是116。改一下这幺六。然后呢,表明咱们叫什么叫base trademark对吧,好拿过来啊。改一下叫对mark,这个是有必要的啊,有必要去做一下,把这个拿过来。然后呢,在这OBD Mo到macel里边啊,然后呢,直接去运行,我们看一下这个结果对吧。
12:10
好,这边呢,已经有数据了啊,我们拿三条对吧,拿三条第一条。啊,这样吧,这个增删改拿过来。数据格式展示啊,放在这儿。对吧。因为未来呢,我们是要用到这个数据的啊,你要加工数据嘛,增删改,然后在这里边呢,我也拿三条,第一条第二条以及最后一条。你看这个地方就是我们说的put stop stop,对吧,这属于脏数据,因为它没有data,它表示开始对吧?好,这是正常的叫put stop in inside的我们需要的数据啊,好,那接下来还有一个,还有最后一个。这是我们采用mal去导数据所有的格式了。
13:02
好友,这是所有的格式啊,呃,那我们要的是哪些啊。音色的需要吧,Update的需要啊,低的不要,这个不要。然后不的银色的要。对吧,好,那就是音色的update加put in色的这三个啊,另外三个不要啊,Delete不要,Put start跟come这个不要,OK吧,这个东西一定要保留下来啊,因为未来我们写代码啊,加工主流数据一定要根据这个来,对吧,包括最后。我们配置流弗CDC读的数据,我到时候也会把这个数据拿过来,把格式放在这儿,如果没有数据格式,那完了我们就不知道怎么处理,对吧?好,那我们接下来要我们要什么数据啊,不能直接输出吧,还要做一个判断对吧?这个是将数据转化为切算格式,好,第二步。
14:01
获取数据中的。类型啊,叫操作类型吧,操作类型字段啊,那这个呢,简单就接点get straight啊,然后呢,这里边叫have。好加倍得到一个类型,那我们不能直接输出啊呃,保留什么,保留新增变化以及初始化数据,对吧,要这个好if。If。这个音色对吧,点equals咱们的看啊,或者是什么update.equals然后呢,看对吧?呃,或者是还有一个是什么,我来拿一下啊。叫啊不的音色的对吧,说实话的这个也需要对吧,好它呢点equals,咱们的type,如果说它是这三种类型,那我将会输出,如果不是这三种类型,不好意思我不要。
15:11
这块OK吗?能行吗?大家。应该没什么问题吧?对吧,啊,那这个东西呢,我们一定要保留着啊,一定要保留着,因为未来我们写代码就要看这玩意儿了。对吧,就要看它啊,当然我可以把不要的这三种啊,把它放在一起,对吧。这个是D类的对吧,这是不要的,这三种我放在后面啊,X放在这,然后要的三种呢,我们放在一起,未来呢,我们可以随便拿一个,拿一个我们要的数据,对吧?这是不需要的啊,这是保留的啊,我们写一下啊,保留的这个是。过滤掉的保留这个数据,然后呢,这是过滤掉的数据对吧?啊,所以格式你得有啊好,那这个过滤数据咱们就搞定啊,CTRL加V得到一个filter。
16:14
接三。For BG的一个。对吧,咱们就得到一个过滤后。是一个切分对象的一个。数据流OK吧,啊,这个是咱们做的一个事情啊行。
我来说两句