00:03
好了来吧,呃,那这个分析明白了,我们就开始去写了啊,那首先。你判断了,诶我是一个,呃叫这个维度数据对吧,那我们就先把这个key呢,呃给它处理好,那你要处理好key的话呢,那你是不是先把从你的数据里面把这个把他的ID给它拿出来啊同学们。对吧,把ID拿出来啊,那我们拿到这个数据以后呢,就是战胜object,我们先这样啊,先去这个提取,提取数据中的这个ID啊。对吧,那这个ID怎么提呢?应该就是拿上我们刚刚提出来的这个data。对吧,拿上这个data,然后呢,去提了啊来,那我就是我们的data,呃,哦,这还是一个,这还是一个我提成的一个字符串是不是。提成了一个字符串,那这样吧,我把这个改改啊。如果说你是事实表的话,对吧,如果说你是事实表的话,那我就直接那个啥了啊,直接把它提成一个data,因为事实表的话呢,我们是不需要做,不需要再去提取什么它的这个某个字段。
01:11
能理解吧,好,那如果说我是这个维度表的话,那我就要去把它提成一个对象,OK吧,来提一下啊。就是再object这样get一个什么,再object,然后呢,我把这个data写进去,这是一个data or go。能看到吧,然后这样的话,我的data object才能够什么再去get一个字符串,比如说叫ID对吧,这是我的那个ID就主件。能能看到吧,同学们好,行,那把这个提出来以后,下面我就是什么封装key了啊V叫red key能不能看得懂,好red key啊行,那把这个red key我们呃写一下,我们刚刚分析的是dim,后面是你的表的名字对吧,表的名字就是推波name掉to upcas。
02:04
对吧,好,然后呢,后面的话我们再去,呃,拼上一个,嗯。叫啥呀?ID呗,对吧,到了ID来,ID放到这行这样就可以了,好,那你的key有了以后呢,接下来不就是我们要往这个ready中去写了嘛,对吧,那我们就通过买买red要get什么je,好把je拿到,然后呢,Je接下来就什么去做set操作,那你set的时候你的key已经有了啊key,那你的value value不就是你的data吗?对吧?那我们把这个什么data object,然后呢,再转成一个什么呀,加上字符串不就好了吗?对吧,把它写进去,写进去以后呢,我们这个摘要关掉啊,对吧,把它关掉就可以了。这就是我们这个把数据给它写出去。能不能看得到。OK吧,来行,那这个写数据以后啊,我们接下来呢,呃,就可以什么去做测试了啊,看看这个数据呢,能不能够成功的,诶写到我这个red中啊来那我们试一下吧,呃,把这个程序重新跑一下。
03:16
好,因为现在我们只只写了两个表哈,一个是user in,一个是base。对不对,熟悉下来的话,我们就呃在RA中主要是看你的这两个数据啊,行,那我先回到我的这个red中啊,我来打开一个red啊。好,那就什么gun client啊,OK case清一下,就现在来看,我里面是不是只维护一维护过一个opposite呀,对吧?来接下来呢,我们就来做这个操作了啊呃,现在我这样吧,嗯,我就不生成数据了哈,我们就直接这么来去测,我把你的这个user info呢做一个修改,你看看啊,就假设啊,我这个是这个历史的数据啊。对不对,现在我开始去做这个实时任务了,然后呢,我对这个U3O呢,做了一个修改,比如说呃,找个好找找个春春是吧,春春,然后呢,1122。
04:09
OK吧,来做一个修改好,改了以后,那这个数据呢,就会被我的Maxwell采集到,采集到以后呢,我们到了实时任务中以后呢,我一判断,诶诶你是属于什么呀,你是属于这个这个维度数据,好那我就把维度数据呢,就会给你写到这个register中,好这个时候你再看一下啊。在RA中你再kiss新一下。有了吧。对吧,你看一下啊,我们改的是不是这个十啊,呃,是不是这个十啊,对不对,你看一下我是不是记住这十啊,然后你可以get啊get一下这个。盖着它啊。好,这是那个数据。呃,当然啊,这个数据的话,现在你这个看不到那个中文啊,如果你想看中文的话,你这么来看啊,就是你在登的时候呢,刚刚肉一下啊,就是升一下啊好这个时候你再来去。Get它就能看到那个中文了啊行,你看看吧,是不是春春一二呀。
05:01
对吧,因为你对数据呢,做了一个更改,那对这个数据做了更改以后,那我的这个更改以后的结果呢,就会被我的Maxwell采集到,采集到以后呢,就会发到你的卡夫卡,那我再通过我的Spark streaming把它消费出来,消费出来以后呢,我一看你是维度数据好写到red中,那我在我的red中,诶我就看到了这个结果。对吧,同样哈,你看我们还有一个叫做地址的信息啊,你看一下是不是有一个呃,地址表啊,对了,其他的我就没有再写了啊,那我就这样啊,再给大家测一下这个base promise,来找到我的base promise。Base province好在这比如说这个,呃,山西吧,好吧,山西比如说123好来这个保存。保存一下啊。是。好完事以后来,那你就什么直接看吧,到这里面去看一下啊。先kiss新啊,看一下是不是有个base promise了,对吧,那我get一下,你看看是不是34123就过来了。
06:01
看到了吧,同学们啊,来,这就是我们的这个分流这个维度数据。OK吧,哎,分流这个维度数据啊,行呃,那把这个测试通过以后呢,我们最后再把这个补上啊,你看我们最后是不是还有一个叫做刷新这个卡缓冲区,还要提交opposite对吧?那flash这个缓冲区的话,我们应该在什么地方flash来着,同学们是不是在你的for part提里面啊。在你的for partition里面,我们有一个循环迭代,那我的每一个分区的数据,我是不是flash一次就可以了呀,对吧,Flash一次啊,所以你看了哈,我就在这个地方啊。这个地方啊,来,我们往下翻。好,在这个地方我们要去什么呀,刷新啊。刷新这个卡不卡的这个缓冲区啊,啊怎么刷呢,那就是麦卡不卡,有跳加flash就完事。好,那完事以后呢,你还得提交你的这个opposite,那opposite提交我们是在你的每一个批次执行一次输是在应该在这个地方,这个是我的for r DD里面,应该就在这个地方。
07:03
对不对,这不是我的每一个批次嘛,来在这个括号啊往下走。好在这里面好这个地方我要想提交,提交我们的这个opposite啊,怎么提交呢?那就是my opposite you点什么叫做save,好,来topic个名字拿过来,你的group ID拿过来,你的opposite拿过来搞定,然后来吧,行,那我们把这个整体都写好以后,来重新启动你的程序,这个时候我们先看它的打印啊,就它会有读取,会有保存了啊,因为刚刚我们是没有保存的啊,现在就就有保存了。看有保存了吧,对吧,就开始有保存了啊行,那接下来的话,我们就来整体做一个呃测试啊,比如说呃,对于这个。我们改一个改一个什么呀,改一个这个维度数据吧。先改一个维度数据啊,这个维度数据刚刚测过了是吧,那我们再改一个那个啥吧。
08:03
试试数据好吧,叫order info来过来,呃,我把这个随便改一个啊叫。叫什么呀,叫这个梦丽吧,对吧,改成梦丽1233,我做了一个修改啊,做了一个修改好,那我做完这个修改以后来。刷新好有了吧,有了以后你就主要看这个地方啊,看什么看它就可以了啊。看到有什么变化吗?这几个是一样的,这几个一样,这个一样,我们是不是这个六变成了七了呀,就说明我有一条数据,我有一条数据经过了什么。处理了,那这条数据就一定是我刚刚写的这个东西,对吧,只不过我是没有没有把数据给你再消费出来啊,你可以自己尝试去消费出来看看。好吧,行吧,呃,那我们这个整套的话就应该是能够跑通了啊,这就是我们这个业务数据的一个采集和分流啊,OK,那我们就先写到这啊。
我来说两句