00:01
好,那接下来呢,我们就要去做这个。Dim层了,对吧?啊,那先不要看这个文档啊,因为文档呢,就把所有的思路就给你挑明了,没意思这样,因为我们是出书,他并不是我们上课的一个思路,对吧?出书呢,你得把思路跟人家先说嘛,对吧?啊,那这个思路呢,我们来想,我们自己来思考这个东西怎么去做,一步一步的,对吧,业务员我来引导大家OK吧,好,那现在呢,第二场。呃,先想一下DM层我们要做什么事啊?对吧,简单一点来说,将。维度表。写到。飞那个动。对吧,我们是不是应该将维度表数据。写到Phoenix里边,这个总没有问题吧,因为我们这分析过DM层呢,我们是要给它放到这个Phoenix里边去做这个存储的。
01:07
对吧,之前就已经分析过了。啊,之前就已经分析过了,对吧,好。要放到这个。Phoenix里边做这个存储。嗯,那想一想,我们要把这个数据写到pix,那么有几件事要做呢?首先问大家,那这个数据。在哪儿?咱们维表数据在哪对吧,那你说把维表数据写出去,你得用格把这个数据拿到,然后才能写出去吧,对吧。微妙数据在哪?现在在哪?来大家一下一块儿来说一下,我怎么感觉你看啊,所以我之前就说了,我喜欢周六接班对吧,我不喜欢周一啊,周一大家特别的闷,你知道吗。
02:04
周一特别闷,我不知道大家是不是都已经睡着了。啊,是不是有的同学都已经睡着了啊?我们数据在哪儿,你像这种问题大家随便抠一下对不对,他又不是什么难点,并不需要。去动脑子思考这个问题。咱们现在维表数据已经到哪了?组长呢,一组组长来说一下。啊,还有说HDF上的。那我刚才测试那啥呀。对吧,那门面是在卡夫卡的topic DB这个主题里边吧。对吧,在我们卡不卡的HDF上的,那肯定跟我们实时没关系呀。对吧,那是离线啊,你怎么还能聊到实时这边来呢?在卡夫卡的topic DB里边吧,所以我们要想把微表数据呢,写到Phoenix里边,很明显第一步做什么事啊?
03:03
消费。卡不卡?Topic小玩意DB主题对吧?那这一步太简单了。是不是不用多聊啊,那你弗就消费卡夫卡现在总会写了。啊,你要不会写也没关系,等会儿呢,再带着你写一次,好吧,再写一次啊,因为后面不写了,因为我会封装一个工具类啊,我们会大量的消费卡夫卡,所以没必要每一次都写,我就会封装到这个工具类里面,懂吧,是这意思啊,好,那第二步。那我们为表数据呢,在这个topic topic DB主题没有问题,对吧,但是。Topic DB主题,它只有维度表数据吗?啊。它只有维度表数据吗?
04:00
它是不是只有维度表数据呢。显然并不是。因为我们整个业务数据只有一个主题,所以就是说里边的所有的表,46张表都在这一个主题里边啊,所张表,比如说这里面有十张是我们要的维度表,那你说这个时候第二步我们应该干什么事?啊。第二步,我们应该做什么事?哎,袁杰说了,要做什么过滤?提取啊,是不是这个意思啊,很明显要过滤,因为你这边呢,消费了46张,比如说啊,咱们这边46张表对吧?啊,那总共有46张表,那里边呢,其中有十张维度表,那很明显我们要根据表明。
05:05
过滤出。所需要的维度表数据,对吧,咱们要做一个过滤。有没有毛病,没毛病吧,啊,咱们要过滤出这个我们所需要的维度表的一个数据。啊好,那你过滤出来之后,第三件事要做什么。数据员有了,中间处理有了。最后第三件事,我们要做什么事?是不是应该是将数据写出到。Phoenix中啊。对吧,这是第三件事情,对,写入PI斯,对吧?这很明显是我们要做的第三件事情。
06:02
没毛病吧,这就是我们的一个需求,诶那根据我们提出来将维度表数据呢,DM层嘛,对吧,将维度表数据要写到pix里面,我们想到诶它有这样的一个方式。对吧,有这几件事情要做,那第一件事情呢,很简单,就不用多聊了,对吧,第一件事直接消费,我们都直接写这个工具类啊,做一个封装啊,都是我们写过的好。第二个要去过滤,比如说我们要十张表,那过滤也拍了表明对吧?嗯,在这十张表里边的,那要不在的全部都过滤掉,那菲瑟就搞定这个事儿对吧?第三件事情写到菲enix,菲ix jdbc,那我们有一个什么JDBCS对吧?那实在JDBCS不行的话,那咱们也可以自定义。对吧,还是自定义,哎,那这样看来咱们这个需求就。解决了呀,就好好搞定了,对吧,好,这是我们思路分析啊,简单的一个思路分析。
我来说两句