温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好,那刚才呢,搞定了我们的技术选型问题,那么我们就将这些个技术框架呢,把它结合在一起,形成我们整个的流程图,那我们来看一下在整个的项目当中,我们整个数据是怎么留的啊来打开我们的PPT,首先在生产环境当中,我们知道业务数据的产生是怎么来的,比如说我们可以通过we部业web页面,或者说呢,通过。APP进行与我们服务端的一个交互,那这样的话呢,服务端就会产生业务数据啊,比如说下订单加购这样的一些操作,对吧,它会产生这个对应的业务数据啊,生产文件当中一般会采用N做负载均衡,然后传输把请求发送到我们的业务服务器,业务服务器呢会将数据写到。MY当中,那我们这一块并不是我们大数据所做的事情,是Java后台他已经看好了,对吧,那我们需要将。
01:03
业务数据实时的导入到我们的集群。我们对这个数据呢,进行存储,加工、分析,最终做展示给公司决策层去使用,对吧?好,那我们最终要把数据导到这个卡夫卡,那之前我们提到了,大家可以回想一下,这中间我们要用到技术是什么。对了,Flink CDC可以做到一个增量同步,也就是说my circle这边只要新增修改变化任意一条,那么我们立马可以监控到给他实时的发送到卡夫卡。啊,那这是我们分层的一个工具,那么例子倒过来呢,其实就形成了我们的叫ods层,保持原样不做改变,那接下来呢,我们要对这个原样数据呢,进行一个拆分,因为我们会涉及到很多的表,那每个表呢,我们需要让它是一个独立的。
02:05
卡夫卡主题啊,所以呢,我们再用fli对它进行一个消费,最终呢,我们需要将数据写到卡夫卡,同时还有一部分维表数据,想一想我们要写到哪。哎,对了,我们天提到了维表数据为了永久存储过,以及它里边用户表的数据量比较大,所以最终呢,我们选择了h base这个框架,对吧?啊,但是呢,我们结合Phoenix,因为它可以写circle进行查询,比较方便,那接下来呢,我们Li去消费DW底层的单表数据啊,可能会消费多个时表数据进行关联,也有可能我们消费单个时表数据与纬度表进行关联,形成我们的大宽表。啊,放到C,我们的DWS层。
03:04
那数据已经到DS呢,最终呢,我们要做一个展示,As数据做一个展示啊,形成我们的报表,对吧,那在这个当中呢,我们主要要写这个数据接口服务,最终呢,对接到。书啊,做我们的数据展示部分,OK吧,这种整个数据流的一个内容啊,那我们本次数据呢,采用自己模拟的,我们用一个价包叫Mo DB,我们可以去模拟生成我们的业务数据,然后呢,我们需要自己写代码的部分。对吧,然后搭建卡法集群,依赖于我们的cable,然后呢,要写我们的link程序去读取ods数据,分别写到DWD层以及dim层,同时再用弗Li去消费这两层数据,将它写到我们的。最终呢,我们要自己写数据接口,对接sugar做一个展示,最终我们看到效果就是说,诶,这个图呢,可以动态的发生一个改变,OK了,这是我们整个数据的流程图,也就是我们的架构图啊。
我来说两句