温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好,那业务数据啊,我们模拟完了,那接下来我们就要着手啊业务数据采集了啊,我们也要把业务数据给它采集过来呀,那我们呢,先回到系统数据流程图,这我们看一看啊,业务数据是怎么采集的呢?啊刚刚啊,我们已经把用户行为数据采集这一块是不是整完了呀?哎,数据已经发送到卡不卡了,那业务数据采集这一块我们是不是分为了两块啊,第一个呢,诶是要发送到卡不卡,那第二个呢,哎是通过data叉发送到我们的哪啊诶卡多集群啊好,那我们先来一一个一个来啊业务数据采集诶那首先我们要先都给他干嘛呢?先都给他发送到卡夫卡呀。哎,先都发送到卡布卡,然后接下来我们这边你是通过flu来给他发送到卡多北集群,还是通过这个flink,哎,直接从卡夫卡消费啊,一共呢这么两个链路,那我们第一个事儿就是要把数据给他写入到卡夫卡啊,把数据采集到卡不卡呗,好,那我们先来看一看我们这个数据采集通道啊。
01:10
来到这儿啊,业务数据采集通道,我们先看一看吧。那我们现在买circle当中啊,是不是有很多张表啊,一共有40多张表啊,46张表,那这个表我们要给他采集到卡夫卡,那采集到卡夫卡啊,肯定是存储在卡夫卡的一个topic当中呢,哎,这个topic的名字叫做topic-DB,那刚刚我们采集用户行为数据,这个topic的名字叫做topic-log啊,你看它都是有区分的,哎,这都是有区分的,一个是log,一个是DB啊,这个是log啊,Log logg log,一个是log,一个是DB,它俩都是有区分的,好。那我们看一看我们应该怎么做呢?那通过什么呀?哎,有这么一个工具叫做Maxwell,我们呢,通过Maxwell将业务数据采集到卡普卡,然后供给实时数仓和离线数仓来进行机消费计算嘛,啊离线数仓就是have,实时收仓就是flink,那数据我们首先要给它放到哪啊,放到卡va集群好了啊,那说白了,我们刚才啊,把用户行为数据放到卡不卡了,哎,放到一个topic当中,然后业务数据我们也放到卡不卡的一个topic当中,那实时数仓还是离线数仓,他们直接从卡夫卡拿数据就完事了。
02:38
好。那来吧,那接下来我们就看一看如何通过Maxwell来把这个数据写入到卡不卡呢?好,那我们看一看Maxwell啊应该怎么用,好那到时候暂停一下。
我来说两句