00:00
好,那接下来呢,我们更重要的测一下弗林CDC跟其他方案的一个对比啊呃,那首先呢,在这个当中,我们附录里边,注意附录当中有一个Maxwell。呃,麦克呢,是美国一个公司去开发的啊,当然呢,它的原理一样啊,原理呢,跟我们和那个CPC跟原理都一样,通过它的一个什么。假装是从接点啊,假装从接点原理呢,还是这个对吧,主主动复制,把自己伪装成从接点,从master复制数据原理都是一样的,看大家都学过了,包括blog的什么这个点呢,都已经聊过了,我们就不多聊了,对吧,接下来直接去看它的一个安装,那这个东西呢,也给大家放到了资料里面啊。在授课我们的实时数仓。资料,然后呢,在工具工具当中呢,有一个macel,大家可以自己装一下,我这边已经装过了啊,我这边已经装过了,待会给大家看一下啊首先。
01:02
在这个里边你去解压这个没有问题吧,解压第一步解压我们再过一下,第二个在我们买四个当中建立一个初始化的原数据啊,初始化原数据,那这样的话,我把这个做一下处理啊,因为我这边已经用过了啊,然后呢,我把这个maxl呢我给他。干掉对吧,啊,因为这里面有残留的数据啊,它的一个数据信息啊麦,注意麦克L也可以做断点续传,它断点续传的信息呢,它的位置信息是保存在这的,叫一个position,表兄你们。对吧,他读的位置,那这个我们造了很多数据了,我不想接着这个消费了,让他从最新的开始消费就好了,所以呢,我把这张表呢,我直接把这个库我给他删掉可以吧,好,我直接删掉,删除这个数据库。啊,整个删除掉,然后呢,我们重新去创建一下,创建一下这个呢,叫麦,我新建一个查询,我们用这个来写啊create。
02:00
Create database。对吧,然后呢叫Maxwell啊,那这个呢,我们跟大家保持一致啊,然后呢,运行好,那这边呢,我再刷新一下这个。好,那现在呢,这里面是空的对吧,这里呀没有表啊,没有表的啊,那这样的话,它会默认的从latest啊,就是不读老的它的位置信息,刚才我们看到它会保留这个位置信息,好那这第一个呃,去监库你要创建一下,第二个设置这个密码的安全级别,那这个的我就不做了,因为我已经做过了,呃,然后主要是为了下面我们要去创建一个。Macel这个用户对吧,用这个000的密码啊,但是这个密码呢,过于简单,所以呢,它不会让你通过,所以上面呢是修改一下密码的,按级别降低一点对吧?啊六个零可以,那这边呢,我已经有了啊在哪呢,在我们的。
03:00
呃,我看一下在my circlel表当中有一个user表吧,有user表,那这里面呢,我是有一个mycel用户的,它其实只有什么呢?查的权限看见没。其他权限都是N啊,不需要嘛,因为我们是读blo数据,所以只要有查的权限就够了,而root呢,你看啊。Root是不是所有权限都有啊,对吧?啊是这样的一个情况。啊。好,那你自己创建一个用户,当然你不创建也可以啊,假如说你他如果不创建,我都用root,你比方说这个。我们自己所写的弗Li CDC,其实我没有给fli CDC创建用户,我直接用的是root啊,那因为root它是有查的权限的,所以就够了,对吧,这个意思,那你要是不创建mal这个用户,你用root也可以啊,也可以,我只是说一下,大家一般来说呢,我们就创建一个,然后分配。权限,那我们主要分配的查的权限副本权限副本客户端那个权限对吧?啊,因为我们要读b logg和查询这个信息嘛,然后接下来配置这个内容啊配置内容,那么配置的时候呢,我们可以看一下在这边啊嗯,这个任务呢,我可以给它关关掉了啊,这个任务就没必要了。
04:13
康调对吧,我把这个任务呢退出掉啊,然后接下来这边呢,我也把这个关掉吧,就不搞这些事情了,Stop吧。对吧,把它关掉。好呃,那这边呢,我们来看一下叫OB Mo到max,我已经装过了,我说过了啊,那首先第一步呢,我们你解压出来之后,它只有一个sample文件。啊,只有这个文件。OK吧,只有它啊好,那这个东西呢,我们要把它复制一份出来,复制为它啊,就是原本的,你不要直接把这个名字改了,这相当于一个模板保留原始数据,对吧,那我们看一下它,我看一下这里边给大家说一下改了什么东西啊呃外m con这点。
05:01
好,那一是不是G回到最上面,那这里边东音呢,其实我们加的你看这个东西对吧,那我们采用的是。发送直接发送到卡夫卡啊,然后呢,卡夫卡的机器包括主题名称啊,主题名称在这,然后接下来我们读取买三个冰log内容,我们读的HELLO102这个数据库,然后呢,用用户麦六个零的密码啊,然后接下来配置一个客户端的ID。啊,配置一个客户端ID,这个ID注意只要你跟主节点的ID不一样就行了,主节点的ID在哪啊。速度CAD叫ABC,然后my.com。主节点的ID大家看一下啊,在这个位置。收外地。对吧,只要不一样就行了啊,无所谓那一也可以啊,好,那这个主题名字要记一下,等会呢,我们要去消费这个主题啊,然后接下来还有东西我们往下看,还有一个东西需要去给大家做一个介绍,什么东西呢,往下翻啊。
06:05
啊,这是生产者,所以说呢,他要配卡卡生产者的相关参数,对吧,你可以配置啊,然后接下来这款,关于这款我们需要去介绍一下。这个指的是什么意思呢?是这样子的。啊,是这样子的,那看啊。这个地方也就生产者的分区,你按照什么来做分区,对吧,那这里面呢,可以按照数据库,按照表,按照主键。啊,按照传三个人ID,按照column一个列来分区啊,也就是说假如说未来我们这个主题有多个分区,你要按照什么东西来做分区,对吧?啊是这个意思,当然如果说我们用的是color,那注意还要加一个它。还要额外加一个。还要额外加一个。
07:00
就是说你指定了是column,那肯定不行对吧,那你要告诉我你具体按哪个列,这个应该能听懂吗。对不对。OK吧,是这样的一个意思啊,就是说这个要注意一下,就是分区,你可以指定一下它是什么东西,那我们按照主键知道主键的话,它有好处就在于呃,主键是自增的嘛,所以它会轮询,相当于各轮巡做到我们的数据的。不至于做的出现那种热点数据对吧?负载均衡啊好,这是我们所看到的一个点啊,那这个东西呢,你要注意一下,那你按照文档当中这块去配一下,对吧?这个呢,你都得去配一下啊,配好或者就卡不卡,然后呢,这个地方改一下啊,然后呢,这个是自己添加进来的,好DO102这些东西呢,你按照这个来改就行了,按照这个来改之后呢,去启动啊去启动这边呢,我是写了一个脚本,但是呢,我就不用脚本了,我直接先前台启动吧,先直接前台启动,那就b mal指定我们的配置信息。
08:03
啊好,那这样就直接在这角B。呃,那启动之前呢,我们应该先开启我们的谁呀。我把DF关掉。我要先开启一个卡夫卡,对不对啊,要先开一下这个卡夫卡。好,那接下来呢,我们把这个卡不卡开一下,呃,那这边呢,注意ZK我是开的啊,因为之前配置高可用的那个机群嘛,所以ZK是开的好,那我们看一下卡不卡。然后呢,我去拿一个东西啊。我要开一个消费者对吧,C拿过来。往这一放,哎,这个东西不行啊,然后呢,CD出来到卡夫卡里边来,往这一放,然后我们主题的名字刚才注意叫ods,叫贝斯。DB_M相关于M呢,做一个区分,相当于是Maxwell啊Maxwell的意思,其实我们最终OS主题的名字叫它跟之前我们的log来对应的,以行为数据,咱们是不是叫ods base log呀,这个呢叫ods被CD,好,那我们消费这个主题。
09:17
一样的,你们在消费的时候呢,它会有一个警告,因为你没有这个主题,我呢已经创建过了啊,所以呢,它没有这个警告,接下来呢,我们启动那B叫Maxwell,然后呢杠杠config,然后是点杠叫config.part对吧,指定我们的配置信息启动走。这边呢已经启动了,它呢,默认的是从最新的开始消费连到我们204了,204了,然后呢,这个位置行,那接下来呢,我们做一个测试啊,我们到这来做一个测试,怎么测试呢,在这边。还是一样的,注意这个时候它所有的表都兼顾了啊,所有的表都兼控了,呃,那接下来呢,我们到这边来。
10:02
加一个12。爱的硅谷给大家看一下啊,保存。保存一下,嗯,那这个时候呢,我们来看这边呢,多了一条数据。看见没对吧,它可以直接写到我们卡夫卡里边啊呃,对贝没有问题,Table诶表明对吧,类型看银色的,它叫银色的。对吧,所以我是为了统一后面那个,呃,一个配置文件呢,是统一的,无论你用哪一个都可以,因为这个地方呢,银色的对吧,好那再来时间戳啊,他自己的,然后更重要的是不是得塔这个数据。对吧,因为它是银色的data呢,表示新增的数据,好接下来我做一个修改,我update a保存。到这来看,此时呢,看这个地方它就比较麻烦一点了啊,麻烦在哪呢?首先database有了,Table有了table update没有问题,TS对吧?好data注意呢,是不是修改后的数据相当于我们在。
11:03
弗利克CDC看到的那个所谓叫阿拉数据吧。所谓的这个after数据对不对?好,那你看我修改的数据,它这样表示的,它叫什么呢?叫old,然后呢,这个诶不方便,明显的就不方便了,对不对,对吧,那没有那个之前的好,你要是我要整个的,那这个还得得比对。他因为改了一个字段,他就把这一个字段单拎出来了,其实不方便后续处理的对吧,好这是改,那下来还有一个删除对吧,比方说我把这个数据删除掉。这边也看到了,它呢是这样子的,Table是delete,然后呢是data,它并不分before和after。对吧,所以你要根据类型来判断,但是这个也还好,因为我只要看到delete,我仿佛的data数据,我就知道它是被删除的那一行数据嘛,这个倒还好。对吧,这个倒还好,这个没有问题是吧?啊,那所以呢,麦可以做到这个事情。
12:04
诶他呢,可以做到这个事情比较方便,对吧,只不过说在更新数据的时候呢,不好啊,更新数据呢,它只有更新的这一个字段,对吧,这是我们测试的这个Maxwell,因为它安装比较简单,我已经安装过了,就不再让它安装了,OK吧,是这个意思,好,那这个呢,我们保存一下。
我来说两句