00:00
这个呢,我们就先放在这儿,然后接下来呢,我们再开一个这个绘画,好,接下来我们要聊什么事呢?其实大家还记得你们之前用过这个canal吗。是不是还有印象吗?可能大家是不是还写过一堆代码呀。是不是写过一堆代码,但实际上canal这个内容呢?它也可以直接将数据传输到卡夫卡,不需要写代码。啊,因为大家之前用的是TCP的这种模式,而其实它里边可以选择MQ的方式,可以直接将数据发送到卡夫卡里边,啊,可以直接将数据发送到卡夫卡里边,好,这个课大家学过了,前面呢我们就不看了,阿里开发的对吧,这个是跟大家之前学习过的东西呢一样,我直接就看他的一个。安装啊架构呢,不用看了,单机版的部署啊,单机版的部署啊,那这里边呢,我这边也已经配好了,大家看一下啊CD OBD Mo到我们的canal这里边来到康复目录。
01:07
我们要改两个配置文件,第一个是canal点,还有一个是一个example,底下一个instance点。对吧,而canal呢,它也可以断点续传,它断点续传的东西就在这,这个就是它原数据信息,它依赖于本地磁函啊,那我们看一下k me塔点啊,那这个里边呢,就记录着哎,它读的位置信息。看见没对吧,断点学员它也可以做到断点续传的一个功能啊,这个要注意一下,因为也会把这个位置信息保存下来,你可以看一下自己的啊,对吧,它有一个meta.data塔,这个里边的位置信息啊好,那这个呢,我就不要了,RM-f meta.data就不要了,跟刚才Maxwell我直接把这个库清了是一个道理,因为Maxwell它是放在MY里面的。
02:04
Canal是放在本地磁盘的,Link CPC是放到checkpoint里边了,对吧?要注意啊,他们三个人都可以断联续,就是挂了可以接着消费没有问题,但是保存的位置不一样啊好,那我把这个删掉,然后接下来呢,我们分别看一下这个配置信息啊呃,那这样吧,我用这个打开啊,这个看的更清楚一点。好,幺零二点开,然后canal,然后com里边有一个canel.parties这是第一个,第二个我也打开一下。Example里边ince publish对吧?好,那这个呢,我们缩稍微缩小一点啊。呃,那这个里边我们改了什么东西呢?注意看一下啊来。我在原来大家的基础上改了它。你可以看一下你的你的写的是什么呢?你写的是TCP,所以你之前写的时候要自己写代码去消费11111端口的数据,然后自己写解析,是不是还有还有印象吗,消费的这个内容。
03:10
啊,消费的这个端口号里边的数据对吧,因为你用的是TCPTCP呢是一种客户端服务端的模式,而can本身也可以直接将数据写到卡夫卡里边,你看这边有卡卡,也可以写到rabbit MQ。对吧,你可以自己选的啊,你是可以自己选的,这个要注意一下,好,那接下来还有啊,当然如果说这边你配了ZK。你一分发,那么咱们的canal呢,就是一个高可用的集群。啊,就是配一个ZK就好了,就是高可用的啊,可以配置高可用行,这是第一个地方你要改的,但文档当中也有说明啊,那既然我们配了卡夫卡,是不是要告诉我们卡夫卡的地址啊,对吧?所以往下看啊往下看。
04:00
这边最后MQ我们要配置一下卡夫卡的地址啊,之前你是没有配的,现在我们既然要往卡夫卡去发,所以一定要配它的一个地址。啊,一定要去配这个地址对吧?呃,那接下来呢,Rech,这个都是关于生产者的参数对吧?ACKS等于O,当然你可以写零一都可以,就看你的内容了啊这个点对吧?好,那接下来这里面其实缺一个东西,那具体这个数据要往哪个主题当中发呢?对吧?在incens里边啊ince呢,就要配置具体的哈多瓦实例了,那接下来往下翻。这。对吧,我们要去配置一下卡夫卡的主题,配置一下卡夫卡的主题啊,那这边呢,我用一个上玩C表示canal表示它是canal的主题。这个也是可以的,对吧,同样的道理,他也可以自己来选择分区,你可以根据它的什么,诶哪张表哪个库,哪个表下的哪个字段啊,可以自己指定,按照这个来做分区,那不指定的话,你就写一个分区数,然后呢,他轮询就好了。
05:12
啊,他轮选就好了,是这个意思对吧,那这边我们就不管了啊,其实直接就这样就行了,好保存好,这边我已经陪着过了,接下来呢,我们启动我们的can。啊,启动之前先我开一个消费者。消费者他啊,把它拿过来。CD Mo到我们的卡夫卡,然后呢,我们这个主题叫ods贝DB_C表示canel来回车。启动启动之后呢,我们接下来来启动我们的ctel b。什么东西呢?我们要去启动我们的,看到没有start点走一下好S。这边呢,看到有一个。
06:01
Canal launch canal launch,那这边就会有数据啊,它会打印出来,哎,他读到的位置信息。啊,读到的位置信息好呃,那接下来呢,我们去做这个事儿,它最后呢,读到这个一个delete的数据,对吧,这个我们就不用管了啊ID负五这个都不是的啊行,那接下来呢,我们就做这个事情,我们来新增数据来12。啊,那个是它启动的一个标记啊,启动的一个标记12,然后呢,爱的硅谷还是拿这个测试保存。好,这边是不是来数据了,呃,但是这个数据呢,好像看着有点复杂一点,对吧,对。来我们看一下啊。太银色的没有问题,ID这个里边还有具体的类型呢。对吧,啊,它有类型,然后呢,这个是数据本身。这个数据本身对吧,啊,上一次应该还有一个残留数据啊,他会接着上一次的最后一条开始消费啊,这是新增,那看到数据在这。
07:05
对吧,好,那接下来呢,我们做一个修改,我再做一个AAA啊保存。好,第二条这是修改的数据,看银色的update,修改的数据我们看一下在这。多了一个A,这修改之后的对吧,那修改之前呢,在哪呢?来注意看它也有一个什么后。他这个old为now,就整个的不是一个修改,他跟我们看到的这个Maxwell很像,对吧,他修改了一个字段,它就只放这一个字段。啊,只放这一个对吧,好,这是修改,那删除我们也看一下,把这条数据呢,再做一个删除。哎,这边的删除数据也来了,删除数据的类型delete对吧,它也是一个data。Data而old呢,为呢?啊,表示没有old,但是呢,你看到它是delete的,表示这条数据被删掉了,对吧,它的封装格式跟Excel很像啊,跟Excel很像,这条数据呢,呃,如果说你是新增的,那没有问题,音色的把数据呢,新增数据放进去,对吧?如果你是update,它会把更新的一个字段放在这。
08:19
如果你是delete的,那O的文档没有数据对吧?啊,这个很像,但是呢,它其实也有区别啊,也有区别行,但是呢,现在这个是我们做的一个maxcel的测试啊,单独的做测试,接下来我们要做一个整体的对比。
我来说两句