00:00
好,那刚才呢,我们测试了data STEM相关的一些参数啊,其实在flink CDC当中呢,它还提供了另外一个弗link s的方式来写我们CDC的一个代码,但是这个当中呢,有一点东西跟我们可能想的不一样了啊,我们来看一下,首先这个代码呢,比较简单,我就直接从文档当中拿过来啊,呃,那我们看一下。第一步获取执行环境,因为我们要写link思了,所以呢我们同时获取了一个表环境。第二步通过我们的DDL方式构建我们CDC的一个方式,这里面最大的区别跟我们原来写的代码就是这个地方最大区别。My circle CDC对吧?好,简表语句跟我们MYSQ建表一样,ID主键name sex啊设定好啊之后呢,是相关的参数,当然这个呢,我们可以通过这个地方来看啊,在我们这个地方我们回退一下。嗯,退到我们最早的K那个地址啊,因为我这个地方网速大家开始看到比较慢一点,所以呢,我就先把这个东西呢,内容做一个打开,我们退回去在这个地方啊,那我是怎么进来的呢?点击这个documentation文档,因为这里的东西相对来说比较少一些,对吧?我们可以点击进来啊,来我们点一下,点进来之后有个跳转,点这个地址就好了,这里边呢,可以看到相关的一些内容啊对不对?好,那在这个当中呢,我们继续来看啊。
01:28
呃,首先我们可以切到这个table API,那也就是说接单语句它告诉你呢,应该怎么去写,对吧,你按照这个模式去写一下相关的参数,根据你的集群信息改一下就好了,那接下来呢,我们做个事情,查询全表数据,做一个。打印啊,做一个打印好,呃,那这是一个点,同时呢,还有一个那。有同学观察到,这里边好像跟我们刚才写data逊每天所看到的现象有所不同,那这个地方呢,买个CC没问题,House name port use name password。
02:04
数据库名表名。对不对?好,有哪几个地方不同呢?这个地方我并没有写这个什么反消化器,这是第一个反消化器,第二个没有给启动模式,也就是说我们指定的initial。List这种形式没有给对不对,好,那主要这两个问题,那如果说我们要指定,首先第一个问题啊,它并不需要反去动化写,因为它是一个表格,对吧,它会自己根据ID做解析,第二个就是我们的诶初始化,我们要做初始化的,或者说latest的这个数据我应该怎么去找呢?对吧?来不要着急来看啊,在我们文档当中这边呢,有一个。Connectors对吧,那我们就点到这个my circle connector。这个里边呢,它就会告诉我们有相应的配置信息来,我们在这边叫connector options点开,那如果说我们想配一下启动模式在这。
03:05
啊,其他的参数也有啊,其他参数也有来在这。好,那比方说我们想要呃,做一个我们自己来指定这个内容对不对,好,那我把这个参数复制一份来到这边来往这一放,接下来呢,将我们的启动模式。我改为你看默认的它叫initial对吧,那除了initial之外,在这个当中呢,还有这个latest offset,哎,但是在这个当中呢,只有这么两种对吧?好,那我们放到这个地方。放在这里头,然后呢就可以搞定了,但这个地方不需要反吸化器,还有一个点,那由于前面我们写的是建表语句。对不对,后面这个表呢,一定要指定一下。啊,它只能就是用flink so这种方式只能一次读一张表,它并不能像data swim可以同时读多库多表,其实这个也是我们后面要总结的他们的不同点了。好,这些说完,我们来做一个测试来运行。
04:18
这边报错了啊,但是呢,我可以告诉大家,这个错误呢,并不是我们代码写的有问题,而是我们的环境出了问题,什么问题呢?来看啊,在我们最早的弗CC这啊版本这边有一个关于弗林格的版本的介绍来。他已经告诉我们1.42.0都应该用13版本的什么flink,好,那也都可能会问了,那都你知道应该用13,为什么你前面导的还是12,这个我想告诉大家一个事情,就是说2.0的data塔stream这种方式,它是可以兼容01:12的。啊,之前确实我们写的是12。
05:00
对不对,01:12的版本有印象同学都应该知道啊呃,那此时呢,我也想把它改成13,因为在12情况下,2.0的弗Li CDC啊,它是可以运行的,对吧,虽然官方介绍的要用13啊,那这个时候呢,我改成13以后再来运行一下弗林格CDC这个程序。这是我们老的。啊,之前写的对吧,好在12环境下没有问题,那我们再看一下13环境有没有问题。好,这也能读到历史数据,因为刚才呢,我们看到这边呢是initial。啊,所以呢,呃,对到对,这种模式在十二十三都可以,但是弗林斯克这个呢,在12不可以,只能13,好,那我们环境先到13,我再给大家运行看一下。好,我们稍等。
06:00
呃,由于我们写的是latest,它直接连接到它并不会打印我们老的数据,对吧,这个时候呢,我往user info表里边添一点数据啊,增加1007这条数据,假如说aaaa好,那没有。保存。好,呃,那106这是老的数据,因为我之前开启过测试啊,它是保障老的数据,呃,那接下来呢,这个地方注1007这条数据对吧?好,那接下来呢,我们继续。比方说我把107这条数据删了。刚新增的数据删了。这边杠D啊,更新数据呢,它一般是两新增数据是I,如果更新数据那么。是减优老的数据减掉新增数据加进来好看见没有,这条数据是怎么回事,我需要解释一下啊,因为大家改觉很奇怪对吧,也没有做出报应的,因为我之前改了一条数据,比方说我这样A对吧,改了一条数据,我再新增一条1008,然后呢CCC,然后呢,没有好保存一下,那此时看。
07:08
就这样的一个结果,对吧?啊,老的数据1005改了,然后呢,1008新增进来,是这样的现象啊,因为我上一次改了没有保存啊,上一次改了没有保存,是这样的情况,这个需要给大家去说明一下啊,别到时候大家说,诶我这怎么改了之后我再重启没有效果,是因为我上一次在里边改了没有保存,是这种现象,好,这是我们看到弗林格斯克它的一个。点啊,它可以读单表数据,不需要你自己去返修换,但是一定要有一个表明。
我来说两句