00:00
好,那接下来我们就什么都准备好了,直接开始创建一个同步作业,那我们看一下这个语法,Create同步作业,然后呢起一个作业名称,对吧,这个名称是一个标识,那另外呢,这边是不是一个channel描述啊,就是原表跟目标表的一个映射,主要是表跟表之间的关系,那这边写的是一个MYSQL的表。啊,那这边呢,写的是Doris的表啊,你把它映射起来就好了。然后看一下这个语法,它这边是不是可以逗号分格表示什么,可以同时指定多张表的映射关系啊,比如说我my circle里面有ABC3张表Doris,我同样建一个ae be1ce表分别一一对应,那你这是不是有三组表的对应关系,那你这边就是每一组关系都是一个from语句,对吧?用逗号分格就可以了,那目前我们只有一个,那blog的描述信息呢?
01:00
目前只支持bno对吧?啊,只支持can,那我们这边写一个from bno,然后呢,Type是can,这个是安装的IP,那我是装在哈杜ER1,你们改成自己的IP地址端口,默认就是五个幺,这个是在can耐尔配置文件里面的can等properties,一般我们也不会去改啊,没改就是五个一,然后destination这个我们不是修改的吗?修改成为dori load啊,我们是不是创建了这个实例的文件夹呀啊目配置文件的文件夹我们创建的啊,然后我之前my circle是不是创建了一个新用户叫K,密码也是can,对不对啊,并且之前啊,这个用户是创建过授权过了啊。那这个就行好到这呢,你以为万事大吉了,来是吧,来我们来登录一下,我们恢复一下啊。我们之前一直用test用户操作啊。
02:02
密码test,然后use test DB啊,因为我刚才退出去了show tables。然后来。诶。我要把这个语句拿过来。你会发现什么呢?报错了,他说什么my circle同步作业马上就来了,其实这是为什么这个同步功能默认是关闭的,我们需要将它打开才可以。啊,需要将它打开,那这个配置文件啊,这个配置项,怎么这个怎么打开呢?需要在fe.com里面去指定一个参数,把它改成处。那你想想fe的配置文件要改?那我改完要生效是不是起不是要重新启动F1啊,要重启啊,你不想这么麻烦对吧?啊,它有语句可以实现啊,那这边我对文档稍作的修改,大家看一下配置目标表这里。
03:05
第二点,之前我们这里写的是需要开启这个batch delete功能,对吧,现在其实是默认就是激活的,所以不用我们去做,但是我们要开启这个同步功能。啊,在F fe.com设为处,如果我们不想修改配置文件并且重启的话,我们可以执行这个命令,你看in set fronten的con设置f fe的配置项啊,然后呢,将这个配置值设为处,这个就是什么开启同步作业的功能啊,那我们目前是test用户对吧?你执行不了啊,你看一下他说什么。权限不够对吧,所以我们要退出,呃,然后呢,登录的用户切换成root啊,回车输入一下密码好来这个时候我再去set一下。
04:03
你看。这就OK了嘛,对吧。那也可以退出啊,那比如说我们重新用test的用户啊。那我们尝试一下,再看一下这个能不能创建呢?还是说这种设置方法只能临时生效呢?你看OK的,虽然我们是root账号执行那个命令设置,但参数呢啊,并不是临时生效的,你看我现在切成test用户,它照样执行成功了,说明同步功能确实开启。对吧,这是一个小细节啊。而且这个呢,官这个事儿,官方文档上面没写啊,也就那边可能呃,比较粗糙啊,那我们按照我们这个操作是OK的啊,就是这个方式啊。那么大家注意这个blog load的这个功能是0.15版本才有的,如果你不呃0.15几以后版本才支持,如果早于这个版本你就不要试了啊,这肯定不行的。好了,那现在作业已经创建了,那怎么去查看呢?我们用一个受就可以了,那有两种方式,一个是展示当前数据库的所有的同步作业状态,另外一个是什么展示指定数据库的,加一个from数据库名啊,那我们就直接当前数据库就行了,受同步作业就可以了。
05:35
啊呃,Test,我们先进入到test DB啊,然后再瘦。那么大家可以看到啊。这边有一个pencil是我之前,呃,我我做测试的啊,我把它取消了,这个不用看了啊,我们直接这这这个不看啊。直接看下面这一行。那么可以看到这里有什么呢?啊,一个作业ID,还有作业名,作业名是不是我们建立同步任务的时候指定的啊,我起的叫job本一啊,然后类型呢是can,呃,状态呢,目前是一个running状态啊,然后它的channel呢,就是我们指定的,这是MYSQL的表,然后进入到Doris这张表啊,这是我们指定的,好,这是可以去查看他的状态,并且我们之前剩的那张表是没数据啊。
06:30
现在我们再来看看啊,这张表有没有数据了,对吧,有数据说明已经从哪里啊,从买搜狗同步过来。诶,你看数据有了啊,是不是表示数据同步过来了,并且呢,我们这个同步作业它是你不取消的话,它是一直running的啊,它是不间断一直运行的,因为它CDC嘛啊,实时增量去同步的那。这个状态的介绍咱们就不讲了啊,接下来讲一下怎么来控制我状态的启停。
07:07
啊,我们先来观察一下这个现象吧,什么叫实时对吧?呃,这样我们再往my circle这张表继续插入数据,那我们再观察Doris这张表数据有没有同步到,对吧?我们先测试吧,先测试啊,这边是my circle啊哈,表一。啊,这张TB1啊,现在有三条数据,我再插入,呃,一个什么呢?四四对吧,现在只有123嘛,我再插入一个四好了,我们观察Doris这边。好,我们同样再查一下。要等待一会儿对吧,他可能没那么快,你看再查。你看我刚才查的时候还没有四呢,再查等一会儿他就是不是把四这条数据同步过来了啊,这种就是一个CDC啊,实时数据捕获。那接下来我们讲一下怎么控制这个作业,我们说了它不间断的运行啊,那如果我想取消怎么办?用stop命令啊,Stop同步作业后面跟上一个什么作业名就可以了,给大家演示一下啊,比如说我要把刚才这个作业停止掉。
08:18
啊。我先不停止,我们先演示下面这个啊,大家知道是这个命令就行,我最后再来演示,另外除了停止,停止就是取消嘛,把作业取消掉,还有一种叫什么暂停啊,暂停暂停不是取消啊,只不过现在不运行先啊挂着啊先挂着,那能暂停就能什么就能恢复。那我们来做一个演示,怎么演示呢?第一步我先将同步作业暂停。第二步,往往买搜狗里面新增数据。然后观察Doris,这个时候它是不是没法同步到,因为同步作业暂停了,好,然后过一会第三步我将同步作业恢复。
09:00
对吧。他又恢复又会去同步新的数据,那第四步我们看到看一下新的数据在Doris表里面能不能找到啊,我们按照这个逻辑来试,来我们先开始啊。先拷贝一下,呃,然后作业名应该是剧本一对不对好。我们给他暂停,然后瘦一下。Show一下,你看目前这个job本一的状态是什么暂停状态?好,那我们往MYSQL里面插入一条数据啊,五跟五好,插入了再回到Doris,我们再查这张表,能查到五这条数据吗?你可能说没那么快,要等一会儿对吧,其实没用,你你继续等来,你继续等,你再怎么等也没用,因为我们任务已经暂停了,对吧,这就是暂停的用法,它不是取消,那接下来我们可以把它恢复啊,用这个命令resume啊,同步作业,然后跟上作业名来。
10:08
交易。好,再瘦一下啊。受一下同步作业状态,你看又开始running了啊,又开始running,这个时候我们来查表,看一下五这条数据能不能拿到啊。要等一会儿吧,他会从暂停的位置继续同步啊,你看他发现暂停之后啊,啊,又有一个五还同步过来了。那我们继续再插入个六,现在作业又运行了,是不是应该这边六一会也能查到了。对吧,我们看一下多久大概。你有了吧?现在六又有了啊,作业正常了,好,接下来我们演示将作业停止啊,这就不是暂停了,是真的把它停了,就是cancel取消掉了啊,用stop停止作业就一好。
11:04
这是真正停止了,我们看一下状态现在变成什么呢?Cancel对吧,我们show看一下啊,现在是cancel状态。OK,这个就是我们b log load这个功能的演示。
我来说两句