00:00
好的,刚才呢,我们已经打包结束了,接下来呢,我们要扔到集群上做一个测试,在测试之前要保证集群上将我们测试环境得打开,呃,那么首先呢,由于我们开启了check个point啊,而且我们用的状态后端FS,所以我们要保证IDFS得开启,另外得有弗Li的执行环境,那可以选择stand,也可以选择雅安,这个呢,没有任何的区别啊,那我这个地方呢,启动是雅安,而且我配置了高可用,所以我在这个当中又启动了一个zoo keepable进程,所以给大家看一下,在这个当中呢,第一有我的namenode datanode,还有data notde,对吧,这是我们的HDFS集群。那接下来呢是ZK啊,ZK的信息我起了三台,另外就是我们弗link本身的,我用的是三罗姆式,所以呢,这边啊,他me runner3台机器各有啊,然后我们每一个节点呢,配的是两个slot,一个to me里边我配的是两个slot啊,等会我们可以来看到这个当中来。
01:06
哎,总共呢,有六个slot啊,总共有三个task manager对吧?好呃,接下来呢,我们要做测试,所以呢,我们先把JA包做一个上传。我给它扔到我们的flink stand alone这个目录底下,然后呢,将程序扔进来。呃。把认证完之后,我们可以去启动啊,那我们想一下启动命令。直接启动我们的程序就好了。首先指定我们的。集群的地址啊,8081-C,我们拿一下我们的全类名啊,Copy reference。好,刚才我是将数据呢,是扔到当前这个目录底下的啊,我直接CD进来,所以扔到这个目录底啊,我直接用点杠叫I硅谷怎么一个炸包对吧,好来。这是谁?
02:01
在运营过程当中呢,我们可以切到我们的8081端口来查看我们的数据。这是我之前做的测试,有一个cons掉的啊,好,此时呢,任务已经运行成功了啊一个对吧?好,那这边呢,Running任务呢也已经开启了,所以我们可以找一下当前这个任务运行到哪个task manager上,大家点开,点开好以后我们可以看到这点,诶呃,我刚才说了每一个T来配的是两个slo,而此时102这台机器上呢,它只剩下一个free slo。只验一个说明呢,用了当前102上的一个slot啊,所以我们的日志呢,就会打印到这print的数据,点开ST out。在这个当中呢,我们能看到此时里边有两条数据啊,因为我们做的是一个初始化操作,而此时我们在买表,里边是有两条数据的,刚才我做测试,自己做测试的时候加了一条,好好,那此时呢,我们再加再添加一条数据,看能不能够生效1003。
03:07
所以呢,假如说我们叫王五,然后没有。保存,呃,那么接下来呢,在我们日志当中,我可以做一个刷新。诶,此时呢,王五这条数据1003也找到了,对吧,它的主件啊,可以单独保存的103这条数据呢,那我们去看到我们具体的数据,它肯定是一个after在这。王五,没有没有问题对吧,当然大家在下面做测试的时候,可以把删除和修改都做一个测试啊,那这个地方呢,我们就不做测试了,接下来我们要做一个什么呢。看看它能不能做到断点续长的功能,也就是说它只是第一次做。说实话以后呢,不再做了啊,所以呢,我们要找一个checkpoint或者说point做数据的恢复啊,那这个地方呢,我采用point的方式来。
04:00
嗯,这边呢,我再开启一个端口啊,进到我们的程序当中。Link stand了,哎,进到我们这个Li的环境底下,然后呢,我们去开启一个pointlink,然后呢叫point。啊,最后我们可以指定我们的drop ID啊,来drop ID呢,在这个地方我们可以拿到rolling job点开,点开好以后呢,这个地方其实就是我们的一个dropd啊。拿着,然后接下来呢,我们需要给一个地址,就是说当前这个数据保存到哪HDFS问号,我还是给它扔到HDF上。好,那我是8020端口,嗯,这个地方呢,我们叫CDC test,我知到这个目录,然后呢,叫point之前我们有一个CK目录对吧。啊,CK目录呢,我们也可以,其实可以带大家看一下,在这个当中CK目录。他自己呢,会给我们创建好。好,此时呢,刚才我们看到ID是他来叫30018 3018这个地方已经做了34次,因为我是五秒钟一次,五秒钟一次对吧,好刷新它还在不断的更新当中,那从这个地方其实也可以拿它的一个多白D。
05:13
好,但是这个呢,我们就不保存到CK里边,我们保存到point里边,OK,我们就加这个名词来运行。啊,其实修的算法呢,跟我们的拆换的算法是一样的啊,那此时呢,它告诉我们已经保存好了啊,已经保存好了,这边呢,我们可以去看一下。Point,诶,这就是我们point的地址,里边呢,保存的数据跟checkpoint其实是一样的,那此时呢,他还告诉我们了,可以重启我们那个程序啊,从当前这个节点当中,也就是说这个地址。也就这个地址可以重启,好,等会儿呢,我们做一个重启,现在呢,我把任务给它挑掉。啊,但是我要保存一个东西啊,因为了看对比效果,来进到这个里边来,我给大家记录一下,当前呢是第14行输出,如果接下来我们看到是第十五行输出,因为15号是空的,对吧,很有可能下一次任务呢,还在当前102,所以为了日志我们区分开,我给他做一个有一个证据十五行是空的,接下来我们就从第十五行输出开始看对不对,好,这个呢,我们先保存在这,等会呢,我们再去拿这个数据去看就行了啊呃,此时呢,我现在把这个任务给它挑掉。
06:29
给它取消掉。那这个时候来测它断点续传很简单,我们给它再添加一条数据,1004,此时呢,叫赵六。然后呢,我们叫飞。保存,那此时呢,我还想做一个视频,我把这个王五这张数据我做一个修改,叫王五五对吧,同时我删除李四这条数据。大家记住我的操作,我做了三件事情,第一增加了一条,修改了一条,删除一条,也就各一条,对不对啊,而且是在我将任务关闭之后,也就是说现在没有运行的任务关闭之后,我们所做的一件事情,好这个时候呢,我将任务重新启动起来,好,那有同学说可能说重新启动,那直接安上直接启动就好了,注意不行,我们一定要加上什么内容呢?我们c point地址。
07:24
啊,加上C换的地址,这一定要注意好杠S,那C换的地址呢,我们可以从这拿,当然你从IDF拿也可以啊,这边比较方便一点,我就直接从这拿一下啊,中间呢,有空格没有问题,好加一个杠S来指定一下我们当前这个程序从这个位置开始恢复走。等待任务的一个提交完成。好,这边呢,已经提交上来了,我们可以去看我们的任务,这边又有一个正在运行的任务了,对不对,我们看一下他当前用的,诶用的是103,那其实这个保存就没有意义了,因为我是害怕他又跑到102上去运行,所以我们要需要把这个证据留下来,那如果103那就没有问题,因为之前我们的任务并没有在运行在103上过,对吧?好,那我们点进去还是系统输出来,此时看我们的数据。
08:21
呃,那这个时候呢,看是不是有三条数据。啊,因为我们刚才增删改各做了一条,我们来看啊,第一条我们是增加了一条赵六来看,赵六新增1004,第二条修改了103,王五为王五五好来看,第二条是确认103BEFORE数据是王五阿的数据,王五没有问题,那么第三条呢,我将1002这条数据做了一个删除来看,呃,这个数据当中呢,我们直接找op其实就好了啊,再加呢,O,哎,它是一个D啊,找DD的操作是不是它只有before数据,并没有after的数据,那也就是说其实它官方到写的倒没有问题,注释里边initial指的是第一次读取的时候会加载全表,然后切到B帽最新位置啊,这个第一次。
09:11
应该如何理解?啊,指的是对于同一个任务,你得挂上之后从point或checkpoint去恢复才可以叫不是第一次,只要你没有做checkpoint,或者说你做了checkpoint,但是没有从checkpoint或者point去恢复,那么都是第一次。因为你没有上一次的结果对吧,那就相当于是第一次啊,好的,这是我们所看到的这样的一个现象,也就断点续传的一个功能,对吧。
我来说两句