00:00
那我们先来尝试着用flink来同步到have,这边是怎么一个同步法呢?其实就是我们建了一张忽地表啊,用flink建了一张whodi表之后呢,我们去做了一个insert,操作正常,是不是插入到忽底当中了啊?这个时候它是支持双写的,也就是说既同步给who底,又同步给have,当然它同步给hi,不会同步数据,因为它的数据都是写到哪里呢?HDFS,那hi这边只是建立了一个外部表。啊,就是这么一个流程,他会同步一份原呃数据给原数据给hi,让hi去创建自己的原数据跟他对应起来,那这边我们只需要加几个参数啊,呃,一个是什么呢?开关have同步,把它置为处,那就表示要同步到have了,那其他的有一些参数得指定啊,一个是have,呃,它创建原数据的表明have的,呃是哪个库下面的哪个表,这两个参数接下来呢,是同步的模式,呃,默认是JDBC啊JDBC写法比较麻烦,还要写多个啊,那咱们写一个HMS基于原数据服务就可以了。
01:15
那接下来就是原数据服务的地址,就是那个9083啊9083,另外要提醒的一点就是Mo的表方式,在没有生成PA文件之前,Hi你是查不到数据的,也就是说你在hi当中查的话,只能查文件的数据啊,所以我们用cow来演示,那下面我们快速来感受一下啊,我创建一张T10T10啊,就这么简单的,然后呢,咱们手动插入啊,让它生成这是cow,然后就开启表明T10T10,也就是说到时候have里面的表明还是叫T10啊,我们做个区分吧,呃,我叫H10吧。
02:00
Have的表名叫H10啊啊,然后have库是用的default库啊,然后这是我的云数据服务地址,我已经启动了啊对吧,好,那么快速的来做一下,呃,我这个circle client还在呃,粘贴。啊,又没有主见啊,又忘了主见。你们天天忘了。在这烤吧。他不是这个。这里啊。好,创建一下。好,那这一张表show tables,那这个现在是在了,对不对。好,那有了这一张表之后呢,咱们去插入数据,接下来我们进入这个have这里啊,现在是default对吧?Show tables啊,这边目前还没有那张H10,那接下来我们insert two啊,T10VALUES啊,插一条进去。
03:10
嗯,先看一下就DFS生成了没有啊呃,我是在忽Di flink啊,不是在catalog路径啊,是忽dlink,好刷新T10有了对吧?啊,有个分区是一啊,然后里面有个PA的文件啊,那么接下来我们就来have里面看一下so tables,这个时候大家可以看到have是不是同样也有一张表叫H10啊,但是这时候你直接去查的话会有一些,呃,你看能不能查到吧。是不是可以查到。这个是氦服表啊,同学们,这一张是氦服表,它是一张外部表,因为它是有自己的原数据,那查的是HDFS,那么大家看到自动同步过来的hi表是不是有五隐藏列都有啊这么几个,这五个对不对啊。
04:04
那在忽底当中我们也可以查,现在是以护底的方式来查,就是T10啊。啊,这是table的显示结果,无所谓啊。不过怎么这么慢呢?啊有了对吧,啊,也就这个就是咱们同步多简单啊,也就是说我们在往护底插的时候,诶,同时建立一张hi的外表啊,这个呃,就hi也有它自己的原数据啊,这种就是双写啊。
我来说两句