00:02
那我们来看这个创建hi外表,那一般来讲我们用Spark或flink写入的时候,并且开启同步have的时候,这个时候已经有have外部表了,在我们前面都看到过了,呃,那么这个时候我们通过B代可以查,前面我也查过了,对不对?呃,那如果写入引擎当时你没有开启自动同步,那接下来可以利用hi忽底的一个客户端工具,同步have的工具这么一个脚本进行同步啊,那具体怎么用呢?我们呃到6.6再来说吧,接下来我想说的是查have表的一些注意事项啊,前列我们虽然是查了,但是我们是可以区分不同的。查询方式的,我们知道护理表有什么快照查询,增量查询对不对啊,还有实时查询啊,那么查找之前大家要注意要设置have的,为什么呢?为为have。
01:03
哎,那个叫什么来着。就下面有啊,就要么你用啊。要么你用whodi combine,也就是说只有这两种啊,你才能正常的去做一个查询,那我们自动同步的话,它默认就已经帮我们设置好了这个improve啊。所以那个没问题,那接下来呢,如果这个have的输入form不对,不是这两个,那就会报这种错误。这个就说一下啊,那如果遇到这个错误,你就要知道是input format不对啊不对,好了,那除了这个之外,如果我们要做增量查询,可以对表级别设置参数,第一个呢,参数就是忽底点,然后跟上一个表明啊,这个是表明啊消费的模式你可以指定为增量啊增量,那这个呢,除了增量呢。呃,也可以设置为s snap shot,对吧?快照查询啊,或你不设置,它默认就是快照查询,第二一个呢,就是呃,Start time STEM,就是如果为增量的时候,哎,我可以指定增量的起始时间点,这个跟忽底那个用法是一样的,还有呢,就是消费的最大提交数啊,就是什么意思呢?比如说你指定一个开始的时间,接下来呢,你要从它往后查询几次,Commit。
02:31
对吧啊,就要查询的增量commit次数就从起点开始往后几次啊,就这个意思啊,咱们hift没法去流逝吧,对不对,没法流读吧啊所以汉法还是只能是P的,所以一定要指定一个范围好了,那下面是具体的一些说明啊,如果是cow表,呃,那就是第一个啊,实时视图,也就是快照查询的话啊,就是要注意这个ma啊,为这两个之一即可啊,然后正常的查,那前面我们也查过了,我现在呃就就现在我默认的就是了,对不对。
03:06
呃,我我前面不是查过一个flink同步过来的吗?啊H10吧。对吧,那这个就其实就是一个实时视图啊,就快照查询啊,那增量视图的话,就是我们刚才讲的,诶除了之外,呃,再设置一个为增量,还有呢,起始的地方,还有往后查几次就可以了。那这个时候呢,我们去查的时候啊,可以通过VR,然后呢,这个隐藏列是commit t大于什么什么什么啊,这边是反引号啊,啊不是单引号啊,因为它是隐藏列啊,你我们要反引号啊,我标一下红码啊。啊,这么去用就行了啊,我现在只只有一个提交,我也懒得去做这个事儿了,这个比较简单,大家自己动手去做就行,这是Co表,接下来是Mo表,呃,Mo表它会映射成为两种表啊,一种是什么RO,一种是RT啊,那如果是RO的话,这个就是什么呢?读优化视图,什么叫独优化?还记不记得啊,我们说查询类型的独优化是针对MR而言,它查询的是最新的PA文件,也就是说log.log是查不到的,要注意这一点,而且前面我们一开始也讲了,如果。
04:29
表你只有点log没有,这个时候你have表外表是查不出数据的啊,这是读优化,另外一个实时视图呢,就是RT了啊,其实就是快照查询啊,最新数据啊,最最新的全量数据,那就跟我刚刚查的那个样子是一样的啊。类似的。好了,呃,那增量的查询一样,还是设置这么几个参数啊,用法都一样啊啊,这一块我也不不想去啰嗦了啊。
05:03
嗯。另外就是关于这两个,就是这个whodi combine这种格式啊,最好只用于RT表的增量查询。呃,其他的也可以用啊。因为啊,我们在RT的增量查询完之后,最好设置为普通的have啊,或者普通的have啊,用于其他表查询啊,就是一些使用上的一些小注意吧啊。好吧,那这些是一些说明啊,那么大家可以自己尽情的去玩一下啊。
我来说两句