00:00
好了,同学们啊,那咱们接下来给大家讲一下,咱们这个K点的一个重要的功能,就是那个查询下压啊,在这个3.6章节咱们讲了啊,由于K点没有设置这个上下压,你会发现啊,咱们这个写这个circle啊,局限性非常大,你只能按照我们已构建的Q补来说写circle,如果你的circle里边是吧,稍微有一点跟那个Q不一样,就会报错。那我这经常报错肯定不行啊,所以说啊,人家K点给咱们提供这么一个功能,就是设置咱们这个查询下压,查询下压啥意思啊,就是如果说啊,它有一个路由层,我刚才讲过了啊,在那个架构里边有一层叫这个路由层啊,路由层也是什么意思啊,如果说你这个circle啊,能够在咱们的已有的Q补里边查出来,那我就直接去QB里边查,那如果对于没有QB能查到结果,那我这个K04.0是支持将这类circle口是吧?下压到谁呀?下压到咱们那个Spark circle里边啊,利用咱们那个SPA circle那么一个引擎去直接读取咱们的have原声域,我直接去查也可以啊,那这个功能咱们之前是没有讲过的啊,咱们之前那个K的3.0应该是没有讲的,为啥,因为那个K的3.0啊,它底层的一个下压,它只能下压到have的MR里边。
01:16
那刚才咱们已经演示过了啊,那这个,那咱们的这个MR跑这个速度相当慢,而咱们这个K的这个速度也比较快,由于你这个速度差异太大,如果说呃,你在K3.0这上面是吧,你开启了产能下压,那这个咱们这个用户啊,在前端这个界面,它的个体验会不是很好外体验不是很好啊,因为我这个用户啊,写一个circle,我都不知道你这个circle是秒级返回还是半个小时里遍返回,就是我这一会儿慢一会儿快是吧,那我这个受不了啊,就是一会快啊,一会特别快,一会儿特别慢,受不了,那为啥这个4.0又又推荐咱们开启呢?因为咱们这个KN4.0啊,它支持就它的这个查询引擎,由这个MR换成了SPA circlele,而咱们这个SPA circlele啊,也是运行在内存里边的一个查询引擎,是一个分布式的,所以说啊,咱们这个SPA circlele啊,这个速度也是比较快的,就它的速度啊,虽然没有K的那么快。
02:09
但是他的还是比较快的,咱们这个差异就没那么大了,所以说啊,在公司里边,我们建议大家把这个K点的这么一个查询下压这么一个功能,你给我开起来。那怎么开启这么一个功能啊,首先啊,我们需要改K的一个配置参数啊,在这个配置文件里边是吧,你需要把这个K这么一个查询下,压它的一个参数,你给我放开啊,那咱们这样首先第一步啊,先把咱们这个参数开启好吧啊。那首先啊,我们来到咱们的这个kidding的安装目录啊,那接下来啊,我就退掉我这个开户后端啊,来到我们这个kidding的这么一个安装路径,好吧,在咱们这个king的这个安装路径里边啊,咱们有一个看目录,看复目录里边是不是有这么一个啊keying点大家打开这么一个keying.purpose好吧,在咱们这个killing.purpose里边,你往下翻啊,就咱们这个参数的最后啊,就是一个查询下压这么功能是吧,叫做carry push大。
03:07
查询下压,那如果说你想开启咱们的一个查询下压了,你只需要把我查询下压的第一个参数这个注释你给我放开,哎就可以了。能听懂吧,同学们你看啊,咱们这个K它的一个产品下家,哎,在咱们这个4.0这个版本,它用的就是咱们这个Spark,是咱们这个Spark circle这么一个时间类啊,你只需要哎把这么一个参数你给我放开就可以了,然后咱们直接WQ保存,同学们啊,注意由于咱们当前啊修改了咱们的这个。King的一个配置文件,那当前你想让这个配置参数生效,你怎么办呢?你要么重启kin啊,如果你不想重启kin,你干嘛呀,你来到kidding的这么一个系页面啊,就C是吧,在咱们这个kding的系统页面里边有一个什么呀,他有这么一个。
04:03
啊叫reload config叫重新加载配置文件这么一个选项,你给我点这个reloadfig也可以使咱们这个配置参数它生效啊,就是不管不管怎么着啊,你得让咱们改的那个参数,你给我生效才可以,那那我们刷新完以后呢,我再次打开啊,咱们kid的。这么一个。界面啊,在K那个界面里边是吧,我就可以书写咱们刚才circle了啊,注意啊,当前你要选择一个first q在这个里边啊,我们我们把咱们刚才写那个circle你给我查一查,好吧,咱们刚才是不是写这么一个circle啊,看一下啊,咱们刚前啊刚咱们刚才写这么一个circle,在这个circle里边我说过啊,注意啊,还不是这个啊,我们找简单一点吧,咱们写上一个那个D内那个啊,咱们是不是有一个D内那个,咱们说了啊,按照D内啊去做咱们的那个查询,它肯定是没问题的,因为这个词好啊,在咱们这个cub里边是已经有的啊CU be是吧,那咱们说了啊,在咱们那个使用的注意事项第一个里边,你你必须是join,如果你写一个left,是不是会报错啊?
05:09
那现在啊,我开启了那个查询下压,那这个时候你再写列转,它应该就不报错了,好吧,看好了啊,由于我开启了那个查询下压啊,那么一个功能,下压那么个功能,那这个时候啊,这个circle它在那个当前的QB里边,它找不到,它就可以下压到咱们那个拉circle去执行,那这时候啊,我运行你发现啊,咱们这个circle稍微慢一点,因为它底层要跑SPA circlele了,哎,它跑了三秒啊,它不是那个亚秒了,是三秒,但不管怎么着,咱们这个答案出来了,看到没有啊,我这个smart口也是可以跑出来的。那除了这个以外呢,大家点开这个系统,在系统里边是吧,是不是有个spider啊,你可你给我打开这个spider,你可以直接进到咱们那个SPA,那个kidding SPA circle,那么客户端你发现啊。在咱们的这个drop补的这个描述里边,你是可以看出来哪些circle是直接通过Q补拿的,诶哪些circle是吧,是通过查询下压查的啊,我要讲一讲啊,大家现在跟小白也已经看出来了,如果说你的描述里边是直接从咱们这个result plan是吧,从咱们这个结果计划表里边收集的。
06:20
那就说明是直接去你那个购物定的客户里边拿的。那如果说你的那个桌啊,是查询下压咱们查出来的,那咱们这个描述就是什么呀,就是Spark circle客户端啊,Collect艾Spark circle客户,也就说明咱们最后一次这个circle是吧,是通过咱们这个查询下压,他自己通过一个单独的一个Spark circle,你给我单独跑出来的啊,通过这个啊就明显能看出来我下边这些。啊,因为那个时候啊,我还没有开启这个叉下压,所以说啊,我我在咱们在开启之前呢,所有的都是直接从科普里边拿的,而我一旦开启了这个叉杀以后呢,我这个我这个K就支持跑这么一个swa circle,哎,来通过这个swa circle是吧,直接查询咱们这个have的原数据了,那一旦我开启了这个查杀压,我在这个K里边写这个circle,也就不用再那个小心翼翼了,好吧,我们刚才是不是写这个left呢?现在啊,你不仅可以写level之了,你还可以写别的了,就比如说这个时候啊,我们把这个员工表啊,跟咱们这个部分表,你给我做一个调位。
07:22
他应该也不报错了吧,我把这个员工就把这个把这个维度表在前,市面在后啊,你写这么一个circle口点submit,哎,他也可以查询下样了,没问题吧,你除此之外呢,你还可以按照什么呀,你还可以按照咱们那个location啊,就是注意啊,在我们之前按照这个location这么个字段去统计,是不是会报错啊,那现在啊,你再次按照这个location,你给我查,它应该也也不报错了是吧,咱们就支持把这种circle,咱们给它下压到这个SPA circle去执行了,你看我这个SPA circle这个速度啊也是比较快的,我就可以按照你这个位置信息,我给你求出来你每一个省份的它的这么一个工资和,那除此之外呢,那咱们那个,那咱们那个奖金和应该也可以求了是吧,我还想求一下你的每一个部门,每一个这个位置的这么一个奖金和是吧comm啊,那这个多量值是吧,在咱们的Q股里边没有,那我就下压呗,我就下压到S去执行呗,是吧,那咱们接下来再点sum。
08:17
你会发现啊,像咱们刚才这种啊,报错的时候他都不报错了,就是因为咱们开启了咱们的这么一个查询向下,所以说啊,这个功能每个小伙伴都需要开启一下,因为它非常重要,好吧,你只有开启了这么一个查询下压啊,我觉得啊,咱们这个K点才有这么一个使用的这么一个,呃,前提啊,你想把这个K点是吧,作为这么一个计息查询这么一个工具啊,如果说你这一一查就报错,一查就报错,那咱们这个使用性是相当激烈的,那那那我一旦开启了这个查下压是吧,我就是能查的我就去QB里边查,不能查的我再用那个SPA circle啊,用咱们那个Spark circle去have这边查啊,那这两种方式我的速度都是比较快的啊近。
09:03
啊,开启了这个查杀以后呢,咱们这个K就可以作为这么一个比较优秀的计息查询这么一个工具了,好吧,啊,那咱们这个查询下压,我就给大家讲到这里啊。
我来说两句