大数据入门基础系列之Hive驱动器Driver之优化器optimizer

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

在前面的博文里,我已经介绍了

可以看得出,对于Hive的Driver其实是有3种途径的。

即(1)CLI (2)JDBC/ODBC (3)Web GUI

对于

Hive源码分析:CLI入口类

推荐博文

http://blog.javachen.com/2013/08/21/hive-CliDriver.html

无论使用CLI、Thrift Server、JDBC还是自定义的提交工具,最终的HQL都会传给Driver实例,执行Driver.run()方法。从这种设计也可以看出,如果您要开发一套自定义的Hive作业提交工具,最好的方式是引用Driver实例,调用相关方法进行开发。

而Driver.run()方法,获得了这样一个HQL,则会执行两个重要的步骤:编译和执行,即Driver.complie()和Driver.execute()。

对于Driver.comile()来说,其实就是调用parse和optimizer包中的相关模块,执行语法解析、语义分析、优化(回想一下大学时的编译原理,编译的过程是不是语法分析、语法解析、语义分析);

对于Driver.run()来说,其实就是调用exec包中的相关模块,将解析后的执行计划执行,如果解析后的结果是一个查询计划,那么通常的作法就是提交一系列的MapReduce作业。

对于

Hive Driver源码执行流程分析

推荐博文

https://segmentfault.com/a/1190000002774731

hive其实做的就是解析一条sql然后形成到mapreduce任务,就是一个代码解释器。hive源代码本身就可以分为ql/metasotre/service/serde 这几块;其中

parser:语法解析器和语义分析器,将SQL转化为执行计划。

optimizer:优化器,包括执行计划Operator图的改写(逻辑优化)和Task图的改写(物理优化)。

exec:执行器,作业提交和执行相关。

udf:Hive内置的用户自定义函数,包括操作符加、减、乘、除、与、或、非,常用数学操作(sin、cos等)、字符串操作(substr、instr)、聚合操作(count、sum、avg等)等。

以查询的执行为例,整个Hive的流程是非常简单的一条直线,由上到下进行。

本博文的重心是Hive驱动器之优化器

优化器:对逻辑执行计划进行优化。

优化器:优化HQL的组件。

优化器(optimizer):通过逻辑策略构造多途径并以不同方式重写。

优化器optimizer的功能如下:

(1)将多 multiple join 合并为一个 multi-way join;

(2)对join、group-by 和自定义的 map-reduce 操作重新进行划分;

(3)消减不必要的列;

  (4)在表扫描操作中推行使用断言(predicate);

 (5)对于已分区的表,消减不必要的分区;

(6)在抽样(sampling)查询中,消减不必要的桶。此外,优化器还能增加局部聚合操作用于处理大分组聚合(grouped aggregations)和 增加再分区操作用于处理不对称(skew)的分组聚合。

下一篇是

见明天的

原创 大数据入门基础系列之Hive驱动器Driver之执行器executer

http://www.cnblogs.com/zlslch/http://www.cnblogs.com/lchzls/

http://www.cnblogs.com/sunnyDream/

看完本文有收获?请转发分享给更多人

关注「大数据躺过的坑」,提升大神技能

觉得不错,请点赞和留言

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180108G0XL8700?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券