Hive-原理解析

一、Hive 架构

下面是Hive的架构图。

在这里插入图片描述

Hive的体系结构可以分为以下几部分

1、用户接口：CLI（hive shell）；JDBC（java访问Hive）；WEBUI（浏览器访问Hive） 2、元数据：MetaStore 元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段，标的类型（表是否为外部表）、表的数据所在目录。这是数据默认存储在Hive自带的derby数据库中，推荐使用MySQL数据库存储MetaStore。 3、Hadoop集群： 使用HDFS进行存储数据，使用MapReduce进行计算。 4、Driver:驱动器：

• 解析器（SQL Parser）：将SQL字符串换成抽象语法树AST，对AST进行语法分析，像是表是否存在、字段是否存在、SQL语义是否有误。
• 编译器（Physical Plan）：将AST编译成逻辑执行计划。
• 优化器（Query Optimizer）：将逻辑计划进行优化。
• 执行器（Execution）：把执行计划转换成可以运行的物理计划。对于Hive来说默认就是Mapreduce任务。

二、Hive 工作原理

​ Hive 工作原理如下图所示。

img

1、ExecuteQuery：操作Hive接口，如命令行或Web UI发送查询驱动程序（任何数据库驱动程序，如JDBC，ODBC等）来执行。

2、Get Plan：在驱动程序帮助下查询编译器，分析查询检查语法和查询计划或查询的要求。

3、Get Metadata：编译器发送元数据请求到Metastore（任何数据库）。

4、Send Metadata：Metastore发送元数据，以编译器的响应。

5、Send Plan：编译器检查要求，并重新发送计划给驱动程序。到此为止，查询解析和编译完成。

6、Execute Plan：驱动程序发送的执行计划到执行引擎。

• Execute Job：在内部，执行作业的过程是一个MapReduce工作。执行引擎发送作业给JobTracker，在名称节点并把它分配作业到TaskTracker，这是在数据节点。在这里，查询执行MapReduce工作。
• Metadata Ops：与此同时，在执行时，执行引擎可以通过Metastore执行元数据操作。

7、Fetch Result：执行引擎接收来自数据节点的结果。

8、Send Results：执行引擎发送这些结果值给驱动程序。