专栏首页数据科学中文社区一分钟看完 Hive 体系结构

一分钟看完 Hive 体系结构

先拍图(Hive体系架构),然后对图内各个组件进行简单介绍。

Hive提供了三种用户接口:

①CLI(command line interface):CLI启动的时候会同时启动一个Hive副本;

②JDBC客户端:封装了Thrift,java应用程序,可以通过指定的主机和端口连接到在另一个进程中运行的hive服务器。ODBC客户端:ODBC驱动允许支持ODBC协议的应用程序连接到Hive。

③Web GUI接口:通过浏览器访问Hive;

Thrift服务器:基于socket通讯,支持跨语言。Hive Thrift服务简化了在多编程语言中运行hive的命令,绑定支持C++,PHP,Python以及Ruby语言。

解析器:

  • 编译器:完成HQL语句从词法分析,语法分析,编译,优化以及执行计划的生成。
  • 优化器是一个演化组件,当前它的规则是:列修剪以及谓词下压。
  • 执行器会顺序执行所有的job,如果task链不存在依赖关系,可以采用并发的方式执行job。

元数据库:Hive的数据由两部分组成,数据文件和元数据。元数据用于存放Hive库的基础信息,它存储在关系数据库中,如mysql。元数据包括:数据库信息,表的名字,表的列和分区极其属性,表的属性及所在目录等等信息。

Hadoop:Hive的数据文件存储在HDFS中,大部分的查询有MapReduce完成。


Hive运行机制:

①用户通过接口连接Hive,发布HQL

②Hive解析查询并制定查询计划

③Hive将查询转换成MapReduce作业

④Hive在Hadoop上执行MapReduce作业

本文分享自微信公众号 - 有关SQL(SQLHub)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-09-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Spark 高难度对话 SQL Server 后记

    GIIS (Global Information Industry Summit)峰会已经结束一周了。

    Lenis
  • 出色的 SQL 编码师成长进阶路线

    更高一级的工程师,需要克服的困难,读的书,读的 paper,会逐级加深,比如你还在读数据库实现的时候,人家已经在研究分布式存储的原理与实现了。

    Lenis
  • Hive 编程专题之 - 表值函数

    array, map, struct 都有自己的定义方法,而他们的调用方法基本都相同:

    Lenis
  • 「大数据系列」:Apache Hive 分布式数据仓库项目介绍

    Apache Hive™数据仓库软件有助于读取,编写和管理驻留在分布式存储中的大型数据集并使用SQL语法进行查询

    首席架构师智库
  • Hive概念以及架构介绍

    Hive架构包括如下组件:CLI(command line interface)、JDBC/ODBC、Thrift Server、Hive WEB Interf...

    俺也想起舞
  • hive学习笔记——Hive表的创建

    初衷:以前看过Hadoop方面的材料,但是一直以来都是与实际应用脱轨,现在有机会接触到真正的Hadoop集群,还是被他的性能所震撼,利用这个机会认真重新学习下...

    zhaozhiyong
  • hive学习笔记——Hive表的创建

    初衷:以前看过Hadoop方面的材料,但是一直以来都是与实际应用脱轨,现在有机会接触到真正的Hadoop集群,还是被他的性能所震撼,利用这个机会认真重新学习下...

    zhaozhiyong
  • 数据仓库Hive 基础知识(Hadoop)

    Hive是基于Hadoop的数据仓库工具,可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理,提供了类似于SQL语言的查询语言–HiveQL,...

    小莹莹
  • 如何在 Flink 1.9 中使用 Hive?

    阿里巴巴技术专家,Apache Hive PMC成员,加入阿里巴巴之前曾就职于Intel、IBM等公司,主要参与Hive、HDFS、Spark等开源项目。

    用户6259908
  • Hive基础(1)

    Hive基础(1) Hive的HQL(2) 1. Hive并不是分布式的,它独立于机器之外,类似于Hadoop的客户端。 2. 元数据和数据的区别,前者如表名、...

    王小雷

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动