「大数据系列」:Apache Hive 分布式数据仓库项目介绍

Apache Hive™数据仓库软件有助于读取，编写和管理驻留在分布式存储中的大型数据集并使用SQL语法进行查询

Hive 特性

Hive构建于Apache Hadoop™之上，提供以下功能：

• 通过SQL轻松访问数据的工具，从而实现数据仓库任务，如提取/转换/加载（ETL），报告和数据分析。
• 一种在各种数据格式上强加结构的机制
• 访问直接存储在Apache HDFS™或其他数据存储系统（如Apache HBase™）中的文件
• 通过Apache Tez™，Apache Spark™或MapReduce执行查询
• 使用HPL-SQL的过程语言
• 通过Hive LLAP，Apache YARN和Apache Slider进行亚秒级查询检索。

Hive提供标准的SQL功能，包括许多后来的SQL：2003和SQL：2011分析功能。

Hive的SQL也可以通过用户定义的函数（UDF），用户定义的聚合（UDAF）和用户定义的表来扩展用户代码

函数（UDTF）。

没有唯一的“Hive格式”存储数据。 Hive附带内置连接器，用于逗号和制表符分隔值（CSV/ TSV）文本文件，Apache Parquet™，Apache ORC™和其他格式。

用户可以使用其他格式的连接器扩展Hive。有关详细信息，请参阅开发人员指南中的File Formats和Hive SerDe。

Hive不适用于联机事务处理（OLTP）工作负载。它最适用于传统的数据仓库任务。

Hive旨在最大限度地提高可伸缩性（通过向Hadoop集群动态添加更多计算机来扩展），性能，可扩展性，容错，与输入格式松散耦合。

Hive的组件包括HCatalog和WebHCat。

HCatalog是Hive的一个组件。它是Hadoop的表和存储管理层，使用户可以使用不同的数据

• 处理工具 - 包括Pig和MapReduce - 可以更轻松地在网格上读写数据。
• WebHCat提供的服务可用于运行Hadoop MapReduce（或YARN），Pig，Hive作业或执行Hive元数据使用HTTP（REST样式）接口的操作。

Hive 使用

Hive SQL语言手册：命令，CLI，数据类型，

DDL（创建/删除/更改/截断/显示/描述），统计（分析），索引，存档，

DML（加载/插入/更新/删除/合并，导入/导出，解释计划），

查询（选择），运算符和UDF，锁，授权

文件格式和压缩：RCFile，Avro，ORC，Parquet; 压缩，LZO

程序语言：Hive HPL / SQL

Hive配置属性

HIve 客户端

• Hive客户端（JDBC，ODBC，Thrift）
• HiveServer2：HiveServer2客户端和直线，Hive指标

Hive Web界面

Hive SerDes：Avro SerDe，Parquet SerDe，CSV SerDe，JSON SerDe

Hive Accumulo集成

Hive HBase集成

Druid整合

Hive Transactions，Streaming Data Ingest和Streaming Mutation API

Hive 计数器

Hive 管理

安装Hive

配置Hive

设置Metastore

Hive Schema Tool

设置Hive Web界面

设置Hive服务器（JDBC，ODBC，Thrift，HiveServer2）

Hive复制

Hive on Amazon Web Services

Amazon Elastic MapReduce上的Hive

Hive on Spark