HIVE入门_2

HIVE 是数据仓库,本质上也是数据库。

数据仓库

概念

就是一个数据库。

数据仓库是一个面向主题的(商品的推荐系统内容是商品的信息)、集成的(分散型地数据进行加工处理,原来的数据可能来自MySQL或者文本等)、不可更新的(主要为了决策分析,涉及到的操作主要是数据的查询,增加和删除用的少)、随时间不变化的数据集合,它用于支持企业或组织的决策分析处理。

结构和建立过程

数据源:

  1. Oracle,MySQL
  2. 文档资料txt
  3. 其他数据

数据存储及管理(ETL):

  1. 抽取(Extract)
  2. 转换(Transform)
  3. 装载(Load)

数据仓库引擎: 各种各样的服务器

前端展示:

  1. 数据查询
  2. 数据报表
  3. 数据分析
  4. 各类应用

OLTP和OLAP

数据模型

星型模型(商品推荐系统为例)

雪花模型(基于星型模型基础上发展的)

HIVE

传统的方式可以使用Oracle或者MySQL搭建数据仓库,这种方式数据保存在Oracle或者是MySQL中。

HIVE是建立在Hadoop HDFS上的数据仓库的基础架构。 可以用来进行数据提取转化加载(ETL)。 定义了简单的类似SQL的查询语言,称为HQL。 允许熟悉MapReduce的开发者开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂工作。 Hive是SQL的解析引擎,将SQL语句转移成M/R Job然后在Hadoop上执行。

HIVE的表其实就是HDFS的目录/文件(表是目录,数据是文件)。

HIVE的体系结构

HIVE的元数据

  • Hive将元数据存储在数据库(metastore)中,支持mysql、derby等数据库。
  • Hive中的元数据包括表的名字,表的列和分区以及其属性、表的属性(是否为外部表等),表的数据所在目录等。

HQL的执行过程

解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划(Plan)的生成。生成的查询计划存储在HDFS中,并在随后有MapReduce调用执行。

explain #查看对应语句的执行计划

建立索引可以提高查询速度。

HIVE的体系结构

  • 用HDFS进行存储,HQL语句会经过编译器最终使用MapReducer进行计算,方便了那些java不好的人。
  • 元数据Metastore通常存放在关系数据库比如mysql、derby中。

HIVE的安装

安装模式

安装模式有三种:

  • 嵌入模式
  • 本地模式
  • 远程模式

嵌入模式:

  • 元数据信息被存储在HIVE自带的derby数据库中(HIVE在外derby在内)
  • 只允许创建一个连接(同一个时间只有一个人操作数据)
  • 多用于Demo

本地模式:

  • 元数据被存储在MySQL数据库中(没有嵌入在HIVE中)
  • MySQL数据库与HIVE运行在同一台物理机器上
  • 多用于开发和测试(生产不用)

远程模式:

  • 元数据被存储在MySQL数据库中
  • MySQL数据库与HIVE运行在不同物理机器上

嵌入模式

不需要做任何配置

$ hive #直接进到了嵌入模式,在当前目录创建metastore_db

远程/本地模式

  • 元数据被存储在MySQL数据库中
  • MySQL数据库与HIVE运行在不同物理机器上
  • 多用于实际生产环境中
#为hive建立相应的mysql账户,并赋予足够的权限
hadoop@ubuntu:~$ mysql -uroot -pmysql
mysql> CREATE USER 'hive' IDENTIFIED BY 'mysql';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' WITH GRANT OPTION;
mysql> flush privileges;

#默认情况下Mysql只允许本地登录,所以需要修改配置文件将地址绑定给注释掉:
mysql -uuname -ppassward
create database hive;  #保存元数据
show databases;
#也可以通过MySQL-font等查看

配置文件(本地模式的区别是连接的是本地的数据库,localhost)

在数据库中的tbls中可以查看表的信息。

HIVE的管理

  • CLI方式
  • Web界面管理
  • 远程服务启动方式

CLI方式

#进入hive
$ hive
$ hive --service cli

#清屏
ctrl+l
!clear

show tables --这是注释哦;
show functions;

#查看表的结构
desc tb

#查看hdfs上的文件
dfs -ls

#执行操作系统的命令
!ls

#hive的表以目录,数据以文件的形式存储在hdfs中
dfs -ls /user
dfs -lsr /user/hive

#执行HQL语句
#有的时候转换成MR的作业,遍历的话不用执行MR作业
select *** from ***


#执行SQL的脚本
source SQL文件

#静默模式,不打印调试信息
hive -S  #silent

#在系统的CLI中执行
hive -S -e 'show tables'

Web管理方式

Web只能做查询操作。

解压src源文件,进入hwi的目录

jar cvfM0 hive-hwi-0.13.0.war -C web/
cp hive-hwi-0.13.0.war $HIVE_HOME/lib

vi hive-site.xml


#后边得添加jdk下面的jar包
cp jdk/tools.jar $HIVE_HOME/lib

远程服务

HIVE的数据类型

基本类型

复杂类型

数组,数组的元素是 [1,2,3,4]:

Map,数组元素是<’English’,85>:

数组和map联合起来:

结构体:

时间类型

  • Date类型:分为年月日,不包含一天中的时间
  • Timestamp类型:时间戳,算跟unix有的偏移量
select unix_timestamp();

HIVE的数据存储

特征

  • HIVE中的数据都是保存在HDFS中,表对应文件夹,数据对应文件夹中的文件。
  • 没有专门的数据存储格式,一般的文本文件就可以,一般采用制表符作为分隔符。
  • 存储结构主要包括:数据库、文件、表、视图(逻辑概念)
  • 可以直接加载文本文件(.txt文件等)
  • 创建表的时候,可以指定列分隔符和行分隔符

表分为:

内部表

create table t1
(tid int, tname string, age int)

create table t2
(tid int, tname string, age int)
location '/mytable/hive/t2'  #指定HDFS中的其他位置

create table t3
(tid int, tname string, age int)
row format delimited fields terminated by ',';

create table t4
as 
select * from t3;  #列与列之间没有分隔符

create table t5
row format delimited fields terminated by ','
as 
select * from t3;

#添加新的列
desc t1;
alter table t1 add columns(english int);
desc t1;

#删除表
#如果开启了HADOOP的回收站,那么删除后
drop table t1;

分区表

  • partition对应于数据库的partition列的密集索引
  • 在hive中,表的一个partition对应于表下的一个目录,所有的partition数据都存储在对应的目录中

当数据很大的时候,需要按照一定的条件分区,这样可以提高查询效率。 查看查询效率,可以查看查询计划。

#未建立分区表的查询计划
explain select * from sample_data where gender='M';

#建立分区表的查询计划,执行计划从下往上读
explain select * from partition_table where gender='M';

查询性别是”M”学生需要进行全文扫描,分区后降低了扫描的记录数提高了查询的效率。

create table partition_table
(sid int, sname string)
partitioned by (gender string)
row format delimited fields terminated by ',';

#向表中添加各种分区数据
insert into table partition_table partition(gender='M')
select sid name from sample_data
where gender='M';
insert into table partition_table partition(gender='F')
select sid name from sample_data
where gender='F';

外部表

  • 指向已经在HDFS中存在的数据,可以创建partition
  • 它和内部表在元数据的组织上是相同的,而实际数据的存储则有较大差异
  • 外部表只有一个过程加载数据和创建表同时完成,并不会将数据移动到数据仓库目录中,只是与外部的数据建立一个链接。删除一个外部表时,立刻删除该链接。

外部表的HIVE中只有表的定义与结构没有数据,数据存放在HDFS中。创建表和加载数据一次性完成。 内部表HIVE数据仓库中也是有数据的。

#将数据放在hdfs上
hdfs dfs -put student01.txt /input
hdfs dfs -put student02.txt /input
hdfs dfs -put student03.txt /input

create external table external_table
(sid int, sname string, age int)
row format delimited fields terminated by ','
location '/input';  #外部表创建的时候location指向HDFS中

#删除外部HDFS中的数据会影响hive查询的数据记录
select * from external_table
hdfs dfs -rm /input/student03.txt
select * from external_table

桶表

  • 桶表是对数据进行哈希取值(打散后),然后放到不同的文件中存储。
  • 降低系统的热块,提高查询的速度。
create table bucket_table
(sid int, sname string, age int)
clustered by (sname) into 5;  #根据sname进行hash运算,创建5个桶的桶表

desc bucket_table;

视图

  • 视图是一种虚表,是一个逻辑概念,可以跨越多张表,不存在数据,查询的数据依赖于基表。
  • 视图建立在已有表的基础上,视图赖以建立的这些表称为基表
  • 视图可以简化复杂的查询

部门表和员工表: 注意外键

要求功能: 查询员工信息:员工号,姓名,月薪,年薪 ,部门名称

#创建视图
create viem empinfo
as
select e.empno, e.ename, e.sal, e.sal*12 annlsal,d.name
from emp e,dept d
where e.deptno=d.deptno

#从视图中查询数据,和查询表的方法完全一样
select * from empinfo

HIVE不支持物化视图,视图中存数据。

总结

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏知识分享

51单片机开发板(W25Q16学习)

---恢复内容开始--- 今天测试开发板的W25Q16(16Mbit--Flash)写一篇文章备忘一下 先说一下容量的单位 计算机存储单位一般用B,KB、MB、...

3394
来自专栏杨建荣的学习笔记

通过编程控制CPU利用率(r4笔记第69天)

今天想起一个几年前学习过的程序,是在《编程之美》中提到的,是作为当时微软的面试题,写一个程序来控制CPU的利用率保持在50%,进一步延伸,能够写出程序来画出CP...

3375
来自专栏文渊之博

SQL优化技巧--远程连接对象引起的CTE性能问题

背景    最近SSIS的开发过程中遇到几个问题。其中使用CTE时,遇到一个远程连接对象,结果导致严重的性能问题,为了应急我就修改了代码。   之前我写了一篇介...

1737
来自专栏进击的程序猿

如何组织PHP中的异常

本文的主题是怎么组织php的异常?在大型项目中异常往往被我们忽略,但是如果前期没有很好的规划好,越到项目后期,重构的成本会越大。

1101
来自专栏.net core新时代

数据字典生成工具之旅(2):数据字典生成工具及文档工具作用介绍

       上一篇介绍完了整个架构和功能,这一篇将更加详细介绍功能和操作,将会以实际例子帮助理解!(预告:下一篇正式进入实现原理讲解) 阅读目录 开始使用工具...

2085
来自专栏农夫安全

高级PHP应用程序漏洞审核技术【一】

前言 小编入门代码审计时看的几篇写的比较经典的PDF文档之一,分享出来希望能帮助到想学习代码审计的小伙伴。 [目录] 1. 前言 2. 传统的代码审计技...

34811
来自专栏PHP在线

2016最新面试题出炉

小编最近面试了一些公司,有上市公司也有创业公司,但是面试题都大同小异,小编凭记忆汇总了这些公司的面试题,希望对同行业的小伙伴有所帮助。 1.10万行数据情况下,...

2746
来自专栏杨建荣的学习笔记

同样的sql执行结果不同的原因分析 (r4笔记第27天)

今天开发的同事问我一个问题,说有一个sql语句,在weblogic的日志中执行没有结果,但是手动拷贝数据到客户端执行,却能够查到。这种奇怪的问题一下子就能引起我...

2948
来自专栏哲学驱动设计

性能优化总结(二):聚合SQL

    本篇主要讲如何使用一句较复杂的SQL来加载整个聚合对象,以达到最小化数据库连接次数。主要是解释其中的原理。 LazyLoad及其缺点     相信越来越...

2026
来自专栏逸鹏说道

初级.NET程序员,你必须知道的EF知识和经验

注意:以下内容如果没有特别申明,默认使用的EF6.0版本,code first模式。 推荐MiniProfiler插件 工欲善其事,必先利其器。 我们使用EF和...

33510

扫码关注云+社区