专栏首页kk大数据Hive 系列 之 基础知识和操作合集

Hive 系列 之 基础知识和操作合集

今天,朋友圈和公众号被鸿蒙刷屏,作为开发者,由衷感叹人类科技已经发展得这么先进了,基于微内核的全场景分布式OS,虽然不太懂是什么意思,但仍然觉得高大上。

鸿蒙伊始,日出东方。道阻且长,自立自强

下面是本课程概览:

(1)hive系列之简介,安装,beeline和hiveserver2

(2)hive系列之基本操作

(3)hive系列之udf

(4)hive系列之二级分区和动态分区

(5)hive系列之分桶表

(6)hive系列之常用函数

(7)hive系列之系统讲解开窗函数

(8)hive系列之存储格式及常用压缩格式

(9)hive系列之数据仓库建模理论

(10)hive系列之数据仓库建模-维度表和事实表

(11)hive系列之数据仓库建模-退化维度和缓慢变化维

(12)hive系列之常用企业性能优化1

(13)hive系列之常用企业性能优化2

(14)hive系列之常用企业性能优化3

今天是第二讲,Hive 的基本操作

今天的内容比较多,也比较枯燥,尽可能对着操作一遍,加深认识

01

数据库相关

1.创建数据库

create database db_hive;

create database if not exists db_hive;

2.创建数据库到指定目录下

create database if not exists db_hive_03 location '/user/wangkai/hive/warehouse/db_hive03.db';

3.显示当前所有的数据库

show databases;

4.查看数据库描述

desc database db_hive;

5.删除数据库就不说了,很危险

02

数据类型

1、基本类型

这里着重说一下 TIMESTAMP

TIMESTAMP 类型的主要作用是在数据比较的效率上比较高

TIMESTAMP 类型 ,其对应的格式为:yyyy-MM-dd HH:MM:SS,从文件中导入时,必须满足这个格式的才能导入,否则显示为null

比如现在建一个表

create table dw.t_date (

t1 date,

t2 timestamp

)

comment '日期测试表'

row format delimited

fields terminated by ',';

创建文件提交到 hdfs 上

文件内容:

2019-09-01,2019-09-01 11:12:00

2019-08-01,2019-09-01 12:00

加载到表中

LOAD DATA INPATH '/tmp/datetest/date.txt' into TABLE dw.t_date;

最终t2不满足格式,所以显示了null

Hive 中比较常用的时间相关的udf :

unix_timestamp() 返回当前的时间戳

unix_timestamp('2019-09-01 11:10:10') 返回指定日期的时间戳

from_unixtime(1567307471) 返回 yyyy-MM-dd HH:MM:SS 格式的字符串

2、复杂类型

ARRAY、Map、struct、union,这些复杂类型是由基础类型构成的

(1) Array

表示数组,是具有相同类型的变量的集合,这些变量称为数组的元素,每个元素都有下标,从0开始

如下,我们建一张 person 表,名字、工作地点、爱好

create table dw.person(

name string,

work_locations array<string>,

other_info map<string,string>,

other_info2 struct<one:string,two:int>

)

row format delimited

fields terminated by ','

collection items terminated by '|'

map keys terminated by ':';

字段的分隔符是 ,

集合(数组和map)元素的分隔符是 |

map或者struct 的 键值对分隔符是 :

测试数据如下:

导入到表中

查询第一个工作地点:

select name,work_locations[0] from dw.person;

(2) Map

是一组键值对元组集合,使用数组表示法,map['first'] 可以获取值

比如上面的表中,查询性别

select name,other_info['sex'] from dw.person;

(3)Struct

是不同类型元素的集合,可以用 点 描述符来取元素

select name,other_info2.one from dw.person;

03

内部表、外部表、分区表

1、内部表和外部表的区别

(1)未被 external 修饰的是内部表,被 external 关键字修饰的是外部表

(2)内部表由 Hive 自身管理,外部表由 HDFS 管理(也就是数据在别的目录下,但元数据还是由 Hive 管理的)

(3)内部表数据的存储位置是:hive.metastore.warehouse.dir(默认是:/user/hive/warehouse),外部表数据的存储位置由自己制定

(4)删除内部表会直接删除元数据和存储在表下面的数据,而删除外部表只会删除元数据,HDFS 上的数据并不会被删除

2、分区表

为了对表进行合理的管理,以及提高查询的效率,Hive 可以将表组织成分区,一个分区实际上就是一个目录,一个表可以在多个维度上创建分区,分区之间的关系,就是目录树的关系。

就是在系统上创建文件夹,把分类数据放在不同的文件夹下,加快查询速度。

比如创建日期和公司两个分区,那么就可以指定查询某个月某个公司的数据,而不同全表扫描

3、实战

(1)内部表

上面建的dw.person 就是内部表,hive 会在 hdfs 文件上创建一个目录,删除表的时候,目录下的数据也会被删除

(2)外部表

使用关键字 external

create external table dw.t_test2 (

c1 string,

c2 string

)

如果没有指定位置,hive 会生成一个目录,如果指定了位置,那么不会创建目录

create external table dw.t_test3 (

c1 string,

c2 string

)

location '/tmp/person';

删除表,并不会删除 hdfs 文件的

(3)分区表

create table dw.t_test4 (

c1 string,

c2 string

)

partitioned by (appId string)

新增分区

alter table dw.t_test4 add partition(appId='app');

会在hdfs上新增一个目录

(4)外部分区表

顾名思义,即是外部表,又是分区表

create external table dw.t_test5 (

c1 string,

c2 string

)

partitioned by (appId string);

给外部分区表添加记录

alter table dw.t_test4 add partition(appId='app') location '/tmp/test1';

04

其他建表方式

1.用查询出来的数据建表

create table IF NOT EXISTS dw.log_20170629_2

AS select ip,user from dw.log_20170629;

2.仅仅创建已有表的表结构

create table IF NOT EXISTS dw.log_20170630

like dw.log_20170629;

05

加载和导出数据

1.加载数据

(1)这个命令是从本地拷贝文件到集群上,如果文件存在,则会重命名新增一份文件

load data local inpath '/opt/datas/student.txt' into table dw.student;

(2)加载数据并覆盖原有数据,会删除原有文件,再拷贝

load data local inpath '/opt/datas/student.txt' overwrite into table dw.student;

(3)加载数据到分区表

load data local inpath '/home/hadoop/data/emp.txt' into table dw.emp_partition partition (month='201509');

(4)加载hdfs数据,从hdfs移动数据到集群上

load data inpath '/opt/datas/student.txt' into table dw.student;

2.导出数据

(1)导出文件到本地目录

insert overwrite local directory '/home/hadoop/data/hive_exp_emp2'

ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'

select * from default.emp;

(2)hive命令

bin/hive -e "select * from default.emp;" > /opt/datas/exp_res.txt

(3)导出到hdfs中

insert overwrite directory '/user/wangkai/hive/hive_exp_emp'

ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' COLLECTION ITEMS TERMINATED BY '\n'

本文分享自微信公众号 - kk大数据(kkbigdata)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-08-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Flink 16种数据转换操作,满足所有数据处理场景

    数据转换(Transformation),即通过从一个或多个 DataStream 生成新的DataStream 的过程,是主要的数据处理的手段。Flink 提...

    kk大数据
  • Flink 彻底理解 window(窗口)

    Window 是处理无限流的核心。Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层的引擎是一个流式引擎,在上面实现了流处...

    kk大数据
  • Hive 系列 之 开篇

    细细品味这首诗,忽然发觉以前学这首诗的意义在于背诵和考试,如今细细品味这首诗,不禁感叹意境真好。天色微凉,牵着手,一起爬山那高高的山头看那天边的牵牛织女星,多么...

    kk大数据
  • Python - 笔记1

    实例方法 定义:第一个参数必须是实例对象,该参数名一般约定为“self”,通过它来传递实例的属性和方法(也可以传类的属性和方法); 调用:只能由实例对象调用。

    py3study
  • 开始使用-初尝胜果 顶

    本页介绍如何“测试驱动器”Flutter:从我们的模板创建一个新的Flutter应用程序,运行它,并学习如何使用Hot Reload进行更改。

    南郭先生
  • Linux下安装JDK 配置环境变量

    https://www.cnblogs.com/yuanqiangfei/p/10232148.html

    包子388321
  • 主成分分析(Principal Component Analysis,PCA)

    )个主成分(线性无关变量)来代替m个原有变量(线性相关变量),使问题得以简化,并能保留原有变量的大部分信息(原有变量的方差)。

    Michael阿明
  • uniapp提交选中的性别的value值

    2:在view,写一下标签 直接在官方文档里面查找 https://uniapp.dcloud.io/component/radio

    王小婷
  • Ubuntu 备份与恢复

    我们的目标是备份/目录,但是不备份/home, 以及/proc, /sys, /mnt, /media, /run, /dev 要实现这一点,执行下列命令

    JNingWei
  • 聊聊flink的log.file配置

    flink-release-1.6.2/flink-dist/src/main/flink-bin/conf/log4j.properties

    codecraft

扫码关注云+社区

领取腾讯云代金券