前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >hive学习笔记之二:复杂数据类型

hive学习笔记之二:复杂数据类型

原创
作者头像
程序员欣宸
修改2021-06-29 10:28:03
4730
修改2021-06-29 10:28:03
举报
文章被收录于专栏:实战docker

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos

《hive学习笔记》系列导航

  1. 基本数据类型
  2. 复杂数据类型
  3. 内部表和外部表
  4. 分区表
  5. 分桶
  6. HiveQL基础
  7. 内置函数
  8. Sqoop
  9. 基础UDF
  10. 用户自定义聚合函数(UDAF)
  11. UDTF

本篇概览

  • 作为《hive学习笔记》的第二篇,前面咱们了解了基本类型,本篇要学习的是复杂数据类型;
  • 复杂数据类型一共有四种:
  • ARRAY:数组
  • MAP:键值对
  • STRUCT:命名字段集合
  • UNION:从几种数据类型中指明选择一种,UNION的值必须于这些数据类型之一完全匹配;
  • 接下来逐个学习;

准备环境

  1. 确保hadoop已经启动;
  2. 进入hive控制台的交互模式;
  3. 执行以下命令,使查询结果中带有字段名:
代码语言:txt
复制
set hive.cli.print.header=true;

ARRAY

  • 创建名为t2的表,只有person和friends两个字段,person是字符串类型,friends是数组类型,通过文本文件导入数据时,person和friends之间的分隔符是竖线,friends内部的多个元素之间的分隔符是逗号,注意声明分隔符的语法:
代码语言:txt
复制
create table if not exists t2(
person string,
friends array<string>
)
row format delimited 
fields terminated by '|'
collection items terminated by ',';  
  • 创建文本文件002.txt,内容如下,可见只有两条记录,第一条person字段值为tom,friends字段里面有三个元素,用逗号分隔:
代码语言:txt
复制
tom|tom_friend_0,tom_friend_1,tom_friend_2
jerry|jerry_friend_0,jerry_friend_1,jerry_friend_2,jerry_friend_3,jerry_friend_4,jerry_friend_5
  • 执行以下语句,从本地的002.txt文件导入数据到t2表:
代码语言:txt
复制
load data local inpath '/home/hadoop/temp/202010/25/002.txt' into table t2;
  • 查看全部数据:
代码语言:txt
复制
hive> select * from t2;
OK
t2.person   t2.friends
tom ["tom_friend_0","tom_friend_1","tom_friend_2"]
jerry   ["jerry_friend_0","jerry_friend_1","jerry_friend_2","jerry_friend_3","jerry_friend_4","jerry_friend_5"]
Time taken: 0.052 seconds, Fetched: 2 row(s)
  • 查询friends中的某个元素的SQL:
代码语言:txt
复制
select person, friends[0], friends[3] from t2;  

执行结果如下,第一条记录没有friends3,显示为NULL:

代码语言:txt
复制
hive> select person, friends[0], friends[3] from t2; 
OK
person  _c1 _c2
tom tom_friend_0    NULL
jerry   jerry_friend_0  jerry_friend_3
Time taken: 0.052 seconds, Fetched: 2 row(s)
  • 数组元素中是否包含某值的SQL:
代码语言:txt
复制
select person, array_contains(friends, 'tom_friend_0') from t2;

执行结果如下,第一条记录friends数组中有tom_friend_0,显示为true,第二条记录不包含,就显示false:

代码语言:txt
复制
hive> select person, array_contains(friends, 'tom_friend_0') from t2;
OK
person  _c1
tom true
jerry   false
Time taken: 0.061 seconds, Fetched: 2 row(s)
  • 第一条记录的friends数组中有三个元素,借助LATERAL VIEW语法可以把这三个元素拆成三行,SQL如下:
代码语言:txt
复制
select t.person, single_friend
from (
    select person, friends 
    from  t2 where person='tom'
) t LATERAL VIEW explode(t.friends) v as single_friend;

执行结果如下,可见数组中的每个元素都能拆成单独一行:

代码语言:txt
复制
OK
t.person    single_friend
tom tom_friend_0
tom tom_friend_1
tom tom_friend_2
Time taken: 0.058 seconds, Fetched: 3 row(s)
  • 以上就是数组的基本操作,接下来是键值对;

MAP,建表,导入数据

  • 接下来打算创建名为t3的表,只有person和address两个字段,person是字符串类型,address是MAP类型,通过文本文件导入数据时,对分隔符的定义如下:
  • person和address之间的分隔符是竖线
  • address内部有多个键值对,它们的分隔符是逗号
  • 而每个键值对的键和值的分隔符是冒号
  • 满足上述要求的建表语句如下所示:
代码语言:txt
复制
create table if not exists t3(
person string,
address map<string, string>
)
row format delimited 
fields terminated by '|'
collection items terminated by ',' 
map keys terminated by ':';
  • 创建文本文件003.txt,可见用了三种分隔符来分隔字段、MAP中的多个元素、每个元素键和值:
代码语言:txt
复制
tom|province:guangdong,city:shenzhen
jerry|province:jiangsu,city:nanjing
  • 导入003.txt的数据到t3表:
代码语言:txt
复制
load data local inpath '/home/hadoop/temp/202010/25/003.txt' into table t3;

MAP,查询

  • 查看全部数据:
代码语言:txt
复制
hive> select * from t3;
OK
t3.person   t3.address
tom {"province":"guangdong","city":"shenzhen"}
jerry   {"province":"jiangsu","city":"nanjing"}
Time taken: 0.075 seconds, Fetched: 2 row(s)
  • 查看MAP中的某个key,语法是field"xxx"
代码语言:txt
复制
hive> select person, address["province"] from t3;
OK
person  _c1
tom guangdong
jerry   jiangsu
Time taken: 0.075 seconds, Fetched: 2 row(s)
  • 使用if函数,下面的SQL是判断address字段中是否有"street"键,如果有就显示对应的值,没有就显示filed street not exists
代码语言:txt
复制
select person, 
if(address['street'] is null, "filed street not exists", address['street']) 
from t3;
  • 输出如下,由于address字段只有provincecity两个键,因此会显示filed street not exists
代码语言:txt
复制
OK
tom filed street not exists
jerry   filed street not exists
Time taken: 0.087 seconds, Fetched: 2 row(s)
  • 使用explode将address字段的每个键值对展示成一行:
代码语言:txt
复制
hive> select explode(address) from t3;
OK
province    guangdong
city    shenzhen
province    jiangsu
city    nanjing
Time taken: 0.081 seconds, Fetched: 4 row(s)
  • 上面的explode函数只能展示address字段,如果还要展示其他字段就要继续LATERAL VIEW语法,如下,可见前面的数组展开为一个字段,MAP展开为两个字段,分别是key和value:
代码语言:txt
复制
select t.person, address_key, address_value
from (
    select person, address 
    from  t3 where person='tom'
) t LATERAL VIEW explode(t.address) v as  address_key, address_value;

结果如下:

代码语言:txt
复制
OK
tom province    guangdong
tom city    shenzhen
Time taken: 0.118 seconds, Fetched: 2 row(s)
  • size函数可以查看MAP中键值对的数量:
代码语言:txt
复制
hive> select person, size(address) from t3;
OK
tom 2
jerry   2
Time taken: 0.082 seconds, Fetched: 2 row(s)

STRUCT

  • STRUCT是一种记录类型,它封装了一个命名的字段集合,里面有很多属性,新建名为t4的表,其info字段就是STRUCT类型,里面有age和city两个属性,person和info之间的分隔符是竖线,info内部的多个元素之间的分隔符是逗号,注意声明分隔符的语法:
代码语言:txt
复制
create table if not exists t4(
person string,
info struct<age:int, city:string>
)
row format delimited 
fields terminated by '|'
collection items terminated by ',';
  • 准备好名为004.txt的文本文件,内容如下:
代码语言:txt
复制
tom|11,shenzhen
jerry|12,nanjing
  • 加载004.txt的数据到t4表:
代码语言:txt
复制
load data local inpath '/home/hadoop/temp/202010/25/004.txt' into table t4;
  • 查看t4的所有数据:
代码语言:txt
复制
hive> select * from t4;
OK
tom {"age":11,"city":"shenzhen"}
jerry   {"age":12,"city":"nanjing"}
Time taken: 0.063 seconds, Fetched: 2 row(s)
  • 查看指定字段,用filedname.xxx语法:
代码语言:txt
复制
hive> select person, info.city from t4;
OK
tom shenzhen
jerry   nanjing
Time taken: 0.141 seconds, Fetched: 2 row(s)

UNION

  • 最后一种是UNIONTYPE,这是从几种数据类型中指明选择一种,由于UNIONTYPE数据的创建设计到UDF(create_union),这里先不展开了,先看看建表语句:
代码语言:txt
复制
CREATE TABLE union_test(foo UNIONTYPE<int, double, array<string>, struct<a:int,b:string>>);
  • 查询结果:
代码语言:txt
复制
SELECT foo FROM union_test;

{0:1}
{1:2.0}
{2:["three","four"]}
{3:{"a":5,"b":"five"}}
{2:["six","seven"]}
{3:{"a":8,"b":"eight"}}
{0:9}
{1:10.0}
  • 至此,hive的基础数据类型和复杂数据类型咱们都实际操作过一遍了,接下来的文章将展开更多hive知识,期待与您共同进步;

关于容器和镜像的环境

如果您不想自己搭建kubernetes环境,推荐使用腾讯云容器服务TKE:无需自建,即可在腾讯云上使用稳定, 安全,高效,灵活扩展的 Kubernetes 容器平台;

如果您希望自己的镜像可以通过外网上传和下载,推荐腾讯云容器镜像服务TCR:像数据加密存储,大镜像多节点快速分发,跨地域镜像同步

你不孤单,欣宸原创一路相伴

  1. Java系列
  2. Spring系列
  3. Docker系列
  4. kubernetes系列
  5. 数据库+中间件系列
  6. DevOps系列

欢迎关注公众号:程序员欣宸

微信搜索「程序员欣宸」,我是欣宸,期待与您一同畅游Java世界...

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 欢迎访问我的GitHub
  • 《hive学习笔记》系列导航
  • 本篇概览
  • 准备环境
  • ARRAY
  • MAP,建表,导入数据
  • MAP,查询
  • STRUCT
  • UNION
  • 关于容器和镜像的环境
  • 你不孤单,欣宸原创一路相伴
  • 欢迎关注公众号:程序员欣宸
相关产品与服务
容器服务
腾讯云容器服务(Tencent Kubernetes Engine, TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,覆盖 Serverless、边缘计算、分布式云等多种业务部署场景,业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者,主导开源项目Crane,全面助力客户实现资源优化、成本控制。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档