hive中外部表、内部表、分区表、分桶表

文章目录

• • 外部表
  • 内部表
  • 分区表
  • 分桶表

外部表

创建数据库 create database myhive; 选择数据库 use myhive; 创建外部表 ( external) create external table techer (t_id string,t_name string) row format delimited fields terminated by ‘\t’; 加载数据 ( /export/servers/hivedatas/techer .csv 数据在虚拟机上地址) load data local inpath ‘/export/servers/hivedatas/techer .csv’ into table techer ; 在hdfs查看表中的数据 /user/hive/warehouse/myhive.db/techer 数据在hdfs上的地址 hadoop fs -ls /user/hive/warehouse/myhive.db/techer 在hive中查询 select * from techer 删除数据表techer drop table techer; 再次查看 hadoop fs -ls /user/hive/warehouse/myhive.db/techer（数据依然存在）

内部表

创建数据库 create database myhive; 选择数据库 use myhive; 创建内部表

create table student(t_id string,t_name string) row format delimited fields terminated by ‘\t’; 加载数据 ( /export/servers/hivedatas/student .csv 数据在虚拟机上地址) load data local inpath ‘/export/servers/hivedatas/student .csv’ into table student; 在hdfs查看表中的数据 ( /user/hive/warehouse/myhive.db/student 数据在hdfs上的地址) hadoop fs -ls /user/hive/warehouse/myhive.db/student 在hive中查询 select * from student 删除数据表techer drop table student; 再次查看 hadoop fs -ls /user/hive/warehouse/myhive.db/student（数据不存在）

分区表

企业常见的分区规则：按天进行分区（一天一个分区） 创建数据库 create database myhive; 选择数据库 use myhive; 创建分区表的语句 （ partitioned by (分区名 分区类型) ） create table score(s_id string,c_id string,s_score int) partitioned by (month string) row format delimited fieldsterminated by ‘\t’; create table score2 (s_id string,c_id string,s_score int) partitioned by (year string,month string,day string) row formatdelimited fields terminated by ‘\t’; 数据加载 load data local inpath ‘/opt/hive/score.csv’ into table score partition (month=‘201806’); load data local inpath ‘/opt/hive/score.csv’ into table score2 partition(year=‘2018’,month=‘06’,day=‘02’); 特别强调：分区字段绝对不能出现在数据表以有的字段中。 作用： 将数据按区域划分开，查询时不用扫描无关的数据，加快查询速度。

分桶表

是在已有的表结构之上新添加了特殊的结构 开启hive的桶表功能 set hive.enforce.bucketing=true; 设置桶(reduce)的个数 set mapreduce.job.reduces=3; 创建数据库 create database myhive; 选择数据库 use myhive; 建分桶表 (clustered by(c_id)) create table course (c_id string,c_name string,t_id string) clustered by(c_id) into 3 buckets row format delimited fields terminated by ‘\t’; 创建基本表 create table course_common (c_id string,c_name string,t_id string) row format delimited fields terminated by ‘\t’; 基本表添加数据 load data local inpath ‘/export/servers/hivedatas/course.csv’ into table course_common; 在基本表中查询数据插入到分桶表 insert overwrite table course select * from course_common cluster by(c_id); 确认分桶内的数据 [root@node01 hive]# hadoop fs -cat /user/hive/warehouse/course/000000_0 03 英语 03 [root@node01hive]# hadoop fs -cat /user/hive/warehouse/course/000001_0 01 语文 02 [root@node01 hive]# hadoop fs -cat /user/hive/warehouse/course/000002_0 02 数学 01 特别强调： 分桶字段必须是表中的字段。 分桶逻辑： 对分桶字段求哈希值，用哈希值与分桶的数量取余，余几，这个数据就放在那个桶内。 分桶的作用和好处 1、对于join的需求，能够起到优化加速的作用。（前提是，join字段设置为分桶字段） 2、用于数据取样（获取/提取数据样本） 将数据编号作为分桶字段。这样每个桶内各种“级别”的数据都有。