实验目的 1. 验证对分区表进行动态分区插入功能 2. 验证是否可以使用load进行动态分区插入 实验步骤 1. 在本地文件/home/grid/a.txt中写入以下4行数据: aaa,US,CA aaa,US,CB bbb,CA,BB bbb,CA,BC 2. 建立非分区表并加载数据
CREATE TABLE t1 (name STRING, cty STRING, st STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
LOAD DATA LOCAL INPATH '/home/grid/a.txt' INTO TABLE t1;
SELECT * FROM t1;
dfs -ls /user/hive/warehouse/test.db/t1;
执行命令及结果如图1所示。
图1 3. 建立外部分区表并动态加载数据
CREATE EXTERNAL TABLE t2 (name STRING) PARTITIONED BY (country STRING, state STRING);
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions.pernode=1000;
INSERT INTO TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;
INSERT INTO TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;
SELECT * FROM t2;
dfs -ls /user/hive/warehouse/test.db/t2/;
执行命令及结果如图2所示。
图2 可以看到,向内部分区表中加载了8条数据,动态建立了目录。 4. 编辑a.txt,使其有以下4行数据,然后在执行下面的命令。 aaa,US,CD aaa,US,CE ccc,CB,BB ccc,CB,BC
LOAD DATA LOCAL INPATH '/home/grid/a.txt' OVERWRITE INTO TABLE t1;
INSERT OVERWRITE TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;
SELECT * FROM t2;
dfs -ls /user/hive/warehouse/test.db/t2/;
dfs -ls /user/hive/warehouse/test.db/t2/country=US;
执行命令及结果如图3所示。
图3 可以看到,现在表中有12条数据,OVERWRITE并没有覆盖原来的分区,而是追加了4条数据,并且动态建立了新的分区目录。 再次执行一次下面的命令:
INSERT OVERWRITE TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;
SELECT * FROM t2;
dfs -ls /user/hive/warehouse/test.db/t2/;
dfs -ls /user/hive/warehouse/test.db/t2/country=US;
执行命令及结果如图4所示。
图4 可以看到,现在表中还是12条数据,分区目录也没有变化。 在动态分区插入上,内外部分区表的行为相同,实验从略。 5. 使用LOAD做动态分区插入
LOAD DATA LOCAL INPATH '/home/grid/a.txt' INTO TABLE t2 PARTITION (country, state);
执行命令及结果如图5所示。
图5 可以看到,load命令不支持动态分区插入。 总结: 1. OVERWRITE不会删除已有的分区目录,只会追加新的分区,并覆盖已有分区的非分区数据。 2. 不能使用load进行动态分区插入