将数据从配置单元写入亚马逊S3，同时维护表分区目录结构
将数据从配置单元写入亚马逊S3，同时维护表分区目录结构
提问于 2019-02-28 04:12:32
假设我在Hive有一张名为T1的桌子。它是按dt列分区的，dt列是一个日期字段。在配置单元元存储中，目录结构有一个名为表T1的文件夹，其中的子目录-每个日期对应一个文件夹。
我的目标是将表的数据复制到Amazon S3中，同时保持目录结构。如果我尝试将表内容直接写入到S3文件中，如下所示，输出被写为单个文件，并且目录结构丢失：
INSERT OVERWRITE DIRECTORY "s3://<DESTINATION>" SELECT * FROM T1;或者，如果我尝试使用命令将目录从HIVE-metatore直接复制到S3，整个目录将被复制到s3，但底层文件不再以逗号分隔...它是一些不可读的字符：
s3-dist-cp --src=hdfs://<directory location> --dest=s3://<destination>有人能帮我完成这件事吗？有什么建议或替代方案吗？
回答 1
Stack Overflow用户
回答已采纳
发布于 2019-02-28 04:22:41
可能的解决方案是创建具有相同模式的表，并将位置设置为所需的位置，然后使用配置单元和动态分区加载数据：
create table T2 like T1;
Alter table T2 set location = 'your destination location';
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
Insert overwrite table T2 partition (dt)
select * from T1
distribute by dt;页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/54913733
复制相关文章
相似问题