我正在使用insert into命令将数据从txt表加载到RC表。目标表(RC)是分区表，因此启用了动态分区。在insert into命令的末尾，我在每个分区中都有多个小文件...我尝试为merge设置一些配置单元参数，但结果大致相同…… 唯一对我有效的事情是，当我在inse
浏览 16提问于2020-09-20得票数 3
1回答
我有丰富的经验处理Hive分区表。我使用Hive2.x，我面试了一个大数据解决方案架构师的角色，我被问到了以下问题。
问题：，您将如何在按日期分区的Hive表中摄取流数据？流数据首先存储在S3桶中，然后加载到Hive中。虽然S3桶名有一个日期标识符(如S3_ingest_YYYYMMDD )，但内容可能有超过一个日期的数据。我的
浏览 1提问于2019-12-21得票数 1
回答已采纳
蜂巢中静态分区和动态分区的主要区别是什么？使用单个insert意味着静态，而对分区表的单个insert表示动态。还有其他优势吗？
浏览 2提问于2015-06-18得票数 18
回答已采纳
string) LIFECYCLE 160;
select * from aaa我创建了一个名为h5_qti_desc的表，我想从另一个aaa表中插入该表，该表具有day字段，并且在aaa中没有分区。表aaa有几天时间，比如“20171010”，“20171015”.
如何将day作为分区一次插入到h5_qti_desc中，aaa中的天数在
浏览 1提问于2017-10-19得票数 0
回答已采纳
1回答
我看到同一个单元表有不同的分区模式，如下所示：hdfs dfs -ls /data/hive/warehouse/db_name/table_name/part_date/data/hive/warehouse/db_name/table_name/part_date=2019-12-01/part-06669
/data&#x
浏览 1提问于2020-03-20得票数 0
回答已采纳
我有一个名为dept的MySQL表，我基于时间戳列ts将其加载到配置单元外部表dept表中，作为增量附加检查列last-value。这可以很好地工作，现在我想根据dept_name和ts列将动态分区添加到我的配置单元表dept中。
我知道我可以在sqoop之外创建表动态分区，但在将数据加载到动态分区</
浏览 22提问于2016-08-26得票数 0
我在oracle中有一个表(表名为TRCUS)，其中包含客户的详细信息，根据年份和月份进行分区。Oracle中的分区名称: PERIOD_JAN_13、PERIOD_FEB_13、PERIOD_JAN_14、PERIOD_FEB_14等
现在，我想直接使用SQOOP将这个表的数据导入到HIVE中。Sqoop作业应该创建一个hive表，基于oracle表分区
浏览 6提问于2017-10-16得票数 1
回答已采纳
5回答
我在HDFS中有一个日志文件，值由逗号分隔。例如：现在我想把这个文件加载到Hive表中，它有"timestamp"，"action“列，如何请求配置单元将日志文件中最后两列作为表的分区？所有示例e.g.');"都需要在脚本中定义分区，但我希望从HDFS文件自动设置分区。一种解决
浏览 0提问于2012-10-31得票数 17
回答已采纳
在创建Hive表时使用PARTITIONED BY或CLUSTERED BY关键字时，hive将创建对应于每个分区或桶的单独文件。但是对于外部表来说，这仍然有效。蜂巢“中的几个摘录
当我们将数据加载到
浏览 7提问于2017-06-27得票数 0
有一个“结果”表，其中包含Id和日期列。创建表结果(Id int，日期字符串)作为文本文件存储；2012-04-0613 2013-02-1016 2014-04-0118 2014-06-032014-08-26
如何根据上述日期列中的年份和周no动态分区，将上述数据存储到“历史”表中。在</
浏览 2提问于2014-11-03得票数 3
回答已采纳
我无法将数据加载到分区表中，因为它显示“动态分区严格模式需要至少一个静态分区列。要关闭此功能，请设置hive.exec.dynamic.partition.mode=nonstrict”，即使在设置set hive.exec.dynamite.partition.mode=nonstrict时也是如此；
hive>集合hive.exec.d
浏览 0提问于2015-03-03得票数 0
1回答
蜂巢中的分区
、、、、
我使用hive中的静态分区来根据date字段将数据重新划分到子目录中，我需要为每个表(总共14个表)每年需要365个分区，因为我每天都要将数据加载到hive中。是否对可以在单元格中创建的静态分区的数量有任何限制？在sqoop导入中，如果"hive.exec.max.dynamic.partitions.pernode“
浏览 0提问于2015-03-17得票数 4
1回答
我试图在表中创建动态分区。set hive.exec.dynamic.partition.mode=nonstrict;
4)将数据从stock2中加载到stock
浏览 2提问于2016-05-07得票数 0
回答已采纳
当我通过putty登录到Edge节点时，我能够查看文件的路径和内容，这与我将文件放入hdfs时使用的帐户凭据相同。然后，我连接到Hive，并尝试使用以下语句创建一个外部表，指定我的csv文件在hdfs中的位置：
CREATE EXTERNAL TABLE(col1 string, col2 string) ROWFORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS ORC LOCAT
浏览 0提问于2018-03-30得票数 0
3回答
有一个包含大约100列的HIVE表，按列ClientNumber和Date进行分区。我正在尝试将来自另一个HIVE表的数据插入到仅30列中，并动态创建Date分区。问题是所有数据都会加载到"ClientNumber=123/date=__HIVE_DEFAULT_PARTITION__“分区中，这并不是我们所期望的。脚本如下所示：
set hive</e
浏览 2提问于2016-11-21得票数 0
3回答
我正在尝试从今天没有列的另一个表中插入一个Hive表。我试图创建的分区位于日期级别。当我运行这个程序时，我会得到以下错误：如果我查询一个表并使其中一个列正常工作知道如何在HiveQL中将分区日期设置为当前的系统日期吗？克雷格
浏览 3提问于2015-02-26得票数 5
回答已采纳
2回答
在Hive文档中，它讨论了外部表的动态分区：。我最近升级到了Hive 0.12，并希望使用动态外部表分区，方法是在DDL的location部分中给出表的根HDFS位置，然后添加子目录，这些子目录将自动添加到表中。子目录将由Flume代理创建，该代理将添加日期作为路径名。我希望位于根目录顶部的Hive表能够自动拾
浏览 1提问于2014-08-14得票数 0
我们已经设置了一个spark作业来插入到Hive中(使用数据帧)。设置hive表用于创建动态分区。只要我们运行一个spark作业将数据插入到Hive中，一切都会完美地工作。我们遇到的问题是，我们预计要运行并发的spark作业来将数据加载到Hive中。这似乎不起作用。我读到过动态分区不提供排它锁，而是提供共享锁。
浏览 4提问于2016-12-28得票数 3
1回答
我正在尝试将csv数据摄取到Hive数据库中。为此目的，listFile --> FetchFile --> ConvertCSVToAvro --> ConvertAvroToOrc --> PutHDFS现在，我想用putHiveQL处理器进行测试。
为此，我需要将CSV<em
浏览 1提问于2019-05-16得票数 1
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
