我有一个外部表，并按年、月、日、小时对其进行分区。如果我使用INSERT OVERWRITE并为要转到的数据指定某个分区，则最终会创建适当的文件夹结构。所以上面的语句创建了适当的文件夹结构。但是如果我尝试手动创建类似的结构并触发SELECT查询，hive不会返回手动创建的文件夹中的数据。在结构方面，我确保<em
浏览 18提问于2016-07-30得票数 1
我们的存储桶通常有许多子目录，因此存储桶的路径类似于s3:functional-group/service/org-tenant-company-id/entity-id/actual-data我读过雅典娜文档中关于分区的页面。似乎我们必须通过JDBC驱动程序手动</em
浏览 23提问于2017-02-10得票数 1
我使用的是Spark 2.2.1，它有一个有用的选项，可以指定我想要在文件的每个分区中保存多少条记录；该功能允许在写入文件之前避免重新分区。当它以这种方式工作时 .mode("overwrite").orc(path_hive_table)
所以我直接在指定表的HiveMetastore文件夹中写入orc文件。您是否知道是否有一种方法可以直
浏览 1提问于2018-06-06得票数 1
3回答
我的主目录位于一个单独的分区上。我在10.10从10.04通过升级。如何在保持此分区的同时执行10.10的干净安装？它的性能和干净的安装一样好吗？什么会丢失，什么会保留？
浏览 0提问于2010-10-24得票数 15
回答已采纳
假设我有一个按日期分区的hive表，它的数据以Parquet文件的形式存储在S3中。让我们还假设对于特定的分区(日期)，最初有20记录。如果我随后删除了原始文件，并将新的Parquet文件和50记录放在同一文件夹中，我是否需要删除并重新创建该分区以反映新数据？
我的理解是，我们不必重新创建分区。因此，我尝试从各自的文件夹中删除旧
浏览 96提问于2019-05-26得票数 1
回答已采纳
1回答
我有一个外部表，它有一个名为rundate的分区列。我可以使用以下命令将数据加载到表中然后，我使用以下命令创建分区代码运行良好，我可以看到<
浏览 10提问于2017-12-20得票数 0
回答已采纳
1回答
我无法使用以下脚本在配置单元中创建包含分区列的外部表FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
请给出在带有分区列的配置单元中<em
浏览 2提问于2013-11-11得票数 1
我在hive中的date列上有一个分区表，可以第一次将数据sqoop导入到hive分区表中。当我执行此操作时，它会正确创建所有日期文件夹，并将数据加载到配置单元表的hdfs位置中的每个文件夹中。现在，当我想要sqoop导入新数据并将其再次附加到具有新的更新日期的同一配置单元表中时(这将在hdfs配置单元位置<e
浏览 45提问于2017-08-30得票数 0
2回答
也许这是一个简单的问题，但是，我很难解决这个问题。现在，我有一个伪分布式HDFS，其中包含使用protobuf 3.0.0编码的录音。我遇到的问题是对数据进行分区。serdeproperties ( STORED AS SEQUENCEFILE;
该表已创建我一直在阅读Hive表，发现分区列不需要是正在加载的<
浏览 7提问于2018-01-24得票数 0
我已经看到了文档的这一部分()：
$ bin/kafka-topics.sh -创建--动物园管理员本地主机:2181-复制-因子1-分区1-主题测试$ bin/kafka-topics.sh -列表-动物园管理员本地主机:2181测试
或者，也可以将您的代理配置为在向不存在的</
浏览 1提问于2018-12-28得票数 1
1回答
我正在尝试从Trino读取S3中的数据分区。我到底做了什么： 我将所有分区的数据上传到S3。我有一个指定的avro模式，我把它放在文件本地系统中。然后，我创建了一个外部配置单元表，以指向S3中的数据位置和文件本地系统中的avro schema。表已创建。 然后，通常我可以从Trino中查询S3中的数据和分区。my_table$partitions"; 它
浏览 149提问于2021-01-29得票数 2
4回答
具有关系运算符条件的配置单元分区
、、、、
我想创建一个包含2个分区的hive分区表。一个分数小于300，另一个大于300。那么，如何为这个场景创建分区呢？load data local inpath '/data/hive/input' into table newtab
浏览 0提问于2015-03-05得票数 0
1回答
我很难让hive发现在HDFS中创建的分区warehouse/database/table_name/Awarehouse/database/table_name/CA、B、C、D是来自列type的值
当我使用以下语法创
浏览 20提问于2019-10-25得票数 1
回答已采纳
我用这篇文章来读取我的vpc流日志，一切都正常工作。
但我的问题是，当我引用文档并运行create语句时，它不会返回任何记录。
浏览 5提问于2022-01-08得票数 2
1回答
我最近更新了我的mac到雪豹。但是由于这个原因，我所有的配置文件都被删除了。我没有为我的密钥链保留备份，所以我再次从苹果开发人员程序下载了我的证书签名请求，并将它安装在我的mac.So中以上传我的一个旧应用程序，我用一个新的配置文件创建了一个新的应用程序Id。我的库中没有MobileDevice文件夹，所以我在我的库中手动创建了
浏览 0提问于2010-07-16得票数 0
回答已采纳
我在表中有一个“clientid”分区。该表由一个s3桶支持，每个客户端的数据都存储在自己的“clientid=xxxxxx”文件夹中。该表是由Glue作业创建的，该作业在创建文件夹的"write_dynamic_frame"方法中具有以下选项。{"partitionKeys": ["clientid"]},
我的第一个想法是使用前端的客
浏览 2提问于2020-11-05得票数 1
回答已采纳
3回答
因此数据存储为/output/2/现在，我已经在hive中创建了一个分区表，我想将/output文件夹中的数据加载到这个分区表中。
浏览 0提问于2015-10-29得票数 0
2回答
我使用以下代码在Spark SQL中创建/插入数据到Hive表中： .builder() .master("local输入文件是本地文件系统上的csv。 'spark.sql.s
浏览 3提问于2017-02-27得票数 3
我尝试使用Hive(0.13) msck repair table命令来恢复分区，它只列出未添加到元存储的分区，而不是将它们添加到元存储。下面是命令的输出下面是我如何创建外部表的方法
CREATE EXTERNAL TABLE IF NOT EXIS
浏览 0提问于2014-11-05得票数 5
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
