如何解除Hive中每个节点的分区限制？

文章/答案/技术大牛

发布

2回答

hadoop、hive、partitioning

我在Hive中有一个分区表。对于每个节点，我将分区限制设置为2000。set hive.exec.max.dynamic.partitions.pernode=2000有没有人能帮我一

浏览 16提问于2016-09-26得票数 1

1回答

蜂巢中的分区

performance、hadoop、hive、partitioning、sqoop

我使用hive中的静态分区来根据date字段将数据重新划分到子目录中，我需要为每个表(总共14个表)每年需要365个分区，因为我每天都要将数据加载到hive中。是否对可以在单元格中创建的静态分区的数量有任何限制？在sqoop导入中，如果"hive.exec.max.dynamic.partitions

浏览 0提问于2015-03-17得票数 4

1回答

限制对配置单元分区的访问

hive、partition

我有一个具有50个分区的Hive表Person (每个州一个分区)。有什么方法可以限制访问Hive中的分区吗？例如:我希望用户只能访问分区CA和IL，任何方式都可以在Hive中实现这一点。

浏览 2提问于2014-11-04得票数 0

1回答

`hive.exec.max.dynamic.partitions`和`hive.exec.max.dynamic.partitions.pernode`之间的区别

hadoop、hive

我正在寻找一些文档来理解hive.exec.max.dynamic.partitions和hive.exec.max.dynamic.partitions.pernode之间的区别。我们什么时候需要设置这些参数，这些参数的用途是什么？hive.exec.max.dynamic.partitions=500 hive.exec.max.dynamic.partitions.pernode=500

浏览 56提问于2020-04-14得票数 3

回答已采纳

1回答

蜂箱装载时间

hadoop、hive、hiveql

如何提高5GB数据组的加载时间？通常，使用多节点集群处理5GB的数据需要多长时间？我使用的是单个节点集群。请帮帮忙

浏览 5提问于2015-11-12得票数 0

回答已采纳

1回答

火花数据的极限函数

apache-spark

当我有一个限制语句在我的火花数据框架，它仍然读取整个表/分区之前，它限制在限制中的行数。spark.table("table_name").limit(1).show() 这最终启动了30个任务(表中的每个文件都有一个)，而在我的记忆中，它只需读取第一个文件就可以返回。无论如何，我是否可以通过打开一些优化设置来避免这种情况，比如

浏览 0提问于2019-02-07得票数 0

1回答

单元格:在查询中强制执行where子句

hive、hiveql

我们有一个按日期划分的单元表，我们希望最终用户总是在查询中使用where子句，如果他们不使用它，它应该抛出异常。蜂巢里有什么设置，可以强制执行吗？

浏览 1提问于2017-03-16得票数 0

1回答

Spark HiveContext: HDFS上包含多个文件的表

python、apache-spark、dataframe、hdfs

我有一个Hive表X，它在HDFS上有多个文件。表X在HDFS上的位置是/data/hive/X。文件：/data/hive/X/f2 /data/hive/X/f3 ...是否将每个文件视为单独的分区，并由单独的节点

浏览 8提问于2016-09-14得票数 0

回答已采纳

2回答

如何提高蜂箱中从非分区表加载数据到ORC分区表的性能

hadoop、hive、hadoop-yarn、azure-hdinsight

我对Hive查询很陌生，我正在寻找从Hive表中检索数据的最佳实践。我们已经启用了TeZ具有执行引擎和启用了矢量化。我们希望从Hive表中进行报告，我从TEZ文档中看到，它可以用于实时报告。场景来自我的WEB应用程序，我希望在UI上显示来自Hive query * from Hive表的结果，但是对于任何查询，即使hive表有60 GB的数据，在单元格命令提示符中至少需要20-6

浏览 2提问于2015-03-07得票数 1

回答已采纳

2回答

HDFS与单元分区

hadoop、hive、hdfs、cloudera、partitioning

当数据被加载到HDFS时，它的分布并加载到多个节点中。对数据进行分区和分布。对于单元，有一个单独的选项来划分数据。我非常肯定，即使您没有提到分区选项，在加载一个hive表时，数据也会被拆分并分发到集群中的不同节点。在这种情况下，这个命令会带来什么额外的好处。

浏览 3提问于2017-07-18得票数 5

回答已采纳

1回答

带Galera簇的MariaDB分区旋转

mysql、mariadb、partitioning、galera

如何在Galera集群上实时管理分区旋转？CREATE DEFINER=`root`@`localhost` PROCEDURE `manage_partitions`() if @@GLOBAL.wsrep_onpartitions

浏览 1提问于2016-12-03得票数 1

3回答

Hive中的多个分区

hadoop、hive、partitioning

对于列"id“，我有大约200,000个不同的值，并且我已经将它用作一个动态分区的Hive表中的分区键。现在分区已经创建，当我尝试查询(我已经使用了简单的Select *查询)时，它总是返回以下错误： FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException

浏览 0提问于2015-11-20得票数 2

1回答

星火如何对蜂巢执行写操作

apache-spark、hive

我正在做一项工作，从某个源读取数据，进行一些转换，并将其写入Hive。为了给蜂巢写信，我正在做dataframe.write.insertInto(hive_table) 我的问题是，星火如何将整个dataframe写到Hive？它是并行写入，就像不同执行程序上的不同分区将被并行写入，还是会将来自不同分区的所有数据收集到驱动程序，然后尝试一次插入？

浏览 1提问于2021-03-25得票数 0

回答已采纳

2回答

Apache hive -如何在show命令中限制分区

hive

在show命令中列出分区时，有没有办法限制配置单元分区的数量？我尝试设置hive.limit.query.max.table.partition=1，但这

浏览 33提问于2018-01-22得票数 1

1回答

如何有效地处理易失性记录

hadoop、hive、hdfs

我有这个问题，我想和其他人一起运行，看看我是否能以更好的方式处理这个问题。业务是这样的，我们可能会得到几个月或几年前创建的事务的更

浏览 1提问于2014-03-30得票数 0

1回答

如何使用Apache Nifi在多个节点上运行Kafka消费者处理器实例

apache-kafka、apache-nifi

kafka客户端的输出连接到hive处理器。有没有我

浏览 3提问于2019-08-04得票数 0

1回答

由于配置单元元存储中的许多分区而导致的错误

apache-spark、hive、apache-spark-sql、metastore

我使用Apache spark-sql从数据库中查询数据。我知道Spark在默认情况下共享同一转移的hive。我已经根据列id对输入数据进行了分区，这些列有超过300k个不同的值。到目前为止，该表有超过300k的分区，而且还会定期增加。有没有因此而产生的问题？

浏览 0提问于2015-11-23得票数 0

3回答

生成多个小文件的单元查询

hadoop、hive

说上面的问题是，每个分区生成400个文件，每个文件的大小在200 K左右。我尝试过多个参数组合：set hive.exec.reducers.bytes.per.reducer=256000000; 结果1减速器数量减少到100个，因此每个分区</e

浏览 4提问于2016-02-10得票数 0

1回答

如何设置动态分区，其中列键将是分区

hadoop、apache-spark、dynamic、hive、partition

所以我有一个表A和表B，其中表A数据是从表B中插入的。本质上，表A和表B是相同的，唯一的区别是表A有一个date_partition列，而表B没有。表B模式是: ID int school_bg_dt bigint log_on_count int active_count int date_partition字符串set hive.exec.dynamic.partition=true; set hive</em

浏览 3提问于2016-10-28得票数 0

回答已采纳

1回答

关于配置单元表存储

hive

我已经创建了一个不是分区表的HIVE表，但我在一个10节点集群中工作，那么在这种情况下，该表(表是一个大表)的数据是否会分布在不同的数据节点上？或者它将只存在于一个节点中？？如果它分布在不同的数据节点上，那么我们如何才能看到\hive\warehouse文件夹下的一个文件呢？另外，请不要说明这个存储是如何分配给一个分区

浏览 2提问于2015-02-26得票数 0

点击加载更多