Hive中的外部表可以智能地识别分区吗？

文章/答案/技术大牛

发布

2回答

hadoop、hive、bigdata

每当我需要挂载分区时，我都需要运行它。有没有一种方法可以自动检测外部配置单元表中的分区，而不是我手动执行 ALTER TABLE TableName ADD IF NOT EXISTS PARTITION()location 'locationpath

浏览 13提问于2016-08-27得票数 0

回答已采纳

1回答

MapReduce &蜂巢应用程序设计

hadoop、mapreduce、hive

我有一个设计问题，在我的CDH4.1.2(Cloudera)安装中，我每天将滚动日志数据转储到HDFS中。我有一些报告来计算每天的成功率和失败率。我有两种方法每天预先运行一个MapReduce作业来生成摘要(实质上是几行)，并将其附加到一个公共文件中，即一个Hive。稍后，在运行报表时，我可以使用一个简单的sele

浏览 1提问于2013-01-23得票数 1

2回答

单元格:在使用外部表时，单元格是否支持分区和存储？

hadoop、hive

在创建Hive表时使用PARTITIONED BY或CLUSTERED BY关键字时，hive将创建对应于每个分区或桶的单独文件。但是对于外部表来说，这仍然有效。据我所知，与外部文件相对应的数据文件不是由hive管理的。蜂巢也会创建与每个分区或桶相对应的附加文件，并将相应的数据移动到这些文件中。编辑-添加详细信息。STRING

浏览 7提问于2017-06-27得票数 0

3回答

在路径中创建没有列名的分区的Hive外部表？

hadoop、hive

我需要为只读存在的文件夹结构创建一个外部表。但是，当我在hive中创建外部表时，它总是存储到路径，比如HDFS_PATH/year=2016/month=10&#x

浏览 7提问于2016-10-28得票数 3

回答已采纳

1回答

我可以在一个配置单元外部表中创建存储桶吗？

hadoop、hive、hiveql、bucket、hadoop-partitioning

我正在创建一个引用HDFS位置中的ORC文件的外部表。ORC文件的存储方式是按照日期对外部表进行分区(映射到HDFS上的date wise文件夹，作为分区)。然而，我想知道我是否可以在这些外部表上强制'Bucketing‘，因为底层数据/文件不是由hive’管理‘的。它们是在外部</

浏览 17提问于2020-07-30得票数 1

回答已采纳

1回答

从hdfs中删除文件是否会删除相应的hive外部表分区？

hadoop、hive

我有一个hive外部表，它每天动态地创建分区。从hdfs中删除文件是否也会删除相应的hive表的分区？(或者)我们是否需要显式地删除hive表的分区？

浏览 0提问于2018-10-08得票数 0

回答已采纳

2回答

外部表不返回其文件夹中的数据

hive、external、cloudera

我已经在Hive中的这个位置创建了一个外部表：() ROW FORMAT SERDE'com.cloudera.hive.serde.JSONSerDe'数据存在于文件夹中，但是当我查询表时，它

浏览 4提问于2014-09-10得票数 4

回答已采纳

2回答

从蜂巢视图加载蜂巢分区

sql、view、hive、partition

我有一个带有4个分区的外部Hive表。基于不同的蜂巢表，我还有4个蜂巢视图。CREATE TABLE hive_table AS S

浏览 3提问于2014-10-10得票数 0

回答已采纳

1回答

SparkSQL在亚马逊s3上已分区的外部表上

apache-spark、amazon-s3、hive、apache-spark-sql

我计划在AmazonS3的数据基础上使用SparkSQL (而不是pySpark)。因此，我相信我需要创建Hive外部表，然后可以使用SparkSQL。但是S3数据是分区的，并且希望将分区也反映在Hive外部表中。每天管理蜂巢表的最佳方法是什么？既然每天都可以创建新的分区，或者可以

浏览 0提问于2019-04-04得票数 0

1回答

基于范围的Hive外部表分区

range、hive、partitioning

我想根据数字范围对hive中的外部表进行分区。比方说从1到100的数字进入一个分区。在hive中可以做到这一点吗？

浏览 2提问于2013-07-16得票数 0

1回答

Presto Hive分区感知吗？

hive、presto

Presto如何处理Hive分区？它能在查询执行过程中识别分区吗？在使用分区处理hive表时，我们遇到了性能问题。

浏览 1提问于2013-11-25得票数 4

1回答

使用Sqoop实现Hive表动态分区加载

hive、sqoop

我有一个名为dept的MySQL表，我基于时间戳列ts将其加载到配置单元外部表dept表中，作为增量附加检查列last-value。这可以很好地工作，现在我想根据dept_name和ts列将动态分区添加到我的配置单元表dept中。我知道我可以在sqoop之外创建表动态分区，但在将数据加载到动态分区方面需要帮助

浏览 22提问于2016-08-26得票数 0

2回答

Apache不使用来自Hive分区外部表的分区信息

apache-spark、hive、apache-spark-sql

我有一个简单的Hive外部表，它是在S3之上创建的(文件是CSV格式的)。当我运行hive查询时，它会显示所有记录和分区。但是，当我在Spark中使用相同的表时( Spark在分区列上有一个where条件)，它不会显示应用了分区筛选器。然而，对于Hive托管表，Spark可以使用分区信息并应用分区</e

浏览 0提问于2019-08-24得票数 3

2回答

Hive:创建一个外部表:显示分区什么也不做

hive

我正在自己的数据库中创建一个外部表：event_type_id但是，在另一个数据库中有一个具有相同DDL和相同位置的表，当我执行SHOW PARITITIONS TEST时，该表将给出结果。我还尝试过显示分区的MSCK REPAIR TABLE TEST。

浏览 2提问于2016-03-30得票数 0

回答已采纳

0回答

具有日期分区的HdInsight Azure DW Polybase到配置单元表(ORC)失败

azure、hiveql、azure-hdinsight、azure-data-lake、polybase

我正尝试在Azure数据仓库中为Hive表创建一个polybase外部表，该表被存储为ORC(HD洞察数据湖)，并在我查询外部表时按日期进行分区，它在SQL server中失败，没有任何适当的错误消息。当我不使用分区时，我可以使用外部表访问hive ORC表，但使用分区时，我

浏览 7提问于2017-06-06得票数 1

4回答

为什么我们需要将外部表移动到托管的单元表？

hadoop、hive、external-tables

在Hadoop定义指南第三版第428页最后一段有人能简单解释一下上面所说的话吗？

浏览 1提问于2013-08-19得票数 6

回答已采纳

2回答

DROP PARTITION是否删除配置单元中外部表中的数据？

hive、external-tables、hive-partitions、hiveddl

HIVE中的外部表按年、月、日进行分区。那么，下面的查询是否从外部表中删除此查询中引用的特定分区的数据？

浏览 172提问于2016-07-12得票数 6

回答已采纳

1回答

如何从Trino读取S3中的数据分区

amazon-s3、hive、hive-metastore、trino、hive-partitions

我正在尝试从Trino读取S3中的数据分区。我到底做了什么：我将所有分区的数据上传到S3。我有一个指定的avro模式，我把它放在文件本地系统中。然后，我创建了一个外部配置单元表，以指向S3中的数据位置和文件本地系统中的avro schema。表已创建。然后，通常我可以从Trino中查询S3中</em

浏览 149提问于2021-01-29得票数 2

1回答

从har档案中查询数据- Apache Hive

hadoop、hive、partitioning、hadoop-archive

我正在使用Hadoop，并面临着大量小文件的可怕问题。我需要能够从现有的蜂巢分区中创建har档案，并同时查询它们。然而，Hive显然只支持在托管表中存档分区，而不支持在外部表中存档--这是非常可悲的。我试图通过使用hadoop的归档工具手动归档分区目录中的文件来找到解决办法。现在，我需要配置hive，以便能够查

浏览 3提问于2016-06-03得票数 1

回答已采纳

1回答

Hive外部表无法读取已分区的hdfs目录。

hive、partition

我有一个映射减少作业，它已经使用hive分区命名约定将记录写入hdfs。例如/user/test/generated/code=1/channel=B '/user/

浏览 11提问于2016-03-06得票数 1

回答已采纳

点击加载更多