元存储中的分区，但HDFS中不存在路径
元存储中的分区是指在数据存储系统中对数据进行逻辑上的划分，以便更高效地管理和查询数据。在元存储中，分区可以根据不同的属性或条件对数据进行划分，例如按照时间、地理位置、用户等进行分区。
HDFS（Hadoop Distributed File System）是一种分布式文件系统，用于存储和处理大规模数据集。在HDFS中，不存在路径这一概念，而是通过文件的全局唯一标识符（File ID）来访问文件。HDFS将文件划分为固定大小的数据块，并将这些数据块分布在多个计算节点上进行存储和处理。
由于HDFS的设计目标是处理大规模数据集，而不是提供传统文件系统的路径访问方式，因此在HDFS中并不直接支持路径的存在。相反，HDFS通过文件ID和数据块的位置信息来管理和访问文件。这种设计可以提高数据的并行处理能力和容错性，适用于大规模数据处理和分析的场景。
在腾讯云的产品中，与元存储和分区相关的产品是腾讯云的对象存储服务 COS（Cloud Object Storage）。COS是一种高可用、高可靠、低成本的云存储服务，适用于存储和处理各种类型的数据。COS支持对存储的对象进行元数据的管理和查询，可以根据不同的属性对对象进行分区，以便更高效地管理和访问数据。
更多关于腾讯云对象存储服务 COS 的信息，请访问以下链接：
相关·内容
2回答
元存储中的分区，但HDFS中不存在路径
hive、hdfs
我们在摄取过程中遇到了一个问题，这会导致分区被添加到Hive中的一个表中，但HDFS中的路径实际上并不存在。我们已经修复了这个问题，但是我们仍然有这些坏分区。当使用Tez查询这些表时，我们得到FileNotFound异常，指向HDFS中不存在的位置。如果我们使用MR而不是Tez，查询可以工作(这让我非常困惑)，
浏览 95提问于2017-07-06得票数 8
1回答
为什么当使用分区时，hive不能从hdfs中选择数据？
hive、hdfs、flume
我使用flume将数据写入hdfs，路径类似于/hive/logs/dt=20151002.Then，我使用hive来选择数据，但是响应的计数始终是0。下面是我的创建表sql，CREATE EXTERNAL TABLE IF NOT EXISTS test (id STRING) partitioned by (dt string) ROW FORMATDELIMITED fields terminated by '\t' lines terminated by
浏览 4提问于2015-10-03得票数 0
回答已采纳
2回答
蜂巢的桌子存放在哪里？
hive
我是Hadoop的新手，我刚刚开始研究Hive，我的理解是它提供了一种查询语言来处理HDFS中的数据。使用HiveQl，我们可以从HDFS创建表并将数据加载到其中。所以我的问题是:那些桌子存放在哪里？具体来说，如果我们的HDFS中有100 GB文件，并且我们想从这些数据中创建一个单元表，那么该表的大小是什么，它存储在哪里呢？如果我对这个概念的理解是错误的<
浏览 4提问于2015-03-26得票数 9
回答已采纳
3回答
如何避免同时查询Spark加载的蜂箱表时的错误
apache-spark、hive
我们有一个用例，我们在一些流数据的基础上运行一个用due编写的ETL，ETL每小时将结果写入目标蜂巢表，但是用户通常会对目标表运行查询，并且我们遇到了由于同时触发加载表而导致的查询错误。任何属性的火花作业(或蜂巢表)？或者像创建临时表之类的东西？错误是：
我认为发生这种情况是因为元数据显示在作业执行过程中有一个文件A会被删除。该表按年、月、日(使用
浏览 5提问于2020-09-17得票数 3
3回答
当底层HDFS群集不再存在时，如何从配置单元元存储中删除数据库
hive、hdfs、google-cloud-dataproc、hive-metastore
我在一个这样的集群上创建了一个数据库，并将其位置设置为‘HDFS:/ database _name’，如下所示： -e"create database db_name LOCATION 'hdfs:///db_name'" \然后my-first-ephe
浏览 4提问于2018-11-03得票数 2
1回答
在Tez中运行"count(*)“时行为上的差异
hadoop、hive、mapreduce、apache-tez
我在Hadoop分布式文件系统路径和相关的hive表上有一个文件。这张桌子两边有30个隔板。我从HDFS中删除了5个分区，然后在hive表上执行"msck repair table <db.tablename>;"。它完成了精细但输出
浏览 1提问于2019-08-27得票数 1
回答已采纳
2回答
PySpark:读取拼板时如何在分区列中读取
apache-spark、hadoop、pyspark、apache-spark-sql、parquet
我有数据存储在一个拼花文件和蜂窝表按年，月，日分区。因此，每个拼花文件都存储在/table_name/year/month/day/文件夹中。paths_to_files = ['hdfs://data/table_name/2018/10/
浏览 5提问于2018-11-28得票数 4
回答已采纳
1回答
将文件从本地放置到hadoop环境
hadoop
注意:我已经阅读了之前关于堆栈溢出的所有与此场景相关的文章，但没有发现任何有用的信息。我的问题是，为什么不能从终端而在上看到路径/home/hduser下的dir
浏览 6提问于2017-06-04得票数 1
回答已采纳
7回答
hive 0.13 msck修复表仅列出不在元存储中的分区
hive、hiveql、hadoop2
我尝试使用Hive(0.13) msck repair table命令来恢复分区，它只列出未添加到元存储的分区，而不是将它们添加到元存储。下面是命令的输出下面是我如何创建外部表的方法
CREATE
浏览 0提问于2014-11-05得票数 5
2回答
配置单元外部表未显示分区
hive、external、partition
我的显示了以下输出：transactiontype stringFetched: 17 row(s)hive> show partitions <dbname.tablename>;Time taken: 0.11 seconds
未显示分区可能的问题是什么？当我看到hive.log时，表中的数据似乎根据“transactiondate”和“customeri
浏览 2提问于2015-06-15得票数 3
2回答
DROP PARTITION是否删除配置单元中外部表中的数据？
hive、external-tables、hive-partitions、hiveddl
HIVE中的外部表按年、月、日进行分区。
那么，下面的查询是否从外部表中删除此查询中引用的特定分区的数据？
浏览 172提问于2016-07-12得票数 6
回答已采纳
1回答
不读取分区字段的单元查询
hadoop、hive、mapreduce、avro、hadoop-partitioning
我使用以下查询创建了一个分区的Hive表 `cid` string COMMENT '',org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat' 'hdfsTBLPROPERTIES (
浏览 0提问于2018-12-03得票数 0
回答已采纳
1回答
从HDFS w/o中手动删除hive表的分区目录可以吗？
hadoop、hive
假设我有一个分区的蜂巢表+----------------------------------+| in_date=22-09-2020 |如果我手动删除HDFS中的分区目录
$hadoop fs -rm -r 'path
浏览 0提问于2021-03-09得票数 0
1回答
单元外部表-删除表/分区和删除数据
azure、hive、hdfs、azure-hdinsight
当删除一个单元外部表或分区时，它只会从单元转移中删除元数据。HDFS/ Azure存储帐户中的底层数据不会被删除。删除表/分区时删除数据的选项有哪些？
浏览 1提问于2017-12-04得票数 0
回答已采纳
2回答
文件或目录如何存储在hadoop中
hadoop、hdfs、hadoop2
我使用以下命令在hdfs中创建了一个文件通过使用以下命令，我可以看到创建的文件我在hdfs-site.xml中提到<em
浏览 1提问于2016-08-19得票数 1
回答已采纳
3回答
在路径中创建没有列名的分区的Hive外部表？
hadoop、hive
我需要为只读存在的文件夹结构创建一个外部表。但是，当我在hive中创建外部表时，它总是存储到路径，比如HDFS_PATH/year=2016/month=10/day=虽然
浏览 7提问于2016-10-28得票数 3
回答已采纳
1回答
配置单元是否可以基于列值对数据进行虚拟分区，而无需物理更改目录结构？
hive、bigdata、data-partitioning、hive-metastore、hive-partitions
举个例子，我有一个所有主要体育赛事的数据，happened.Schema如下这些数据在HDFS中按年、日、月进行物理结构化。现在我想基于其他列值在上面创建虚拟分区，例如。City.The数据将仅以年、日、月的结构物理存储在HDFS中，但我的元数据会跟踪虚拟分区。
可以为我做这件事吗？
浏览 2提问于2018-04-19得票数 0
1回答
蜂窝:一旦表被重命名和修改，Metastore就不会被更新
hadoop、hive
另外，我使用ALTER语句将外部表的位置从MIAC重命名为MIAC_bkup。现在，我再次创建一个名为MIAC的新外部表，以填充新值，但我看到MIAC_BKUP也在使用新值更新，而不使用bckup值。两者都是分区表。
浏览 0提问于2020-06-10得票数 0
回答已采纳
3回答
手动从HDFS中删除分区数据时，如何更新Hive中的分区元数据
hive、partitioning
自动更新Hive分区表元数据的方式是什么？如果从HDFS中删除了大量分区数据(没有执行alter table drop partition commad )，该怎么办？同步蜂窝元数据的方法是什么？
浏览 4提问于2014-01-14得票数 28
回答已采纳
3回答
为什么hive使用RDBMS来存储亚稳态而不是文件系统？
hadoop、hive
我想了解使用RDBMS进行Hive元数据而不是文件系统的设计原则。并发控制亚秒延迟等。文件系统可以提供-可以通过使用动物园管理员来实现并发
在蜂巢的设计过程中，还有什么其他事情影响到这个决定吗？
浏览 1提问于2016-02-19得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
