问手动从HDFS中删除分区数据时，如何更新Hive中的分区元数据

EN

编辑：从配置单元3.0.0开始， MSCK现在可以使用以下语法发现新分区或删除丢失的分区(或两者)：

MSCK [REPAIR] TABLE table_name [ADD/DROP/SYNC PARTITIONS]

这是在HIVE-17824中实现的

正如HakkiBuyukcengiz所说的那样，如果HDFS上的相应文件夹是手动删除的，MSCK REPAIR不会删除分区，只有当新文件夹是创建的时，它才会添加分区。

摘自offical documentation：

换句话说，它会将HDFS上存在但不在metastore中的任何分区添加到metastore。

如果在external上手动删除了多个分区文件夹，并且我想快速刷新分区，这是我在有HDFS表的情况下通常会做的事情：

删除表(Drop

• (DROP TABLE table_name) )(删除外部表不会删除它所在的表的底层分区

根据分区数量的不同，这可能需要很长时间。另一种解决方案是对每个已删除的分区文件夹使用ALTER TABLE DROP PARTITION (...)，但如果删除了多个分区，这可能会很繁琐。

尝试使用

MSCK REPAIR TABLE <tablename>;

确保表设置为external，删除所有分区，然后运行表修复：

alter table mytable_name set TBLPROPERTIES('EXTERNAL'='TRUE')
alter table mytable_name drop if exists partition (`mypart_name` <> 'null');
msck repair table mytable_name;

如果msck修复抛出错误，则从终端运行hive：

hive --hiveconf hive.msck.path.validation=ignore

或set hive.msck.path.validation=ignore;