前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >[已解决]FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to

[已解决]FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to

作者头像
Maynor
发布2023-11-02 13:02:00
2.2K0
发布2023-11-02 13:02:00
举报

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source hdfs://master:8020/user/hive/warehouse/app_xgdsj.db/student_consume_trend_group/year=2023/.hive-staging_hive_2023-10-31_20-30-53_009_9218967460329396263-1/-ext-10000 to destination hdfs://master:8020/user/hive/warehouse/app_xgdsj.db/student_consume_trend_group/year=2023

问题

unable to move source hdfs

思路

1.报错情况 有个小伙伴hive任务报错,moving data时,报错如下

Failded with exception:unable to move source hdfs://…

2.问题排查 这种情况一般跟任务没有关系了,说明hive任务已经执行成功了。因为默认hive,spark任务数据先写到一个临时目录,等各个节点的数据都写完整以后,校验没问题了,在move到表的hdfs路径下(所谓move其实就是重命令),这个过程报错,说明跟hdfs有关系,跟yarn,hive,spark都没有关系了。

查看yarn日志,显示日志果然已经执行成功。

img
img

既然跟hdfs有关系,那就说明一般是路径有问题(比如权限,路径异常,节点丢失等等)。

先看hdfs路径,发现该路径下竟然有文件,不合理哇,看文件时间不是任务执行时间。表都未创建。很明显因为这个路径有数据存在,造成表加载异常,move失败。(原因是因为为了数据安全,hdfs路径加T权限,只有表的所有者才可以删表,其他人删不了数据,估计是删表异常,造成数据未删除。)

3.解决方案

解决

hdfs dfs -rm -r /user/hive/warehouse/app_xgdsj.db/student_consume_trend_group/year=2023

很简单,把表所在的路径数据清空即可

img
img

任务重跑,问题解决

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2023-11-01,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source hdfs://master:8020/user/hive/warehouse/app_xgdsj.db/student_consume_trend_group/year=2023/.hive-staging_hive_2023-10-31_20-30-53_009_9218967460329396263-1/-ext-10000 to destination hdfs://master:8020/user/hive/warehouse/app_xgdsj.db/student_consume_trend_group/year=2023
  • 问题
  • 思路
  • 解决
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档