前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >fs.defaultFS 变更,使spark-sql 查询hive失败原因分析

fs.defaultFS 变更,使spark-sql 查询hive失败原因分析

作者头像
Spark学习技巧
发布2021-03-05 14:42:18
7590
发布2021-03-05 14:42:18
举报
文章被收录于专栏:Spark学习技巧Spark学习技巧

这个是粉丝投稿,很有价值,浪尖在这里给大家分享一下,也使得后面有粉丝遇到相同的问题,可以快速的解决,节省时间。

我们在将hdfs换成⾼可⽤后,我们的namede地址发⽣变更,也就是我们的fs.defaultFS发⽣变更后, 需要注意:这些修改会影响到我们的hive的正常运⾏,因为我们hive在建表的时候,其实已经改变了该表 的数据存放路径。会导致我们在提交spark脚本【执⾏spark-sql】的脚本,报错。如下图所示:⼀直显 示,读取⽼的hdfs的namenode路径。

这⾥,我们可以访问我们的hive元数据表 SDS,如下图所示:发现还是以未升级前的namenode地 址,也就是master:9000。

因此,我们需要修改这些存储信息,有两种⽅式:

  1. 直接修改表的信息
  2. 利⽤hive⾃带的⼯具
代码语言:javascript
复制
metatool -updateLocation <new-location> <old-location>

在装有hive的节点执⾏命令

代码语言:javascript
复制
metatool -updateLocation hdfs://bi hdfs://master:9000/

查询元数据信息是否发⽣更改

代码语言:javascript
复制
metatool -listFSRoot

此时,hive的元数据信息已经发生变更,可以正常使用

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2020-05-01,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 浪尖聊大数据 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档