首页
学习
活动
专区
工具
TVP
发布

Spark 之访问 Hive 空指针异常

背景

首次编写 Spark 访问 Hive 代码,初始化 Hive 实例时报错,Spark 访问 HDFS 文件正常,Spark 基于RDD 开发正常。

报错信息如下:

示例代码如下:

build.sbt 文件如下:

且 hive-site.xml 已放置 Resources Root 目录下,如下图:

原因

缺少 winutils.exe文件。

PS:Spark需要用到Hadoop中的一些类库&使用winutils.exe文件初始化Hive的上下文

解决

下载winutils.exe文件。

这并不意味这我们一定要安装Hadoop,我们可以直接下载所需要的winutils.exe到磁盘上的任何位置,比如,同时设置HADOOP_HOME=C:winutils

附 winutils.exe下载地址:https://github.com/steveloughran/winutils/tree/master/hadoop-2.6.0/bin

注意

A: Spark处理Hives数据需要作业的执行模式为yarn-client(local也行),不能为yarn-cluster,否则会报上述异常。

B: winutils.exe 环境变量配置完毕之后需要重启idea,否则不生效(坑)

C: 缺少此文件不影响正常读写HDFS文件,访问Hbase,RDD编程

参考

[2]https://yq.aliyun.com/articles/96424?t=t1

分享是一种美德!

想对你说:“

昨天越来越多,明天越来越少,这就叫人生。

你之所以觉得时间一年比一年过得快,

是因为时间对你一年比一年重要。

别因为害怕孤单而凑合着相拥,

也别因为一时的别无选择而将就的活着,

总要有一段路,需要你独自走过。

愿你是阳光,明媚不忧伤。”

Hbase|Kylin|Hive|Impala|Spark|Phoenix ect.

第一个专注Hbase公众号

虽没官方认证

但这一定是个负责任的公众号

将最好的祝福送给正在阅读的你,感恩!

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180504G1KV9400?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券