专栏首页大数据智能实战Hive在spark2.0.0启动时无法访问../lib/spark-assembly-*.jar: 没有那个文件或目录的解决办法

Hive在spark2.0.0启动时无法访问../lib/spark-assembly-*.jar: 没有那个文件或目录的解决办法

最近将整个架构升级到spark 2.0.0之后,发现一个问题,就是每次进行hive --service metastore启动的时候,总是会报一个小BUG。

无法访问/home/ndscbigdata/soft/spark-2.0.0/lib/spark-assembly-*.jar: 没有那个文件或目录。

而这一行究竟是怎么回事,网上没有任何有关的资料。

没办法,只好一步一步分析,终于找到问题的症结。

其主要的原因是:在hive.sh的文件中,发现了这样的命令,原来初始当spark存在的时候,进行spark中相关的JAR包的加载。而自从spark升级到2.0.0之后,原有的lib的整个大JAR包已经被分散的小JAR包的替代,所以肯定没有办法找到这个spark-assembly的JAR包。这就是问题所在。

# add Spark assembly jar to the classpath
 if [[ -n "$SPARK_HOME" ]]
 then
   sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`
   CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"

将这个spark-assembly-*.jar`替换成jars/*.jar,就不会出现这样的问题。

这也印证了各个软件升级过程中如何涉及到自动联运或者向下兼容的问题。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • AllenNLP系列文章之七:ELMO

      在AllenNLP的主页上有个单独的菜单(http://allennlp.org/elmo),一直不太了解为何将它单列出来,主要在AllenNLP的许多任务...

    sparkexpert
  • spark submit中没有找到hbase中的*/hbase/client/put类的解决办法

    在Eclipse或者IDEA中进行spark与hbase联接操作时,都没有错误,然后发现当进行spark-submit提交的时候,却发现找不到hbase库的问题...

    sparkexpert
  • Spark Hbase读取操作的一些总结与测试

    Spark连接HBase实现查询的操作有好多种步骤,其中常用的是直接调用Hbase本身提供的写入和读出的接口。 然而不少人在此基础上进行了各种封装,有的支持sp...

    sparkexpert
  • 超大规模 Spark 集群灰度发布 CI CD

    目前主流的代码管理工具有,Github、Gitlab等。本文所介绍的内容中,所有代码均托管于私有的 Gitlab 中。

    Jason Guo
  • Zepto源码分析之form模块

    有了上面的知识的回顾,接下来我们开始看zepto中serialize和serializeArray的实现

    IMWeb前端团队
  • Zepto源码分析之form模块

    前言 JavaScript最初的一个应用场景就是分担服务器处理表单的责任,打破处处依赖服务器的局面,这篇文章主要介绍zepto中form模块关于表单处理的几个...

    IMWeb前端团队
  • 【网络安全】DDoS攻击,如何预防和缓解?

    在2018年第一季度,全球DDoS攻击已经席卷全球。例如,在该年的一月份,荷兰税务局与荷兰一些最重要的金融机构一同遭受了一系列网络攻击,使客户连续几个小时都无法...

    虹科网络可视化与安全
  • Flash Builder无法正常启动应用程序的原因

    去掉编译器参数就可以了, 因为Flash Builer默认使用的是SDK 4.0,而目前开发中只需要使用3.5就可以了,加那个参数

    meteoric
  • Oracle Database Server 'TNS Listener'远程数据投毒漏洞

    环境:Windows 2008 R2 + Oracle 10.2.0.3 应用最新bundle patch后,扫描依然报出漏洞 Oracle Database...

    Alfred Zhao
  • Linux XOR DDoS僵尸网络发起强有力的DDoS攻击

    Akamai的专家们发现Linux XOR DDoS僵尸网络,它是一个恶意的网络基础设施,可用于对几十个目标发起强有力的DDoS攻击。此外,它主要针对游戏领域和...

    FB客服

扫码关注云+社区

领取腾讯云代金券