在Eclipse或者IDEA中进行spark与hbase联接操作时,都没有错误,然后发现当进行spark-submit提交的时候,却发现找不到hbase库的问题。
如截图所示。
这个问题的核心肯定是找不到hbase相应的库。打开输出给spark进行调用的JAR包,发现hbase也包含在里面,但是为什么会访问不到这个包呢。
终于在网上找了相关的问题,发现这是由于hadoop无法访问到hbase相应的lib的问题,所以需要设置一下classpath,就可以解决。最简单的方式就是
export spark_classpath中把hbase相对应的lib添加即可。