我写了一个使用spark 1.6和spark- HBase -connecotr ( sbt依赖:"it.nerdammer.bigdata“%”spark-hbase-hbase_2.10“% "1.0.3")访问连接器的程序。但在使用spark 2时不起作用。*。我对这个问题进行了搜索,得到了一些结论:
spark
连接hbase有多个连接器
Top.dir>1.6.0- hbase-spark. hbase-spark is provided by HBase official [website](https://github.com/apache/hbase/tree/master/hbase-spark). But I found it is developed on scala 2.10 and spark 1.6. The properties in the pom.xml of the project is as below:
>2.10.4 2.10 ${project.basedir}/.. 1.7.6
- hbase- spark -connecotr:我访问了他们的website,没有关于spark 2.0的信息。jar的名称是spark-hbase-connector_2.10,这告诉我们jar是由spark 1.*使用的scala 2.10编译的。但是当我将jar的名称更改为spark -hbase-connector_ 2.11 (由scala 2.11编译,与spark 2相同)时,我的IEDA(一种IDE)告诉我没有名为spark-hbase-connecotr_2.11的jar,因此不支持spark 2。
- hortonworks- spark :我访问过他们的网站,有些评论说不支持spark 2。*.
你知道第三方提供的完整文档的jar解决了这个问题吗?使用spark 2.*连接hbase应该使用什么包?感谢您的建议。谢谢!
发布于 2017-03-03 11:12:25
我选择使用newAPIHadoopRDD访问spark中的hbase
https://stackoverflow.com/questions/42217513
复制相似问题