首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >如何使用spark 2访问hbase。*

如何使用spark 2访问hbase。*
EN

Stack Overflow用户
提问于 2017-02-14 11:43:31
回答 1查看 635关注 0票数 4

我写了一个使用spark 1.6和spark- HBase -connecotr ( sbt依赖:"it.nerdammer.bigdata“%”spark-hbase-hbase_2.10“% "1.0.3")访问连接器的程序。但在使用spark 2时不起作用。*。我对这个问题进行了搜索,得到了一些结论:

spark

  • 使用spark

连接hbase有多个连接器

Top.dir>1.6.0- hbase-spark. hbase-spark is provided by HBase official [website](https://github.com/apache/hbase/tree/master/hbase-spark). But I found it is developed on scala 2.10 and spark 1.6. The properties in the pom.xml of the project is as below: >2.10.4 2.10 ${project.basedir}/.. 1.7.6

- hbase- spark -connecotr:我访问了他们的website,没有关于spark 2.0的信息。jar的名称是spark-hbase-connector_2.10,这告诉我们jar是由spark 1.*使用的scala 2.10编译的。但是当我将jar的名称更改为spark -hbase-connector_ 2.11 (由scala 2.11编译,与spark 2相同)时,我的IEDA(一种IDE)告诉我没有名为spark-hbase-connecotr_2.11的jar,因此不支持spark 2。

- hortonworks- spark :我访问过他们的网站,有些评论说不支持spark 2。*.

你知道第三方提供的完整文档的jar解决了这个问题吗?使用spark 2.*连接hbase应该使用什么包?感谢您的建议。谢谢!

EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/42217513

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档