hbase+python安装部署及操作

hbase+python安装部署及操作

本文总结下最近在用python+spark+hbase安装操作中的一些问题。

• hbase安装
• hbase配置
• spark配置hbase
• hbase配置python

hbase安装+hbase配置

安装流程可借鉴此处，同理spark安装也可借鉴此处 具体参考：http://dblab.xmu.edu.cn/blog/install-hbase/

spark配置hbase

把HBase的lib目录下的一些jar文件拷贝到Spark目录中（直接拷贝到spark目录即可），这些都是编程时需要引入的jar包，需要拷贝的jar文件包括：所有hbase开头的jar文件、guava-12.0.1.jar、htrace-core-3.1.0-incubating.jar和protobuf-java-2.5.0.jar（共42个包） 具体参考：http://dblab.xmu.edu.cn/blog/1715-2/

hbase配置python

用python操作hbase时需要用到happybase库 python+happybase 1.pip install happybase 直接安装即可 2.测试安装 python -c ‘import happybase’，不报错就是正常的或直接导入happybase包不报错 3.安装thrift，thrift为一个语言编译器，在python去操作hbase是需要将语言重新编译为hbase底层支持的c++，具体可看https://www.cnblogs.com/enternal/p/5275455.html 4.要在hbase主节点上启动thrift server hbase thrift -p 9090 start 启动完成为就为启动成功，此页面一直保持，不要关闭，关闭则服务也关闭，在生产环境中可自行配置为后台启动

这里写图片描述

此时即可用python操作hbase，或者可直接参考happybase提供的官方API文档 http://happybase.readthedocs.io/en/latest/user.html#establishing-a-connection 具体参考：http://blog.csdn.net/lizhe_dashuju/article/details/53931749

后续研究用pyspark来操作hbase