专栏首页python前行者Python操作HBase之happybase

Python操作HBase之happybase

安装Thrift

安装Thrift的具体操作,请点击链接

pip install thrift

安装happybase

pip install happybase

连接(happybase.Connection)

happybase.Connection(host=’localhost’, port=9090, timeout=None, autoconnect=True, table_prefix=None, table_prefix_separator=b’_’, compat=’0.98’, transport=’buffered’, protocol=’binary’)

获取连接实例

host:主机名 port:端口 timeout:超时时间 autoconnect:连接是否直接打开 table_prefix:用于构造表名的前缀 table_prefix_separator:用于table_prefix的分隔符 compat:兼容模式 transport:运输模式 protocol:协议

connection = happybase.Connection(host="192.168.0.156",port=9090,timeout=None,autoconnect=True,table_prefix=None,table_prefix_separator=b'_',compat='0.98', transport='buffered',protocol='binary')

使用连接池

Hbase自带有线程安全的连接池,踏允许多个线程共享和重用已经打开的连接。这对于多线程的应用是非常有用的。当一个线程申请一个连接,它将获得一个租赁凭证,在此期间,这个线程单独享有这个连接。当这个线程使用完该连接之后,它将该连接归还给连接池以便其他的线程可以使用

# 创建连接,通过参数size来设置连接池中连接的个数
pool = happybase.ConnectionPool(size=3, host='10.1.13.111', table_prefix='myProject')
# 获取连接
with pool.connection() as connection:
    print connection.tables()

open():打开传输,无返回值

connection.open()

close():关闭传输,无返回值

connection.close()
  • compact_table(name,major=False):压缩指定表格,无返回值
    • name:表名
    • major:是否主要压缩
connection.compact_table(name,major=False)
  • create_table(name,families):创建表,无返回值
    • name:表名
    • families:列族
families = {
    "cf":dict(),
    "df":dict()
}
connection.create_table(name,families)      # 如果连接时,有传递表前缀参数时,真实表名将会是:"{}_{}".format(table_prefix,name)
connection.create_table(
    'my_table',
    {
        'cf1': dict(max_versions=10),
        'cf2': dict(max_versions=1, block_cache_enabled=False),
        'cf3': dict(),  # use defaults
    }
)

此时,我们再通过connection.tables()查看可以使用的table,结果为[‘my_table’]

创建的table即my_table包含3个列族:cf1、cf2、cf3

使用table的命名空间

因为一个Hbase会被多个项目共同使用,所以就会导致table的命名冲突,为了解决这个问题,可以在创建table的时候,手动加上项目的名字作为table名字的前缀,例如myproject_xyz。

但是这样做比较麻烦,happybase帮我们做好了工作,我们可以在与Hbase建立连接的时候,通过设置table_prefix参数来实现这个功能

connection = happybase.Connection('10.1.13.111', table_prefix='myproject')

此时connection.tables()只会返回包含在该命名空间里的tables,且返回的tables的名字会以简单的形式显示,即不包含前缀。

  • delete_table(name,disable=False):删除表,无返回值
    • name:表名
    • disable:是否先禁用表
connection.delete_table(name,disable=False)
  • disable_table(name):禁用表,无返回值
    • name:表名
connection.disable_table(name)
  • enable_table(name):启用表,无返回值
    • name:表名
connection.enable_table(name)
  • is_table_enabled(name):表是否已经被启用,返回一个bool值
    • name:表名
connection.is_table_enabled(name)
  • connection.table(name,user_prefix=True):获取一个表对象,返回一个happybase.Table对象
    • name:表名
    • user_prefix:是否使用表前缀,默认为True
table = connection.table(name,user_prefix=True)     # table为happybase.table.Table类型
  • connection.tables():获取Hbase实例中的表名列表,返回一个list
table_name_list = connection.tables()

表(happybase.Table)

  • happybase.Table(name,connection):获取表实例
    • name:表名
    • connection:连接
table = happybase.Table(name,connection)
  • cells(row, column, versions=None, timestamp=None, include_timestamp=False):获取单元格数据,返回一个list
    • row:行
    • column:列
    • versions:获取的最大版本数量,默认None,即获取所有
    • timestamp:时间戳,默认None,即获取所有时间戳版本的数据。可指定一个时间戳,获取小于此时间戳版本的所有数据
    • include_timestamp:是否返回时间戳,默认False
content = table.cells('row1','cf:1',5,timestamp=1514861929124,include_timestamp=True)
print content   # [('1', 1514861925674L)]
  • counter_set(row,column,value=0):设置计数器列为特定值,此方法在指定列中存储一个64位有符号整数值。无返回值
    • row:行
    • column:列
    • value:默认值,默认为0
table.counter_set(row,column,value=0)
  • table.counter_get(row,column):获取计数器列的值,返回当前单元格的值
    • row:行
    • column:列
content = table.counter_get(row,column)
  • counter_dec(row,column,value=1):计数器列递减,返回递减后单元格的值
    • row:行
    • column:列
    • value:每次递减的值,默认为1
content = table.counter_dec(row,column,value=1)
  • counter_inc(row,column,value=1):计数器列递增,返回递增后单元格的值
    • row:行
    • column:列
    • value:每次递增的值,默认为1
content = table.counter_inc(row,column,value=1)
  • delete(row, columns=None, timestamp=None, wal=True):删除指定行数据,无返回值
    • row:行
    • columns:列,默认为None,即删除所有列,可传入一个list或tuple来指定删除列
    • timestamp:时间戳,默认为None,即删除所有,可传入一个时间戳来删除小于等于此时间戳的所有数据
    • wal:是否写入wal,默认为True
table.delete(row, columns=None, timestamp=None, wal=True)
  • families():获取所有列族信息,返回一个dict
info = table.families()
print info

{
    'cf': {
        'max_versions': 3,
        'bloom_filter_vector_size': 0,
        'name': 'cf: ',
        'bloom_filter_type': 'NONE',
        'bloom_filter_nb_hashes': 0,
        'time_to_live': 2147483647,
        'in_memory': False,
        'block_cache_enabled': False,
        'compression': 'NONE'
    },
    'cd': {
        'max_versions': 3,
        'bloom_filter_vector_size': 0,
        'name': 'cd: ',
        'bloom_filter_type': 'NONE',
        'bloom_filter_nb_hashes': 0,
        'time_to_live': 2147483647,
        'in_memory': False,
        'block_cache_enabled': False,
        'compression': 'NONE'
    }
}
  • put(row, data, timestamp=None, wal=True):插入数据,无返回值
    • row: 行
    • data: 数据,dict类型,{列:值}构成,列与值皆为str类型
    • timestamp:时间戳,默认None,即写入当前时间戳
    • wal:是否写入wal,默认为True
# 在row1行,cf:1列插入值1
table.put("row1",{"cf:1":"1"})

使用put一次只能存储一行数据

如果row key已经存在,则变成了修改数据

更好的存储数据

table.put()方法会立即给Hbase Thrift server发送一条命令。其实这种方法的效率并不高,我们可以使用更高效的table.batch()方法。

# 使用batch一次插入多行数据
bat = table.batch()
bat.put('www.test5.com', {'cf1:price': 999, 'cf2:title': 'Hello Python', 'cf2:length': 34, 'cf3:code': 'A43'})
bat.put('www.test6.com', {'cf1:content': u'剃须刀', 'cf1:price': 168, 'cf1:rating': '97%'})
bat.put('www.test7.com', {'cf3:function': 'print'})
bat.send()

更有用的方法是使用上下文管理器来管理batch,这样就不用手动发送数据了,即不再需要bat.send()

# 使用with来管理batch
with table.batch() as bat:
    bat.put('www.test5.com', {'cf1:price': '999', 'cf2:title': 'Hello Python', 'cf2:length': '34', 'cf3:code': 'A43'})
    bat.put('www.test6.com', {'cf1:content': u'剃须刀', 'cf1:price': '168', 'cf1:rating': '97%'})
    bat.put('www.test7.com', {'cf3:function': 'print'})

还可以删除数据

# 在batch中删除数据
with table.batch() as bat:
    bat.put('www.test5.com', {'cf1:price': '999', 'cf2:title': 'Hello Python', 'cf2:length': '34', 'cf3:code': 'A43'})
    bat.put('www.test6.com', {'cf1:content': u'剃须刀', 'cf1:price': '168', 'cf1:rating': '97%'})
    bat.put('www.test7.com', {'cf3:function': 'print'})
    bat.delete('www.test1.com')

batch将数据保存在内存中,知道数据被send,第一种send数据的方法是显示地发送,即bat.send(),第二种send数据的方法是到达with上下文管理器的结尾自动发送。这样就存在一个问题,万一数据量很大,就会占用太多的内存。所以我们在使用table.batch()的时候要通过batch_size参数来设置batch的大小

# 通过batch_size参数来设置batch的大小
with table.batch(batch_size=10) as bat:
    for i in range(16):
        bat.put('www.test{}.com'.format(i), {'cf1:price': '{}'.format(i)})
  • regions():检索此表的区域服务器信息
info = table.regions()
print info

# [{'name': 'ddd_ch,,1514948783663.caccaafa3df04cd75737a9effb5615d4.', 'server_name': 'slave3', 'port': 16020, 'end_key': '', 'version': 1, 'start_key': '', 'id': 1514948783663L}]
  • row(row, columns=None, timestamp=None, include_timestamp=False):获取一行数据,返回一个dict
    • row:行
    • columns: 列,默认为None,即获取所有列,可传入一个list或tuple来指定获取列
    • timestamp:时间戳。默认为None,即返回最大的那个时间戳的数据。可传入一个时间戳来获取小于此时间戳的最大时间戳的版本数据
    • include_timestamp:是否返回时间戳数据,默认为False
info = table.row(row, columns=None, timestamp=None, include_timestamp=False)
# 检索多行数据
rows = table.rows(['www.test1.com', 'www.test4.com'])
print rows

返回的是一个list,list的一个元素是一个tuple,tuple的第一个元素是row key,第二个元素是row key的值

如果想使检索多行数据即table.rows()返回的结果是一个字典,可以这样处理

# 检索多行数据,返回字典
rows_dict = dict(table.rows(['www.test1.com', 'www.test4.com']))
print rows_dict

如果想使table.rows()返回的结果是一个有序字典,即OrderedDict,可以这样处理

# 检索多行数据,返回有序字典
from collection import OrderedDict
rows_ordered_dict = OrderedDict(table.rows(['www.test1.com', 'www.test4.com']))
print rows_ordered_dict

更好地检索数据

# 通过指定列族来检索数据
row = table.row('www.test1.com', columns=['cf1'])
print row
# 通过指定列族中的列来检索数据
row = table.row('www.test1.com', columns=['cf1:price', 'cf1:rating'])
print row
print row['cf1:price']

在Hbase里,每一个cell都有一个时间戳timestamp,可以通过时间戳来检索数据

# 通过指定时间戳来检索数据,时间戳必须是整数
row = table.row('www.test1.com', timestamp=1489070666)
print row

默认情况下,返回的数据并不会包含时间戳,如果你想获取时间戳,这样就可以了

# 在返回的数据里面包含时间戳
row = table.row(row='www.test1.com', columns=['cf1:rating', 'cf1:price'], include_timestamp=True)
print row

对于同一个单元的值,Hbase存储了多个版本,在创建表的时候可以通过max_versions参数来设置一个列族的最大版本号,如果想检索某一cell所有的版本,可以这样

# 检索某一个cell所有的版本
cells = table.cells(b'www.test1.com', column='cf1:price')
print cells

也可以通过version参数来指定需要检索的前n个版本,如下

# 通过设置version参数来检索前n个版本
cells = table.cells(b'www.test1.com', column='cf1:price', versions=3)
print cells

删除数据

# 删除一整行数据
table.delete('www.test4.com')
# 删除一个列族的数据
table.delete('www.test2.com', columns=['cf1'])
# 删除一个列族中几个列的数据
table.delete('www.test2.com', columns=['cf1:name', 'cf1:price'])
  • scan(row_start=None, row_stop=None, row_prefix=None, columns=None, filter=None, timestamp=None, include_timestamp=False, batch_size=1000, scan_batching=None, limit=None, sorted_columns=False, reverse=False):获取一个扫描器,返回一个generator

row_start:起始行,默认None,即第一行,可传入行号指定从哪一行开始 row_stop:结束行,默认None,即最后一行,可传入行号指定到哪一行结束(不获取此行数据) row_prefix:行号前缀,默认为None,即不指定前缀扫描,可传入前缀来扫描符合此前缀的行 columns:列,默认为None,即获取所有列,可传入一个list或tuple来指定获取列 filter:过滤字符串 timestamp:时间戳。默认为None,即返回最大的那个时间戳的数据。可传入一个时间戳来获取小于此时间戳的最大时间戳的版本数据 include_timestamp:是否返回时间戳数据,默认为False batch_size:用于检索结果的批量大小 scan_batching:服务端扫描批处理 limit:数量 sorted_columns:是否返回排序的列(根据行名称排序) reverse:是否执行反向扫描

scanner = table.scan(row_start=None, row_stop=None, row_prefix=None, columns=None, filter=None, timestamp=None, include_timestamp=False, batch_size=1000, scan_batching=None, limit=None, sorted_columns=False, reverse=False)

扫描一个table里的数据

# 全局扫描一个table
for key, value in table.scan():
    print key, value

结果如下:

这种全局扫描一个表格其实代价是很大的,尤其是当数据量很大的时候。我们可以通过设置开始的row key 或结束的row key或者同时设置开始和结束的row key来进行局部查询

# 通过row_start参数来设置开始扫描的row key
for key, value in table.scan(row_start='www.test2.com'):
    print key, value
# 通过row_stop参数来设置结束扫描的row key
for key, value in table.scan(row_stop='www.test3.com'):
    print key, value
# 通过row_start和row_stop参数来设置开始和结束扫描的row key
for key, value in table.scan(row_start='www.test2.com', row_stop='www.test3.com'):
    print key, value

另外,还可以通过设置row key的前缀来进行局部扫描

# 通过row_prefix参数来设置需要扫描的row key
for key, value in table.scan(row_prefix='www.test'):
    print key, value

常见问题

thriftpy.parser.exc.ThriftParserError: ThriftPy does not support generating module with path in protocol ‘e’\ 解决:找到虚拟环境下的Lib\site-packages\thriftpy\parser\parser.py,line 488,进行如下操作:

if url_scheme == '':

修改为:

if len(url_scheme) <= 1:

happybase1.0 报错:ThriftPy does not support generating module with path in protocol ‘f’

原因:happybase1.0在win下不支持绝对路径

具体原因:happybase要读取Python\Lib\site-packages\happybase\Hbase.thrift,但在Python\Lib\site-packages\thriftpy\parser\parser.py中的487行

url_scheme = urlparse(path).scheme
if url_scheme == '':

    with open(path) as fh:
        data = fh.read()
elif url_scheme in ('http', 'https'):('http', 'https'):
    data = urlopen(path).read()
else:
    raise ThriftParserError('ThriftPy does not support generating module '
                            'with path in protocol \'{}\''.format(
                                url_scheme))

path是Hbase.thrift的绝对路径(我的是“F:\SoftWare\Python27\Lib\site-packages\happybase\Hbase.thrift”),但经过urlparse(path).scheme后,url_scheme变成了“f”,(这也就是报错信息中最后的“f”)。根据代码,url_scheme既不为“”,也不包含(‘http’,’https’),则只能为raise报错。 解决方案:将488行的url_scheme == ”改为url_scheme in (‘f’, ”),即

url_scheme = urlparse(path).scheme
#if url_scheme == '':
if url_scheme in ('f', ''):
    with open(path) as fh:
        data = fh.read()
elif url_scheme in ('http', 'https'):
    data = urlopen(path).read()
else:
    raise ThriftParserError('ThriftPy does not support generating module '
                            'with path in protocol \'{}\''.format(
                                url_scheme))

注:’f’为盘符,就是我把python装在了f盘,只要能让那个判断为真就行。

相较于Hbase-Thrift,博主更建议使用HappyBase

文章参考:http://blog.csdn.net/y472360651/article/details/79059457

https://my.oschina.net/wolfoxliu/blog/856175

http://blog.163.com/dxy1016@126/blog/static/122332581201691224015296/

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • python安装完毕后,提示找不到ssl模块的解决步骤

    周小董
  • jpype._jvmfinder.JVMNotFoundException: No JVM shared library file

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

    周小董
  • 关于MySQL的1064错误

    MySQL的1064错误是SQL语句写的有问题时出现的,即SQL的语法错误。笔者常常使用MySQL-python这个库来对MySQL进行操作,代码中报这个错误的...

    周小董
  • 765. Couples Holding Hands

    思路: 贪心,不过不好证明。从位置0开始,看位置1是否是它的partner,如果是,直接忽略这组couple,如果不是,从后面的数组中,找到partner直...

    用户1147447
  • 在Spring Boot框架下使用WebSocket实现消息推送

    按:最近公众号文章主要是整理一些老文章,以个人CSDN上的博客为主,也会穿插一些新的技术点。 ---- Spring Boot的学习持续进行中。前面两篇博客我们...

    江南一点雨
  • 【手记】解决VS发布asp.net项目报错“该项目中不存在目标GatherAllFilesToPublish”及后续问题

    用VS2017打开一个以前用VS2010写的asp.net项目后,设置好发布选项(发布到文件夹),发布的时候报错如图:

    AhDung
  • 刷题第1篇:青蛙跳

    上周结束了javaweb的全部学习,下面开始学习框架了。发现框架的学习周期较长,不太好分享出来。恰巧现在开始刷题了,后面的话小白准备每周分享几道刷题过程中遇到的...

    鹏-程-万-里
  • 什么是最有效的ddos混合防御方法?

    互联网的多样化以及发展速度,使网络安全变得极为复杂,为了提高企业对网络安全的思想意识,墨者安全长期会给大家分享一些关于DDOS攻击防御,CC攻击防御...

    墨者盾
  • 从MYSQL 数据库归档 到 归档设计

    到数据归档,很多人的第一个概念就是,不就是无用的数据,换个地方放吗,直接拷贝,删除不就得了,有那么麻烦。

    AustinDatabases
  • PCL深度图像(2)

    1.深度图像也叫距离影像,是指将从图像采集器到场景中各点的距离(深度)值作为像素值的图像。获取方法有:激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔...

    点云PCL博主

扫码关注云+社区

领取腾讯云代金券