前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >位图索引(bitmap index)

位图索引(bitmap index)

作者头像
Apache IoTDB
发布2020-09-27 10:37:22
2.4K0
发布2020-09-27 10:37:22
举报
文章被收录于专栏:Apache IoTDBApache IoTDB

位图索引是一种很高效的索引结构,对于多属性过滤的聚合查询很高效,玩的就是 bit。

本文预计阅读时间 3 分钟。

位图索引基本概念

位图:位(bit)的一个简单数组,比如 001010,这个位数就是 6。

位图索引:假如建立在一个表的列 A 上,对属性 A 中的每一个可能取值都建立位图,位图的位数和数据量相等。

位图的生成方法:如果编号为 i 的记录在属性 A 上的值为 v_j,则 v_j 位图的第 i 位为1,否则为0。

实际例子

我们为性别字段建立位图索引,性别有 3 种取值,分别建立位图索引。

《性别_男》= 100100。表示第 1 个和第 4 个是男,其他不是男,后边类似。

《性别_女》= 011010。

《性别_中性》= 000001。

相同的,对收入也建立位图索引:

《收入_1w》= 101010。

《收入_2w》= 010101。

用法

单属性过滤原始数据查询:单个属性满足条件的原始数据,比如查询所有男性。

直接利用《性别_男》位图去找原始数据就可以了。

多属性过滤原始数据查询:多个属性满足条件的原始数据。比如查询性别为男且收入为1w的记录:

这时就可以将《性别_男》和《收入_1w》两个位图进行 and 操作:

100100 and 101010 = 100000

结果显示只有第一条记录满足条件。

多属性过滤聚合查询:多个属性满足条件的记录聚合值。比如查询男性收入 1w 的人数。

将两个位图进行 and 操作后直接统计 1 的个数,避免了原始数据查询,这是位图索引最快的查询。

实现方式

简单版:用 for 循环来操作两个位图,一个一个位计算。

升级版:用 int 或者 long 来表示位图,直接对 int 或 long 进行 and 操作。

比如 java 中:9 & 10 = 8(1001 & 1010 = 1000)。这样可以一次计算 32 位或者 64 位。

一些约束

位图索引适合枚举类型的取值,连续变化的需要分段离散化才能使用位图。

不知道大家注意到没有,为啥我在性别中加了个中性?因为 bit 有 0/1 两种取值,如果属性也只有两种取值的话,就不需要对每一种取值建立一个位图了,用一个位图就够了,另一个取值将位图取反就可以得到。比如去掉中性,那么《性别_男》= 1000,《性别_女》= 0111。

当删除一个男性记录,可以将《性别_男》中对应位置 0。但是这样取反后就会多出一个女性记录。因此最好还是对属性的每个取值建立位图。

总结

可以在枚举类型的属性上建立位图索引,为属性的每个取值建立一个位图。从而大幅度加速多属性过滤的普通查询和聚合查询。

之前的图有点丑,还是换成这种清爽。读技术文章不易亢奋,欢迎推荐给身边的 IT 人!

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-08-20,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Apache IoTDB 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档