首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >GreenPlum列存解密

GreenPlum列存解密

作者头像
yzsDBA
发布2022-12-27 13:49:11
8470
发布2022-12-27 13:49:11
举报

GreenPlum支持列式存储。叫做AOCO表。那么AOCO列存是如何管理列存文件?如何实现MVCC?是否支持索引,若支持如何实现的呢?下面我们介绍下AOCO的实现机制。

1、存储结构

如上图所示,列存每一列单独存储一个文件。上面一个表有4个字段,那么对应分别存储在relfilenode.1,relfilenode.129,relfilenode.257,relfilenode.385文件中。其中relfilenode为该表的文件OID,若没进行过truncate、vacuum等操作,和表的OID相同。该值可以从pg_class系统表中查询到。上述文件,存储在segment上,master节点仅存储与数据无关的元数据信息。

列存文件里也是以block为单位,一个block最大值的范围是8KB--2MB(默认32KB)。创建表时可以指定:

create table t(id1 int,id2 int,id3 int) with (appendonly=true, orientation = column, blocksize=65536) distributed by(id1);

也可以在列上指定,此时列上的限制会覆盖with中的限制:

create table t(
    id1 int encoding (blocksize = 65536),
    id2 int,
    id3 int
)with(appendonly=true,orientation=column,blocksize=65536) distributed by(id1);

2、并发

AOCO列存一列独立存储,每列最多128个文件,不同列值不会同时存储到同一个文件。比如并发操作第一列时,会话1使用filenode.1,会话2使用filenode.2。当会话1和会话2都结束后,再进行插入时,会轮流项filenode.1和filenode.2中插入,保持2个文件均衡。

当存在单列多个文件时,查询按照文件依次扫描,不会按照插入的顺序输出。

3、可见性

列存的可见性信息没有和列值存在一起,而是由一个辅助表管理。该辅助表为pg_aovisimap_OID,其中OID为表的OID。创建列存表后,会自动创建该表,另外还会自动创建辅助表的索引表pg_aovisimap_OID_index。pg_aovisimap_OID表有3个字段:

1)segno:文件ID,从1开始,并发使用

2)first_row_no:可见性map表开始的行号

3)visimap:bitmap,存储可见性信息

新创建的表,没有进行过更新、删除。那么pg_aovisimap_OID表里面没有数据,对应文件为空。当进行了更新或删除后,才会有数据。并且,仅存储被操作过的数据的可见性,以及和被操作数据在一个map内的行的可见性。一般情况下,32768行作为一个单位,存储在一个bitmap。没有被操作过,且不和其他操作过的在一个map里的行,其可见性不会体现在这个bitmap中,因为他就是可见的。

4、rownum

对于heap表,tupleid决定了每个记录的位置(记录在文件中的偏移)。AOCO表因为数据是压缩的,无法确定在文件中的偏移,因此引入了rownum。每个记录都有一个rownum且单调递增。通过和segno一起存储在AOTupleId中。AOTupleId和heap的ItemPointer结构用的是一个:

typedef struct ItemPointerData
{
  BlockIdData ip_blkid;//块号
  OffsetNumber ip_posid;//块内偏移
}
typedef struct BlockIdData
{
  uint16    bi_hi;
  uint16    bi_lo;
} BlockIdData;
typedef uint16 OffsetNumber;

所以ItemPointerData是3个uint16的空间。而AOTupleId:

typedef struct AOTupleId
{
  uint16    bytes_0_1;
  uint16    bytes_2_3;
  uint16    bytes_4_5;
} AOTupleId;

其0-6位存储segno;紧接着7-15及bytes_2_3和bytes_4_5的低15位一起来表示rownum。

5、MVCC

列存文件中不包含MVCC信息(xmin,xmax)。为实现MVCC,又引入一个辅助表pg_aoseg_OID。该表的vpinfo中存有重要信息,eof为实际情况下结束位置。辅助表是heap表,MVCC其实通过heap表的MVCC机制加上eof来实现。

6、索引

列存支持索引,但是非唯一索引。索引也是通过一个辅助表来完成。创建索引后会自动创建pg_aoblkdir_OID表及其索引pg_aoblkdir_OID_index。pg_aoblkdir_OID中有字段:

segno:文件号

1)columngroup_no:列号

2)first_row_no:行号

3)minipage:存储每个block的偏移。用于快速定位到列存文件中数据的位置。

注:

上述引入的辅助表都在pg_aoseg下。

7、总结

1、pg_aoseg_oid存储列存文件的结束信息,从而结合heap表的MVCC来实现列存的MVCC和事务隔离。

2、pg_aoblkdir_oid创建索引的时候生成,根据rownum行号查找数据block的偏移。列存的索引其实仍旧是btree。通过btree根据key找到其segno+rownum。然后通过segno+rownum从该辅助表找到位于哪个minipage,定位到minipage后,从里面找rownum对应的block号及偏移。

3、保持列数据的可见性,也是根据rownum来定位位于哪个vismap区,然后再从该bitmap中查看对应的位是否为1。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2022-09-21,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 yanzongshuaiDBA 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1、存储结构
  • 2、并发
  • 3、可见性
  • 4、rownum
  • 5、MVCC
  • 6、索引
  • 7、总结
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档