前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【Redis】二、Redis中字典结构

【Redis】二、Redis中字典结构

作者头像
石臻臻的杂货铺[同名公众号]
发布2021-07-14 10:07:14
2960
发布2021-07-14 10:07:14
举报
文章被收录于专栏:kafka专栏

Redis的字典使用哈希表作为底层实现,一个哈希表里面有多个哈希表节点,而每个哈希表节点保存了字典中的一个键值对(key-value)

1.字典的实现


代码语言:javascript
复制
说白了,基本上就是跟Java中的HashMap一样一样的

1.1 哈希表

代码语言:javascript
复制
typedef struct dictht{
	//哈希表数组 数组中的每个元素都指向 dict.h/dictEntry结构的指针,
	//每个dictEntry结构保存着一个键值对
	dictEntry **table;
	//哈希表大小 也就是 table的数组大小
	unsigned long size;
	//哈希表大小掩码,用于计算索引值;它总是等于size-1
	unsigned long sizemask;
	//该哈希表已有节点的数量  
	unsigned long used;
}dictht;

1.2 哈希表节点

代码语言:javascript
复制
typedef struct dictEntry{
	//键
	void *key;
	// 值 这个值可以是一个指针,或者一个uint64_t整数,又或者是一个int64_t整数
	union{
			void *val;
			unit64_t u64;
			int64_t s64;
    } v;
    // 指向下个哈希表节点 ,行程链表;
    //这个指针可以将多个哈希值相同的键值对链接在一起,来解决键冲突问题
    struct dictEntry *next;

}dictEntry;

1.3 字典

代码语言:javascript
复制
typedef struct dict{
	//类型特定函数
	dictType *type;
	//私有数据
	void *privdata;
	//哈希表
	dictht ht[2];
	//rehash 索引 当rehash不在进行时,值为-1
	int trehashidx;
}dict;

ht属性是一个包含两个项的数组,数组中的每个项都是一个dictht哈希表,一般情况下只是用ht[0]哈希表,ht[1]哈希表只会在对ht[0]进行rehash时使用。 trehashidx属性记录了当前rehash的进度。

解决键冲突


Redis哈希表使用链地址法来解决键冲突的!

Rehash的步骤


1). 为字典的ht[1]哈希表分配空间,这个哈希表的空间大小取决于要执行的操作,以及ht[0]当前包含的键值对数量(就是 ht[0].used属性值)

  • 如果是扩展操作, 那么ht[1]的大小为第一个大于等于 ht[0].used2 并且是 2的n次方的数 例如 ht[0].used=10 那么102=20; 找出2的n次方中刚好大于等于20的那个数就行了,2的4次方是16 2的5次方是32 ,那么这个数就是32.
  • 如果是收缩操作,那么ht[1]的大小为第一个大于等于 ht[0].used 并且是 2的n次方的数 例如 ht[0].used=10 找出2的n次方中刚好大于等于10的那个数就行了,2的3次方是8 2的4次方是16 那么这个数就是16

2)将保存在ht[0]中的所有键值对rehash到ht[1]上面。 3)当ht[0]包含的所有键值对都迁移到了ht[1]之后(迁移的意思是从ht[0]移到ht[1]).这个时候ht[0]已经是一个空表了,释放掉ht[0],然后将ht[1]设置为ht[0],并在ht[1]新创建一个空白哈希表,为下一次rehash做准备

哈希表的扩展与收缩


什么时候会自动对哈希表执行扩展操作呢 ?

  1. 服务器目前没有执行BGSAVE命令或者BGREWRITEAOF命令,并且哈希表的负载因子大于等于1.
  2. 服务器正在执行BGSAVE命令或者BGREWRITEAOF命令,并且哈希表的负载因子大于等于5. 其中哈希表负载因子 load_factor = ht[0].used / ht[0]size 因为BGSAVE命令或者BGREWRITEAOF命令过程中,Redis需要创建当前服务器进程的子进程,而大多数操作系统采用写时复制(copy-on-write)技术来优化子进程的使用效率。所以提供了复杂因子,从而尽可能避免在子进程存在期间就行哈希表的扩展操作。

当哈希表的负载因子小于0.1 会自动开始对哈希表的收缩操作

渐进式rehash


为了避免rehash对服务器性能造成影响,服务器不是一次性将ht[0]里面所有键值对rehash到ht[1],而是分多次、渐进式的将ht[0]里面的键值对慢慢的rehash到ht[1]. 渐进式rehash步骤:

  1. 为ht[1]分配空间,让字典同时持有ht[0]和ht[1]两个哈希表
  2. 在自动中维持一个索引计数器变量 rehashidx,并将它的值设置为0,表示rehash工作正式开始。
  3. 在rehash期间,每次对字典执行 增删改查 时候,程序除了这些操作以外,还会顺带将ht[0]哈希表再rehashidx索引上的所有键值对rehash到ht[1],当rehash工作完成之后,程序将rehashidx属性曾加一 做一次增删改查操作,就从索引为rehash的数组去做一次迁移; 相当于吧rehash所需要的计算工作均摊到了对字典的每一次增删改查上面,从而避免了集中式的rehash带来的庞大计算量

渐进式rehash执行期间哈希表的操作


在rehash期间,字典会同时使用ht[0]和ht[1]两个哈希表,所以再rehash期间,字典的 删改查都会在两个哈希表上进行; 但是新增的话只会在ht[1]里面进行;

redis字典是如何进行rehash的? 数据量那么大的情况下怎么保证rehash不会影响性能

redis是利用了渐进式的rehash方式来均摊了rehash这个过程,每一次增删改查都是一个rehash;

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019/03/19 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1.字典的实现
    • 1.1 哈希表
      • 1.2 哈希表节点
        • 1.3 字典
        • 解决键冲突
        • Rehash的步骤
        • 哈希表的扩展与收缩
        • 渐进式rehash
          • 渐进式rehash执行期间哈希表的操作
            • redis字典是如何进行rehash的? 数据量那么大的情况下怎么保证rehash不会影响性能
        相关产品与服务
        云数据库 Redis
        腾讯云数据库 Redis(TencentDB for Redis)是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备,提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档