《Redis设计与实现》读书笔记(七) ——Redis对象综述及字符串对象实现原理

《Redis设计与实现》读书笔记(七) ——Redis对象综述及字符串对象实现原理

(原创内容,转载请注明来源,谢谢)

一、概述

redis不是直接的利用简单动态字符串、双端链表、字典、压缩列表、整数集合、跳跃表等,而是基于这些数据结构构建了一个对象系统,这个系统里面包含了字符串对象、列表对象、哈希对象、集合对象、有序集合对象(即redis的五种客户端可直接使用的数据结构)。

通过这五种对象,redis在执行命令前,会判断对象是否可以执行命令。针对不同的场景(数据量、数据类型),redis可以给对象用不同的数据结构实现,达到最优化。

另外,redis基于引用计数的内存回收机制,当不再需要对象时,自动释放相应内存;还通过引用计数实现对象的共享。

redis对象还带有访问时间信息,该信息可以计算数据库键的空转时长,在服务器启用memory功能的情况下,空转时长大的,内存不足时会优先被回收。

二、对象类型和编码

redis用对象存储键值对,因此每当创建一个键值对,至少会创建两个对象,一个是键对象,一个是值对象。

例如set msg ‘a’,创建了一个msg的键对象,一个a的值对象。

1、对象数据结构

redis的每个对象都是由redisObject结构表示,该结构中,和保存数据相关的属性如下:

typedef structredisObject{
unsigned type:4;
unsigned encoding:4;
void *ptr;
}robj;

其中type是对象类型,encoding是对象编码方式,ptr是指向底层数据结构的指针。

2、对象类型

对象

对象type属性

客户端type命令输出值

字符串

REDIS_STRING

string

列表

REDIS_LIST

list

哈希

REDIS_HASH

hash

集合

REDIS_SET

set

有序列表

REDIS_ZSET

zset

其中,在客户端对键使用type命令,返回的结果是键对应的值的类型。所有的键都是字符串对象。

例如,rpush numbers 1 23 4 5; type numbers;结果是输出list,而不是string。

3、编码

ptr指针指向对象底层的数据结构,具体是哪种结构,由encoding属性决定。

每种redis至少两种不同的编码:

1)string对象有整数值实现(int)、embstr编码的简单动态字符串(embstr)、普通简单动态字符串(raw)三种编码方式;

2)list对象有压缩列表(ziplist)、双端列表(linkedlist)两种实现方式;

3)hash对象有压缩列表、字典(hashtable)两种实现方式;

4)set对象有整数集合(intset)、字典两种实现方式;

5)zset对象有压缩列表、跳跃表(skiplist)+字典两种实现方式(zset就是sorted set)。

在redis客户端,用object encoding命令,可以看到键对应的值的编码方式。

给每种对象设置2种编码方式,极大提升了redis的灵活性和效率,根据不同的场景,可以使用不同的编码方式,从而优化特定情况下的效率。例如压缩列表,其使用的内存较少,且内存连续;但是当数据量大的时候,这些优势就消失,就要用其他的方式。

三、字符串对象

字符串对象的编码方式可以是int、embstr、raw三种。

1、保存方式

1)int

当字符串对象保存的是整数(只有整数,不含浮点数),并可以用long类型表示,则对象会将整数值直接保存在字符串对象*ptr属性,并且把void*类型改成long。这是唯一一种ptr属性直接保存值的情况,其他情况下ptr都是指向某个地址。

如下图所示:

2)raw

如果字符串对象保存的是字符串类型的值,并且大于32字节,就会使用简单动态字符串(sds)类型。ptr指针指向该简单动态字符串类型的地址。

如下图所示:

3)embstr

如果字符串对象保存的是字符串类型的值,并且小于或等于32字节,就会使用embstr编码方式来保存该值。ptr指针指向该类型的地址。

embstr是专门用于保存短字符串编码的优化编码方式,这种编码方式和sds一样,会用redisObject结构和sdshdr结构表示字符串对象。普通的sds会调用两次内存分配,分别创建这两种结构,而embstr会一次调用内存分配一块连续的内存空间。

这样的好处在于:

创建字符串对象所需的内存分配次数由两次降为1次;释放内存也只要1次释放;由于内存连续,因此更好利用缓存的优势。

保存结构如下图所示:

特别要说明的是,浮点数在redis的字符串对象中,也是当做字符串来保存的。保存之前会先将浮点数转成字符串进行存储,而取出后会转回成浮点数,再次存储时仍会转成字符串进行存储。

2、编码转换

当对现有的字符串对象进行操作,重新赋值以后,如果新的值不满足原来的类型,如原来int后面变成string,则编码方式会转换。

另外,由于redis的embstr编码方式没有任何修改的程序,因此embstr可以认为是只读的。因此,当embstr编码的对象进行任何的修改命令,都会将embstr编码转为raw编码(即使修改没有使string的字节超过32字节)。

3、字符串命令实现

因为字符串键对应的值是字符串对象,因此所有的命令都是针对字符串对象来构建的。字符串各类命令的实现如下图所示:

——written by linhxx 2017.08.31

原文发布于微信公众号 - 决胜机器学习(phpthinker)

原文发表时间:2017-08-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏偏前端工程师的驿站

Velocity魔法堂系列二:VTL语法详解

一、前言                               Velocity作为历史悠久的模板引擎不单单可以替代JSP作为Java Web的服务端网页...

1905
来自专栏Python入门

python超详细的基础笔记你学会了么

python是一种面向对象的解释型计算机程序设计语言,python的是吉多·范罗苏姆(Guido van Rossum)于1989年发明

892
来自专栏从零开始学自动化测试

python笔记14-读取yaml配置文件

yaml简介 1.yaml [ˈjæməl]: Yet Another Markup Language :另一种标记语言。yaml 是专门用来写配置文件的语言,...

3338
来自专栏GreenLeaves

C# 命名空间和程序集

一、命名空间 1、通过使用using关键字引入命名空间,减少代码量 命名空间对相关的类型进行逻辑分组,通过命名空间能快速的定位到相关的类型,例如:在System...

1948
来自专栏企鹅号快讯

看完这篇文章我知道至少85%的人是没有入门Python的!花两周整理

以前刚学编程的时候就对Python略有耳闻,不过学校只有C,C++,Java,C#。和PHP有句"PHP是最好的语言" 这种家喻户晓的骚话一样,Python也有...

2127
来自专栏PHP技术

MySQL的语句执行顺序

MySQL的语句一共分为11步,如下图所标注的那样,最先执行的总是 FROM操作,最后执行的是LIMIT操作。其中每一个操作都会产生一张虚拟的表,这个虚拟的表作...

36010
来自专栏维C果糖

史上最简单的 MySQL 教程(五)「SQL 基本操作 之 表操作」

根据操作对象的不同,咱们可以将 SQL 的基本操作分为三类,分别为:库操作、表(字段)操作和数据操作。

32313
来自专栏企鹅号快讯

看完这篇文章就能当Python工程师

有句话说得好,不想做程序员的司机不是好厨师!用十分钟看完小编整理的这篇文章,分分钟钟教你做司机...不是,是厨师...哦也不是,是程序猿! 在这里我还是要介绍一...

1805
来自专栏北京马哥教育

Python 开发者不得不知的魔术方法(Magic Method)

来源:j_hao104 my.oschina.net/jhao104/blog/779743 介绍 在Python中,所有以“__”双下划线包起来的方法,都统...

2597
来自专栏决胜机器学习

Redis专题(十)——Redis存储Session

Redis专题(十) ——Redis存储session (原创内容,转载请注明来源,谢谢) 一、概述 PHP默认是将session存于服务器...

3275

扫描关注云+社区