Redis是一个开源的 key-value 存储系统,它使用六种底层数据结构构建了包含字符串对象、列表对象、哈希对象、集合对象和有序集合对象的对象系统。今天我们就通过12张图来全面了解一下它的数据结构和对象系统的实现原理。
Redis 中的 Set 是我们经常使用到的一种数据类型,根据使用方式的不同,可以应用到很多场景中。
Redis 是一个开源的 key-value 存储系统,它使用六种底层数据结构构建了包含字符串对象、列表对象、哈希对象、集合对象和有序集合对象的对象系统。
1.redis并没有直接使用前面的数据结构实现键值对数据库,而是基于数据结构创建了一个对象系统,字符串对象/列表对象/哈希对象/集合对象/有序集合对象都用到了至少一种前面的数据结构 2.针对不同的使用场景,为对象设置多种不同的数据结构实现,从而优化对象在不同场景下的使用效率 3.redis的对象系统实现了基于引用计数的内存回收机制,通过引用计数实现了对象共享机制,多个键共享同一个对象节约内存 4.redis对象带有访问时间记录信息,会计算键的空转时长,开启maxmemory下会优先删除长的 5.创建一个键值对时,至少创建两个对象,键对象和值对象redisObject结构定义,type属性记录了对象的类型,用type命令的时候返回的是值对象的类型 6.redisObject结构的ptr属性,指向对象的底层数据结构,encoding属性encoding属性决定了该对象使用哪个底层数据结构(整数/简单动态字符串/字典/双端链表/压缩列表/整数集合/跳跃表和字典),object encoding命令可以查看值对象的编码 7.列表对象在元素比较少时使用压缩列表,比较多时使用双端链表 9.字符串对象可以是int,raw(简单动态字符串),embstr(embstr编码的简单动态字符串),long类型的整数存的是时候是int;小于32字节的是embstr,大于的是raw 10.列表对象可以是ziplist(压缩列表)和linkedlist(双端链表),列表对象保存的所有字符串元素的长度都小于64字节和元素数量小于512个时使用ziplist rpush book "aaaaaaaaaaaaaa" "bbbbbbbbbbb"等进行测试 11.哈希对象的编码可以是ziplist或者hashtable;当使用ziplist编码时,当有新的键值对加入到哈希对象,先把键压入压缩列表,再把值压入压缩列表 12.当使用hashtable编码的哈希对象,使用字典作为底层实现,哈希对象中的每个键值对都使用字典的键值对保存 13.哈希对象保存的所有键值对的键和值字符串长度都小于64字节,保存键值对的数量小于512个,使用ziplist编码,否则使用hashtable编码 14.哈希对象中键的长度太大或者值的长度太大都会引起编码转换,使用object encoding key可以观察到 hset book aaaaaaaaaaa_name "aa"等进行测试 15.集合对象的编码可以是intset或者hashtable,intset的集合对象使用整数集合作为底层,当元素数量不超过512个,所有元素都是整数的时候;hashtable编码的使用字典作为底层实现,字典的键是字符串对象,字典的值是null;不能重复,不保证顺序,保证数据唯一 16.有序集合的编码是ziplist和skiplist,压缩列表的集合元素按分值从下到大进行排序,使用ziplist编码的,第一个节点保存元素的成员,第二个节点保存元素的分值;skiplist底层使用zset结构同时包含一个字典和一个跳跃表,对有序集合的范围操作比如zrank,zrange是通过跳跃表实现;取给定成员的分值,是通过字典实现的 保存元素小于128个,所有成员长度小于64字节的使用ziplist,其他使用skiplist
Redis支持五种主要数据结构:字符串(Strings)、列表(Lists)、哈希表(Hashes)、集合(Sets)和有序集合(Sorted Sets)。这些数据结构为开发者提供了灵活的数据操作方式,满足了不同场景下的数据存储需求。
Redis 是我们工作中接触最多的非关系型数据库,我所在的公司也是 Redis 的深度用户,我们线上的大部分的业务都使用到了 Redis。与传统数据库不同的是 Redis 的数据是存在内存中的,所以存写速度非常快,因此 Redis 被广泛应用于缓存方向。值得注意的是,Redis 也经常用来做分布式锁。Redis 提供了多种数据类型来支持不同的业务场景。除此之外,Redis 支持事务 、持久化、LUA 脚本、LRU 驱动事件、多种集群方案。以前在使用 Redis 的时候,只是简单地使用它提供的基本数据类型和接口,并没有深入研究它底层的数据结构。最近打算重新学习梳理一下 Redis 方面的知识。
Redis并没有直接使用这些数据结构来实现键值对数据库,而是基于这些数据结构创建了一个对象系统,这个系统包含字符串对象、列表对象、哈希对象、集合对象和有序集合对象这五种类型的对象,每种对象都用到了至少一种我们前面所介绍的数据结构。
Redis对象系统包含字符串对象、列表对象、哈希对象、集合对象和有序集合对象这五种类型的对象。每一种对象底层都由前面介绍的SDS,双向链表,哈希表,跳表,整数集合或者压缩列表等一种数据结构实现,下面会详细进行介绍。 Redis 使用对象来表示数据库中的键和值, 每次当我们在 Redis 的数据库中新创建一个键值对时, 我们至少会创建两个对象, 一个对象用作键值对的键(键对象), 另一个对象用作键值对的值(值对象) 键对象均有字符串对象表示,值对象可以时五种对象中的任意一种,因此当说一个键是列表键时,指的是值的类型是列表对象。对一个键执行type命令时,返回的类型也是键对应的值得类型,如下所示:
redis内部有 简单动态字符串、链表、字典、跳跃表、整数集合、压缩列表六种数据结构。
集合和字典都消耗内存 但是查询速度很快 字典的键和集合的元素都是可散列的 添加新元素都可能改变顺序
Redis 已经是大家耳熟能详的东西了,日常工作也都在使用,面试中也是高频的会涉及到,那么我们对它究竟了解有多深刻呢?
近期和大家分享总结了关于Python基础进阶的文章“【全网力荐】堪称最易学的Python基础入门教程”,然后得到了很多小伙伴的支持和肯定,但是同时很多刚开始学习的小伙伴在编程的时候还会遇见很多错误,所以就又为大家总结了一篇关于Python常见报错及其解决方案的文章“全网最值得收藏的Python常见报错及其解决方案,再也不用担心遇到BUG了!”。来帮助大家解决在前期学习中遇到的一些bug。感兴趣的小伙伴可以去阅读一下。
ziplist 编码的哈希对象使用压缩列表作为底层实现。每当有新的键值对要加入到哈希对象时,程序会先将保存了键的压缩列表节点推入到表尾,然后再将保存了值的压缩列表节点推入到表尾。因此:
Redis的5种常见数据结构:字符串(String)、列表(List)、散列(Hash)、集合(Set)、有序集合(Sorted Set)。这些都是Redis对外暴露的数据结构,本文将介绍这些数据结构的底层数据结构的实现。
最佳实践:因为对字符串的增长或缩短操作都有可能需要执行内存重分配,所以修改相同键使用SDS类型保存的值时保持修改前后长度一致。
上一篇说了Redis有五种数据类型,今天就来聊一下Redis底层的数据结构是什么样的。是这一周看了《redis设计与实现》一书,现来总结一下。(看书总是非常烦躁的!)
一、数据结构与对象 简单动态字符串(SDS) 相比C字符串增加记录字符串长度的,获取字符串长度复杂度为O(1) 相比C字符串增加记录已分配内存空间,可以避免缓冲区溢出 空间预分配和空间惰性释放 二进制安全,不是以空字符(\0)来判断字符串是否结束 遵循C字符串以空字符结尾的惯例,可以兼容部分C字符串函数 关于空间预分配和空间惰性释放 字符串增长操作时,如果修改后长度小于1M则分配该字符串长度2倍的内存空间,如果修改后长度大于等于1M则分配该字符串长度+1M的内存空间。(预分配,避免每次增长操作都需要进
Redis用到的底层数据结构有:简单动态字符串、双端链表、字典、压缩列表、整数集合、跳跃表等,Redis并没有直接使用这些数据结构来实现键值对数据库,而是基于这些基础数据结构创建了一个对象系统,这写对象包括字符串对象、列表对象、哈希对象、集合对象和有序集合对象等。
提到Redis,大家的第一反应是去做Redis缓存,为什么呢?因为“快”是Redis的最大特点,用于做缓存,减少I/O操作,Redis非常适合,但为什么Redis会这么快呢?
概述: 学习使用Redis,其实并不需要去研究其底层数据的实现。我们只需要了解他有哪些常用的数据类型,然后熟练使用,就可以很好的掌握Redis 这个工具了。但是这样的学习方法只适合Redis 的入门,“工欲善其事必先利其器”,我们想要用好Redis,则必须深入了解Redis 的底层到底是如何实现的,我们在选择数据结构的时候才能做出正确的选择。 在上一篇博客《深入浅出Redis-redis底层数据结构(上)》中,我们已经讲解了Redis 中的 动态字符串,链表,字典 在这里我们简单回顾一下他
使用字典作为底层实现,字典的每个键都是一个字符串对象,每个字符串对象包含了一个集合元素,而字典的值则全部被设置为Null
1.list(列表) 2.tuple(元组) 3.str(字符串) 4.set(集合) 5.dict(字典)
Redis 在互联网技术存储方面的使用可以说是非常广泛了,只要是接触过 Java 开发的朋友就算你没用过,都会听过它。在面试也是非常高频的一个知识点。
字典(dictionary),其他开发语言中也有称为 map 的,使用键值对(key-value)方式存储数据,具有很快的查找速度。
简单动态字符串(simple dynamic string,SDS),结构体非常简单
Redis 常用的数据类型主要有:String, List, Hash, Set, ZSet 五种,它们分别对应的底层数据结构有:
变量:存储数据的容器,我们可以通过变量来操作数据 我们在创建变量时会在内存中开辟一个空间,可以存储不同类型的数据。
Redis是一个由ANSI C语言编写,性能优秀、支持网络、可持久化的K-K内存数据库,并提供多种语言的API。它常用的类型主要是 String、List、Hash、Set、ZSet 这5种
Redis是一个由ANSI C语言编写,性能优秀、支持网络、可持久化的K-K内存数据库,并提供多种语言的API。它常用的类型主要是 String、List、Hash、Set、ZSet 这5种。
本人大二,因为Python结业考试项目,又想要学习机器学习方向,但是由于接触时间不长,选择了实验楼的Python破解验证码这个项目作为我的项目,
Redis有五种基本数据结构:字符串、hash、set、zset、list。但是你知道构成这五种结构的底层数据结构是怎样的吗? 0x01:Redis底层八种数据结构 简单动态字符串 SDS (simp
学习完《redis设计与实现》前面关于数据结构与对象的章节,以上问题都能得到解答。你也能了解到redis作者如此的煞费苦心设计了这么多丰富的数据结构,目的就是优化内存。学完这些内容,在使用redis的过程中,也会合理的使用以适应它内部的特点。当然新版本的redis支持了更多更丰富的特性,该书基于redis3版本,还没有涉及到那些内容。
Redis底层的数据库采用的就是这种结构,还有哈希键的底层实现之一也是采用HashMap这种结构。 哈希表的节点结构如下:
最近在学Redis,我相信只要是接触过Java开发的都会听过Redis这么一个技术。面试也是非常高频的一个知识点,之前一直都是处于了解阶段。秋招过后这段时间是没有什么压力的,所以打算系统学学Redis,这也算是我从零学习Redis的笔记吧。
Redis对于底层数据结构的极致封装,是Redis高效运行的原因之一。我们结合Redis源码对其进行分析。
【概述】 适用场景: 存储有去重需求的数据;比如:针对一篇文章用户进行点赞操作。 它的特点是内部元素无序且不重复。它的内部实现相当于一个特殊的字典,字典中所有的value指都为NULL。 ---- 【内部实现】 集合对象的编码可以是intset或hashtable。 ---- 【intset】 intset编码集合对象使用整数集合作为底层实现,集合对象包含的所有元素都被保存在整数集合里面。 127.0.0.1:6379> SADD number 1 2 3 4 (integer) 4 127.0.0.
再比如电商在大促销时,会用一些特殊的设计来保证系统稳定,扣减库存可以考虑如下设计:
来源:https://my.oschina.net/liughDevelop/blog/2236771
hash的底层存储有两种数据结构,一种是ziplist,另外一种是hashtable,这两种数据结构我们之前都有讲解,ziplist就是上文提到的结构,hashtable之前讲解的redis结构,hash对象只有同时满足以下条件,才会采用ziplist编码:
Python中的列表(list)类似于C#中的可变数组(ArrayList),用于顺序存储结构。
前面两篇博客,第一篇介绍了五大数据类型的基本用法,第二篇介绍了Redis底层的六种数据结构。在Redis中,并没有直接使用这些数据结构来实现键值对数据库,而是基于这些数据结构创建了一个对象系统,这些对象系统也就是前面说的五大数据类型,每一种数据类型都至少用到了一种数据结构。通过这五种不同类型的对象,Redis可以在执行命令之前,根据对象的类型判断一个对象是否可以执行给定的命令,而且可以针对不同的场景,为对象设置多种不同的数据结构,从而优化对象在不同场景下的使用效率。
列表(list):内置类型,可变(或不可哈希),其中可以包含任意类型的数据,支持使用下标和切片访问其中的某个或某些元素,常用方法有append()、insert()、remove()、pop()、sort()、reverse()、count()、index(),支持运算符+、+=、*、*=。可以使用[]直接定义列表,也可以使用list()把其他类型的可迭代对象转换为列表,列表推导式也可以用来创建列表,若干标准库函数、内置类型方法以及扩展库函数或方法也会返回列表。列表不能作为字典的“键”,也不能作为集合的元素
Redis没有直接使用C语言传统的字符串表示(以空字符结尾的字符数组,以下简称C字符串),而是自己构建了一种名为简单动态字符串(simple dynamic string,SDS)的抽象类型,并将SDS用作Redis的默认字符串表示。
领取专属 10元无门槛券
手把手带您无忧上云