为了大家看文中那一堆的“#”不至于晕掉,建议先看一下这篇:讲通C/C++预编译/条件编译指令 #ifdef,#ifndef,#endif,#define,…
redis是一个基于内存的key-value的数据库,其内存管理是很重要的,为了屏蔽不同平台之间的差异,以及统计内存占用量等,redis对内存分配函数进行了一层封装,程序中统一使用zmalloc,zfree一系列函数,其相应的源代码在src/zmalloc.h和src/zmalloc.c两个文件里,源代码点这里。
在《Redis源码解析——源码工程结构》一文中,我们介绍了Redis可能会根据环境或用户指定选择不同的内存管理库。在linux系统中,Redis默认使用jemalloc库。当然用户可以指定使用tcmalloc或者libc的原生内存管理库。本文介绍的内容是在这些库的基础上,Redis封装的功能。(转载请指明出于breaksoftware的csdn博客)
本文对Redis的简单动态字符串(simple dynamic string)进行了简要介绍,并结合sds对Redis的内存分配释放api进行分析,涉及的源码文件为sds.h、sds.c、zmalloc.h、zmalloc.c,源码下载地址为https://github.com/readywang/Redis3.0。
预处理指令是以#号开头的代码行。#号必须是该行除了任何空白字符外的第一个字符。#后是指令关键字,在关键字和#号之间允许存在任意个数的空白字符。整行语句构成了一条预处理指令,该指令将在编译器进行编译之前对源代码做某些转换。
今天办了健身卡,顺带健身房待了一会。真是好家伙啊!这还是工作之后第一次去健身。这段时间比较忙,没有写什么文章,就简单分享一篇还没发的存货吧!
这是redis源码分析的第一篇,选取早期版本,一睹redis的基础原理。这篇分析内存分配。 redis内存管理是对malloc系列函数做了封装。额外记录了申请的内存大小信息。
zmalloc.h:50:31: error: jemalloc/jemalloc.h: No such file or directory
前言: 解读一下redis的源代码~ 因为hash算法,skiplist等相关文章很多,前人之述备矣,这里不做解读。这里会解读一些相对较“冷门”的代码。 分析: 代码选自官网(https://redis.io/)最新版(3.2.6)。 1,network redis自己实现了网络库,具体代码参考anet.c,ae.c,ae_epoll.c,ae_evport.c,ae.h,ae_kqueue.c,ae_select.c。 在ae.c中,实现了event loop的整体逻辑,平台差异的地方分别在ae_*
最初do ... while的出现,更多的是作为循环控制流的一种语法糖。因为不论是while 还是 for循环,都是要先判断是否满足进入循环体的条件的。满足条件之后才能进入循环去执行循环体内的操作。
redis有两种持久化机制,RDB && AOF,关于其概念在我的redis系列里都有,这里就不再赘述啦
sdsnewlen()函数功能 该函数的功能就是新创建一个字符串,指针init指向字符串的开头。initlen指定字符串的长度。 并且规定,无论字符串是否为空,字符串的末尾都用'\0'结尾。在C语言中,一个字符串数组的结尾默认是用'\0'表示结束得。当遇到'\0'时,就表示已经到达数组末尾。 源代码 sds sdsnewlen(const void *init, size_t initlen) { >struct sdshdr *sh; >if (init) { > sh = zmalloc(si
首先去官网下载redis安装包:下载redis 准备安装 运行命令: tar zxvf redis-3.0.4.tar.gz 进入解压后的文件夹: cd redis-3.0.4 编译源码: make
分析代码之前先看看链表的数据结构。 1 新建一个链表 // 新建一个链表头结点 list *listCreate(void) { struct list *list; if ((l
有些读者在评论区里提了一些问题,然后这些问题是他们自己延伸想出来的,我觉得问题具有代表性,就在这篇回答下这些问题。
说到redis就会联想到memcached,反之亦然。了解过两者的同学有那么个大致的印象:redis与memcached相比,比仅支持简单的key-value数据类型,同时还提供list,set,zset,hash等数据结构的存储;redis支持数据的备份,即master-slave模式的数据备份;redis支持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进行使用等等,这似乎看起来redis比memcached更加牛逼一些,那么事实上是不是这样的呢?存在即合理,我们来根据几个不同点来一一比较一下。
相对于之前介绍的字典和SDS字符串库,Redis的双向链表库则是非常标准的、教科书般简单的库。但是作为Redis源码的一部分,我决定还是要讲一讲的。(转载请指明出于breaksoftware的csdn博客)
说到 redis 就会联想到 memcached,反之亦然。了解过两者的同学有那么个大致的印象:
说到redis就会联想到memcached,反之亦然。了解过两者的同学有那么个大致的印象:redis与memcached相比,比仅支持简单的key-value数据类型,同时还提供list,set,zset,hash等数据结构的存储;redis支持数据的备份,即master-slave模式的数据备份;redis支持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进行使用等等,这似乎看起来redis比memcached更加牛逼一些,那么事实上是不是这样的呢?存在即合理,我们来根据几个不同点来
Redis 事件驱动框架对应的数据结构,在 ae.h 中定义,记录了运行过程信息,有 2 个记录事件的变量:
hello,又见面了。不要问为什么,问就是勤劳。马上要开启爆更模式啦。在Redis中链表List的应用非常广泛,但是Redis是采用C语言来写,底层采用双向链表实现(这边提一嘴,如果是科班出身或者大学有学过数据结构的同学,可以划走啦)。我们今天的重点就是双向链表。
Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。可能几乎所有的线上项目都会使用到 Redis,无论你是做缓存、或是用作消息中间件,用起来很简单方便,但可能大多数人并没有去深入底层的看看 Redis 的一些策略实现等等细节。
server.h/* Objects encoding. Some kind of objects like Strings and Hashes can be * internally represented in multiple ways. The 'encoding' field of the object * is set to one of this fields for this object. 对象编码种类*/ #define OBJ_ENCODING_RAW 0 /* Raw
考试差不多考完了,我又回来了。 今天起,我们就进入到redis的数据结构模块。 其实吧,这些数据结构我们都写过的,不过看看大佬们写的,也是能收获很多东西的。
继上次的redis源码分析(一)之后,本人开始订制着一份非常伟大的计划-啃完redis源代码,也对他进行了切块划分,鉴于本人目前对他的整个运行流畅还不特别清楚的情况下,所以决定第一个要解决的就是与逻辑无关的代码,也就是一些基本模块,因为是相互独立的,所以不会影响整体的阅读,所以第一个开刀的就是结构体模块了。结构体模块我划分了差不多10个文件的样子,今天看的主要是adlist.c的文件,收获有如下 1.真心的帮我把数据结构的链表操作复习了一遍 2.还有给人感觉最深的就是函数编程的思想无处不在,并没有明确的数据
原因是jemalloc重载了Linux下的ANSI C的malloc和free函数。解决办法:make时添加参数。
redis和STL不同,这是一个完整项目,有头有尾,STL是一套组件,开箱即用。而阅读一个项目的源码,是不是应该从main函数入手,尽管大部分函数不知道怎么实现的,那又如何?字面意思不是很明显嘛,高内聚。
[root@localhost mnt]# tar xzf redis-3.0.7.tar.gz
本文对Redis的底层数据结构链表做了简要介绍,涉及的文件是adlist.h和adlist.c。
sds 定义 typedef char *sds; 数据结构: struct sdshdr { // buf 中已占用空间的长度 int len; // buf 中剩余可用
Redis的作者Salvatore Sanfilippo曾经对这两种基于内存的数据存储系统进行过比较:
方法一:使用命令安装(前提是已经安装了EPEL)。 安装redis: yum -y install redis 启动/停止/重启 Redis 启动服务: 1 systemctl start redis.service 停止服务: systemctl stop redis.service 重启服务: systemctl restart redis.service 检查状态: [root@idoseek ~]# systemctl status redis.service
为什么不存全部数据?部分数据会修改,那么可能导致value伪重复,加大了业务复杂度
Redis 和Couchbase都是基于内存的数据存储系统。在它们各自的官方描述中,Couchbase是高性能,高伸缩性和高可用的分布式缓存系统;Redis是一个开源的内存数据结构存储系统。
redis是用c语言的写的缓存服务器,有高性能和多种数据类型支持的特性,广受互联网公司喜爱。
想起来几年前挺火的前岛国国民女神学霸-小岛方晴子。当时替她说话的人都很惨,导师被逼自杀。她收到的压力侮辱不是常人可以想象的。但是她却坚强的活着,去年还出了书。我去日本的时候,下了新干线,前面有一群女学生,她们看到我了,立刻聚集成一团,一边看我一边说悄悄话。我才发现日本人穿的衣服基本就是黑,白,灰。他们也不穿羽绒服,女孩子大冬天都是光着腿。而我穿着黄绿色的羽绒服,确实像个怪胎。为什么来之前没人告诉我[大哭][大哭]。8年过去了,想起来还觉得尴尬。日本人是很爱背后说别人坏话的。所以我感谢我是个很普通的女孩子
本文分析redis的基础原理,暂不做深入分析,后续再详细分析。我们从main函数开始。
配套资料: makefile方面有陈皓大神的跟我一起写MakeFile,我就不班门弄斧了。
安装命令:yum -y install gcc automake autoconf libtool make
redis 作为一个内存型数据库,在使用中常常会遇到的问题就是内存碎片的问题。 redis 并没有维护自己的内存池,而是直接通过操作系统中 malloc 族的各个函数来实现在堆内存上的动态分配和释放,这就增加了 redis 对内存管理的复杂度,尤其是在频繁插入数据和删除数据的场景下, 操作系统堆内存中会造成大量碎片,导致实际占用的系统内存远大于 redis 本身所需要占用的内存,从而造成资源的浪费。 本文我们就来看看如何去处理这个问题。
上一篇文章中,我们介绍了编程思想中的 Reactor 与 Proactor 两种设计模式: 程序设计中的两大经典模式 — Reactor & Proactor
Redis服务端是一个事件驱动程序,本文将对服务端需要处理的文件事件和时间事件进行简单介绍。
make1: Entering directory `/usr/local/src/redis-3.0.4/src'
今天开启Redis源码的阅读之旅。对于一些没有接触过开源代码分析的同学来说,可能这是一件很麻烦的事。但是我总觉得做一件事,不管有多大多难,我们首先要在战略上蔑视它,但是要在战术上重视它。除了一些高大上的技术,我们一般人都能用比较简单的方式描述它是干什么的。比如Redis,它不就是一个可以通过网络访问的KV型数据库嘛。在没有源码的情况下,可以想象出它应该是通过网络服务、指令解析、特殊的内存结构设计(方便增删改查)、持久化等技术构成。然后我们在战术上要重视它各个技术的实现,特别是一些我们没想到的一些技术。(转载请指明出于breaksoftware的csdn博客)
本文是参考 黄建宏 先生所写的 《Redis 设计与实现》 一书而来的,在此感谢 黄建宏 先生能写出这么优秀的书籍。本次来整理关于链表相关的数据结构。
2015年2月,Redis3.0.0 发布,redis3.0版本之后支持Cluster,关于redis集群的介绍,了解请看 redis中文简介 。 我准备在一台linux中来部署redis集群,因为集群的运行需要6台服务才能正常运行,所以我在一台linux服务上创建6个节点,用来模拟3主3从这种伪分布式集群。redis3.0及之后的releases版本,大家可以直接访问redis.io官网,下载redis.tar.gz。
Redis 采用事件驱动机制来处理大量的网络IO。它并没有使用 libevent 或者 libev 这样的成熟开源方案,而是自己实现一个非常简洁的事件驱动库 ae_event。
领取专属 10元无门槛券
手把手带您无忧上云