Redis专题(十一) ——Redis虚拟内存

Redis专题(十一) ——Redis虚拟内存

(原创内容,转载请注明来源,谢谢)

一、概述

Redis的数据是保存在内存中,当物理内存不足,其会保存在虚拟内存(VM)中。Redis的vm类似操作系统的vm,其会把所有的键都存在内存中,而把部分很少被访问到的值放在硬盘中。

操作系统的vm是基于页的概念,linux每个页4KB,而redis很多对象远小于4KB。另外,redis将交换到磁盘的对象压缩,保存到磁盘的对象可以去除指针和对象元数据,这样可以减少很多的I/O操作。

redis的虚拟内存只能解决value太大的问题,因为其全部key都存在内存中,因此如果是key不足,则无法解决问题。

二、配置

修改相关配置文件,如下:

1、开启vm

         vm-enabledyes

2、value保存在硬盘时的路径

         vm-swap-file  /routetofile/redis.swap

3、最大内存上限,超出时开始使用vm

         vm-max-memory  xx

4、每个页面的大小(字节)

         vm-page-sizexx

5、用于执行value对象换入换出的工作线程数量,通常设置成cpu内核数量

         vm-max-threads 4

三、vm使用规则

redis根据以下算法将value存于vm中:

         swappability= age * log(size_in_memory)

其中age是距离上一次被访问的时间,size_in_memory是value占用内存的大小。由于占用内存较大的value,取出来时消耗的I/O和CPU资源更多,因此在判断该取哪个value时,其权重更低,因此加上log计算。

四、vm开启限制

vm会按规则将部分value保存在硬盘,而redis的数据库备份通常采用rdb,其备份方式是主进程正常提供客户端操作,子进程去进行rdb备份。这可能会出现redis主进程在写vm的时候,正好子进程在备份。

为了避免此情况,redis做了限制,子进程在读vm时(无论是rdb还是aof),主进程不能进行value交换操作(因为通常读完一次value,其age变小,可能会从vm取出,而换新的value进去)。即此时两个进程都采用只读访问swap文件。

五、redis object 与vm pointer

通常key和value都是redis的object,但是当value被移到vm时,其会变成vmpointer。其主要记录的是value在磁盘的信息,如记录对象在swap文件第几页开始、共使用几页等内容。

redisobject和vm pointer 都有一个字段storage,用于判断value此时的位置,共有四种情况:redis_vm_memory(在内存里)、redis_vm_swapped(在磁盘里)、redis_vm_loading(在磁盘里,但目前正在有进程将其加载到内存)、redis_vm_swapping(在内存里,但目前正在有进程将其写入磁盘)

六、交换过程

1、将对象交换到swap文件

1)计算保存这个对象需要占用swap文件中的多少页。在代码中是通过调用函数rdbSavedObjectPages进行计算。

2)在swap文件中寻找一段连续空间保存这个对象。在代码中是通过调用函数vmFindContiguousPages进行计算。

该函数内部是从全部磁盘页中查找n块连续的空闲页,成功时返回redis_ok,并把first参数设置为连续页的开始地址。失败会返回redis_error。

3)把对象写入swap文件。在代码中是通过调用函数vmWriteObjectOnSwap进行计算。

该函数在写入文件之前,会先将swap文件锁住,防止其他进程也在进行此操作。接着把文件指针移动到要写入页的开始地址,并调用rdbSaveObject函数把对象写入swap文件。对象写入文件后,会释放内存,并把对象从redis object转成vm pointer。并且会将storage字段设置成redis_vm_swapped。

2、将对象从swap文件取出到内存

由于vm pointer记录了对象在文件的起始页和所占页数,因此只需要调用vmLoadObject函数,其最终会调用vmReadObjectFromSwap将对象写入内存

在将内存取出的过程中,也会锁住swap文件。

七、阻塞式VM

将上述配置文件中的vm-max-threads设置为0,即不开启多线程,则进行vm时会阻塞。将对象从内存交换到swap文件,发生在cron任务,每100毫秒执行一次。当redis对内存的使用超过设定的vm-max-memory,则会循环调用vmSwapOneObject函数,实现对象交换。

该操作步骤如下:

1)找一个较优的用来交换至swap分区的候选对象。

2)调用vmSwapObjectBlocking将对象所关联的value值交换到硬盘,此函数返回一个vmPointer指针,用于存储value在磁盘中的信息。

3)使用vmSwapObjectBlocking返回的vmPointer替换value对应的redisObject,并把storage设置为redis_vm_swapped,表示value已经交换到磁盘。

4)是否对象关联的value内存。

这个操作每次会释放一个object,因此会循环执行此函数,直到内存的使用下降到配置的vm-max-memory之下。

八、非阻塞式VM

阻塞式VM会导致读取swap文件时,锁住整个redis,这样其他客户端访问不在swap文件的value时,也会延迟。为了避免此问题,redis支持非阻塞式VM,是通过I/O线程实现。

具体来说,redis使用任务队列的方式,每当主线程需要在后台使用I/O线程完成任务,便push一个I/O任务到server.io_newjobs队列。当系统不存在活动I/O线程,便新建一个,会执行这些I/O任务。任务执行完成后,会将结果push到server.io_processed队列。该线程使用unix管道给主进程发送1字节信号,通知主线程有一个新任务已经完成。

——written by linhxx 2017.08.14

原文发布于微信公众号 - 决胜机器学习(phpthinker)

原文发表时间:2017-08-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大内老A

.NET Core下的日志(3):如何将日志消息输出到控制台上

当我们利用LoggerFactory创建一个Logger对象并利用它来实现日志记录,这个过程会产生一个日志消息,日志消息的流向取决于注册到LoggerFacto...

2439
来自专栏Java Edge

2018-08-24

函数可以嵌入在sql中使用的,可以在select中调用 存储过程要让sql的query 可以执行, 需要把 mysql_real_connect 的最后一个参...

392
来自专栏Kevin-ZhangCG

Oracle学习笔记四

在写java程序中有集合的概念,那么在pl/sq中也会用到多条记录,这时候我们就要用到游标,游标可以存储查询返回的多条数据。

412
来自专栏葡萄城控件技术团队

C#:异步编程和线程的使用(.NET 4.5 )

异步编程和线程处理是并发或并行编程非常重要的功能特征。为了实现异步编程,可使用线程也可以不用。将异步与线程同时讲,将有助于我们更好的理解它们的特征。 本文中涉及...

1885
来自专栏技术碎碎念

sql server存储过程编程

存储过程是一组完成特定功能的SQL 语句集合,经编译后存储在数据库中。 存储过程作为一个单元进行处理并以一个名称来标识。它能向用户返回数据、向数据库表中写入或修...

3476
来自专栏linux驱动个人学习

设备树的interrupt

interrupts 一个计算机系统中大量设备都是通过中断请求CPU服务的,所以设备节点就需要在指定中断号。常用的属性; interrupt-controlle...

3074
来自专栏大内老A

.NET Core的日志[2]:将日志输出到控制台

对于一个控制台应用,比如采用控制台应用作为宿主的ASP.NET Core应用,我们可以将记录的日志直接输出到控制台上。针对控制台的Logger是一个类型为Con...

22810
来自专栏陈树义

Java并发编程:synchronized

Java并发编程:synchronized   虽然多线程编程极大地提高了效率,但是也会带来一定的隐患。比如说两个线程同时往一个数据库表中插入不重复的数据,就可...

3294
来自专栏我和PYTHON有个约会

python约会之ORM——sqlalchemy

orm操作是所有完整软件中后端处理最重要的一部分,主要完成了后端程序和数据库之间的数据同步和持久化的操作,本文基于sqlalchemy官方文档进行整理,完成sq...

551
来自专栏Java后端生活

JDBC(三)PreparedStatement

SQL 注入是利用某些系统没有对用户输入的数据进行充分的检查,而在用户输入数据中注入非法的 SQL 语句段或命令,从而利用系统的 SQL 引擎完成恶意行为的做法

541

扫描关注云+社区