Redis专题(十一) ——Redis虚拟内存

Redis专题(十一) ——Redis虚拟内存

(原创内容,转载请注明来源,谢谢)

一、概述

Redis的数据是保存在内存中,当物理内存不足,其会保存在虚拟内存(VM)中。Redis的vm类似操作系统的vm,其会把所有的键都存在内存中,而把部分很少被访问到的值放在硬盘中。

操作系统的vm是基于页的概念,linux每个页4KB,而redis很多对象远小于4KB。另外,redis将交换到磁盘的对象压缩,保存到磁盘的对象可以去除指针和对象元数据,这样可以减少很多的I/O操作。

redis的虚拟内存只能解决value太大的问题,因为其全部key都存在内存中,因此如果是key不足,则无法解决问题。

二、配置

修改相关配置文件,如下:

1、开启vm

         vm-enabledyes

2、value保存在硬盘时的路径

         vm-swap-file  /routetofile/redis.swap

3、最大内存上限,超出时开始使用vm

         vm-max-memory  xx

4、每个页面的大小(字节)

         vm-page-sizexx

5、用于执行value对象换入换出的工作线程数量,通常设置成cpu内核数量

         vm-max-threads 4

三、vm使用规则

redis根据以下算法将value存于vm中:

         swappability= age * log(size_in_memory)

其中age是距离上一次被访问的时间,size_in_memory是value占用内存的大小。由于占用内存较大的value,取出来时消耗的I/O和CPU资源更多,因此在判断该取哪个value时,其权重更低,因此加上log计算。

四、vm开启限制

vm会按规则将部分value保存在硬盘,而redis的数据库备份通常采用rdb,其备份方式是主进程正常提供客户端操作,子进程去进行rdb备份。这可能会出现redis主进程在写vm的时候,正好子进程在备份。

为了避免此情况,redis做了限制,子进程在读vm时(无论是rdb还是aof),主进程不能进行value交换操作(因为通常读完一次value,其age变小,可能会从vm取出,而换新的value进去)。即此时两个进程都采用只读访问swap文件。

五、redis object 与vm pointer

通常key和value都是redis的object,但是当value被移到vm时,其会变成vmpointer。其主要记录的是value在磁盘的信息,如记录对象在swap文件第几页开始、共使用几页等内容。

redisobject和vm pointer 都有一个字段storage,用于判断value此时的位置,共有四种情况:redis_vm_memory(在内存里)、redis_vm_swapped(在磁盘里)、redis_vm_loading(在磁盘里,但目前正在有进程将其加载到内存)、redis_vm_swapping(在内存里,但目前正在有进程将其写入磁盘)

六、交换过程

1、将对象交换到swap文件

1)计算保存这个对象需要占用swap文件中的多少页。在代码中是通过调用函数rdbSavedObjectPages进行计算。

2)在swap文件中寻找一段连续空间保存这个对象。在代码中是通过调用函数vmFindContiguousPages进行计算。

该函数内部是从全部磁盘页中查找n块连续的空闲页,成功时返回redis_ok,并把first参数设置为连续页的开始地址。失败会返回redis_error。

3)把对象写入swap文件。在代码中是通过调用函数vmWriteObjectOnSwap进行计算。

该函数在写入文件之前,会先将swap文件锁住,防止其他进程也在进行此操作。接着把文件指针移动到要写入页的开始地址,并调用rdbSaveObject函数把对象写入swap文件。对象写入文件后,会释放内存,并把对象从redis object转成vm pointer。并且会将storage字段设置成redis_vm_swapped。

2、将对象从swap文件取出到内存

由于vm pointer记录了对象在文件的起始页和所占页数,因此只需要调用vmLoadObject函数,其最终会调用vmReadObjectFromSwap将对象写入内存

在将内存取出的过程中,也会锁住swap文件。

七、阻塞式VM

将上述配置文件中的vm-max-threads设置为0,即不开启多线程,则进行vm时会阻塞。将对象从内存交换到swap文件,发生在cron任务,每100毫秒执行一次。当redis对内存的使用超过设定的vm-max-memory,则会循环调用vmSwapOneObject函数,实现对象交换。

该操作步骤如下:

1)找一个较优的用来交换至swap分区的候选对象。

2)调用vmSwapObjectBlocking将对象所关联的value值交换到硬盘,此函数返回一个vmPointer指针,用于存储value在磁盘中的信息。

3)使用vmSwapObjectBlocking返回的vmPointer替换value对应的redisObject,并把storage设置为redis_vm_swapped,表示value已经交换到磁盘。

4)是否对象关联的value内存。

这个操作每次会释放一个object,因此会循环执行此函数,直到内存的使用下降到配置的vm-max-memory之下。

八、非阻塞式VM

阻塞式VM会导致读取swap文件时,锁住整个redis,这样其他客户端访问不在swap文件的value时,也会延迟。为了避免此问题,redis支持非阻塞式VM,是通过I/O线程实现。

具体来说,redis使用任务队列的方式,每当主线程需要在后台使用I/O线程完成任务,便push一个I/O任务到server.io_newjobs队列。当系统不存在活动I/O线程,便新建一个,会执行这些I/O任务。任务执行完成后,会将结果push到server.io_processed队列。该线程使用unix管道给主进程发送1字节信号,通知主线程有一个新任务已经完成。

——written by linhxx 2017.08.14

原文发布于微信公众号 - 决胜机器学习(phpthinker)

原文发表时间:2017-08-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏猿天地

MongoDB aggregation $unwind

转载:猿天地 链接:http://cxytiandi.com/blog/detail/2940 $unwind的作用是将文档中的某一个数组类型字段拆分成多条...

3778
来自专栏FreeBuf

Node.js中的内存泄漏分析

内存泄漏(Memory Leak)指由于疏忽或错误造成程序未能释放已经不再使用的内存的情况。如果内存泄漏的位置比较关键,那么随着处理的进行可能持有越来越多的无用...

2955
来自专栏我的博客

Strace命令手册

strace简介 strace常用来跟踪进程执行时的系统调用和所接收的信号。 在Linux世界,进程不能直接访问硬件设备,当进程需要访问硬件设备(比如读取磁盘...

3528
来自专栏李家的小酒馆

Hiberante知识点梳理

Hibernate简介 Hibernat是一个ORM(关系映射)框架,对JDBC访问数据库的操作进行了简化,并且将数据库表中的字段和关系映射为对象,简化了对数据...

1850
来自专栏Java进阶架构师

02:SpringBoot整合SpringDataJPA实现数据库的访问(一)

Spring Data JPA等于在ORM之上又进行了一次封装,但具体的对数据库的访问依然要依赖于底层的ORM框架,Spring Data JPA默认是通过Hi...

541
来自专栏PHP技术

PHP采集程序中常用的函数

[导读] 函数描述及例子 PHP采集程序中常用的函数 查询关键字 PHP采集程序中常用的函数 获得当前的脚本网址 function get_php_url...

3125
来自专栏HTML5学堂

PHP入门-书写语法以及基本规范

PHP入门-书写语法以及基本规范 HTML5学堂:本文是PHP的入门用文章,主要包括PHP的基本语法与书写风格,对于PHP中的标识符,应当如何书写,基本的命名规...

32812
来自专栏Python研发

Django|第一部

  注明的MVC模式:所谓MVC就是把web应用分为模型(M),控制器(C),视图(V)三层;他们之间以一种插件似的,松耦合的方式连接在一起.

973
来自专栏JetpropelledSnake

Django学习笔记之Queryset的高效使用

对象关系映射 (ORM) 使得与SQL数据库交互更为简单,不过也被认为效率不高,比原始的SQL要慢。

693
来自专栏猿人谷

TCP编程函数和步骤

TCP编程的服务器端一般步骤是 1、 创建一个socket,用函数socket(); 2、 设置socket属性,用函数setsockopt(); * 可选 3...

1739

扫码关注云+社区