专栏首页决胜机器学习Redis专题(十一) ——Redis虚拟内存

Redis专题(十一) ——Redis虚拟内存

Redis专题(十一) ——Redis虚拟内存

(原创内容,转载请注明来源,谢谢)

一、概述

Redis的数据是保存在内存中,当物理内存不足,其会保存在虚拟内存(VM)中。Redis的vm类似操作系统的vm,其会把所有的键都存在内存中,而把部分很少被访问到的值放在硬盘中。

操作系统的vm是基于页的概念,linux每个页4KB,而redis很多对象远小于4KB。另外,redis将交换到磁盘的对象压缩,保存到磁盘的对象可以去除指针和对象元数据,这样可以减少很多的I/O操作。

redis的虚拟内存只能解决value太大的问题,因为其全部key都存在内存中,因此如果是key不足,则无法解决问题。

二、配置

修改相关配置文件,如下:

1、开启vm

         vm-enabledyes

2、value保存在硬盘时的路径

         vm-swap-file  /routetofile/redis.swap

3、最大内存上限,超出时开始使用vm

         vm-max-memory  xx

4、每个页面的大小(字节)

         vm-page-sizexx

5、用于执行value对象换入换出的工作线程数量,通常设置成cpu内核数量

         vm-max-threads 4

三、vm使用规则

redis根据以下算法将value存于vm中:

         swappability= age * log(size_in_memory)

其中age是距离上一次被访问的时间,size_in_memory是value占用内存的大小。由于占用内存较大的value,取出来时消耗的I/O和CPU资源更多,因此在判断该取哪个value时,其权重更低,因此加上log计算。

四、vm开启限制

vm会按规则将部分value保存在硬盘,而redis的数据库备份通常采用rdb,其备份方式是主进程正常提供客户端操作,子进程去进行rdb备份。这可能会出现redis主进程在写vm的时候,正好子进程在备份。

为了避免此情况,redis做了限制,子进程在读vm时(无论是rdb还是aof),主进程不能进行value交换操作(因为通常读完一次value,其age变小,可能会从vm取出,而换新的value进去)。即此时两个进程都采用只读访问swap文件。

五、redis object 与vm pointer

通常key和value都是redis的object,但是当value被移到vm时,其会变成vmpointer。其主要记录的是value在磁盘的信息,如记录对象在swap文件第几页开始、共使用几页等内容。

redisobject和vm pointer 都有一个字段storage,用于判断value此时的位置,共有四种情况:redis_vm_memory(在内存里)、redis_vm_swapped(在磁盘里)、redis_vm_loading(在磁盘里,但目前正在有进程将其加载到内存)、redis_vm_swapping(在内存里,但目前正在有进程将其写入磁盘)

六、交换过程

1、将对象交换到swap文件

1)计算保存这个对象需要占用swap文件中的多少页。在代码中是通过调用函数rdbSavedObjectPages进行计算。

2)在swap文件中寻找一段连续空间保存这个对象。在代码中是通过调用函数vmFindContiguousPages进行计算。

该函数内部是从全部磁盘页中查找n块连续的空闲页,成功时返回redis_ok,并把first参数设置为连续页的开始地址。失败会返回redis_error。

3)把对象写入swap文件。在代码中是通过调用函数vmWriteObjectOnSwap进行计算。

该函数在写入文件之前,会先将swap文件锁住,防止其他进程也在进行此操作。接着把文件指针移动到要写入页的开始地址,并调用rdbSaveObject函数把对象写入swap文件。对象写入文件后,会释放内存,并把对象从redis object转成vm pointer。并且会将storage字段设置成redis_vm_swapped。

2、将对象从swap文件取出到内存

由于vm pointer记录了对象在文件的起始页和所占页数,因此只需要调用vmLoadObject函数,其最终会调用vmReadObjectFromSwap将对象写入内存

在将内存取出的过程中,也会锁住swap文件。

七、阻塞式VM

将上述配置文件中的vm-max-threads设置为0,即不开启多线程,则进行vm时会阻塞。将对象从内存交换到swap文件,发生在cron任务,每100毫秒执行一次。当redis对内存的使用超过设定的vm-max-memory,则会循环调用vmSwapOneObject函数,实现对象交换。

该操作步骤如下:

1)找一个较优的用来交换至swap分区的候选对象。

2)调用vmSwapObjectBlocking将对象所关联的value值交换到硬盘,此函数返回一个vmPointer指针,用于存储value在磁盘中的信息。

3)使用vmSwapObjectBlocking返回的vmPointer替换value对应的redisObject,并把storage设置为redis_vm_swapped,表示value已经交换到磁盘。

4)是否对象关联的value内存。

这个操作每次会释放一个object,因此会循环执行此函数,直到内存的使用下降到配置的vm-max-memory之下。

八、非阻塞式VM

阻塞式VM会导致读取swap文件时,锁住整个redis,这样其他客户端访问不在swap文件的value时,也会延迟。为了避免此问题,redis支持非阻塞式VM,是通过I/O线程实现。

具体来说,redis使用任务队列的方式,每当主线程需要在后台使用I/O线程完成任务,便push一个I/O任务到server.io_newjobs队列。当系统不存在活动I/O线程,便新建一个,会执行这些I/O任务。任务执行完成后,会将结果push到server.io_processed队列。该线程使用unix管道给主进程发送1字节信号,通知主线程有一个新任务已经完成。

——written by linhxx 2017.08.14

本文分享自微信公众号 - 决胜机器学习(phpthinker),作者:linhxx

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-08-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Redis专题(一)——Redis基本概述与安装配置

    Redis专题(一) ——Redis基本概述与安装配置 (原创内容,转载请注明来源,谢谢) 一、特性 1、存储方式 Redis采用Key-Va...

    用户1327360
  • Redis专题(十二) ——Redis特殊情况处理机制

    Redis专题(十二) ——Redis特殊情况处理机制 (原创内容,转载请注明来源,谢谢) 一、内存淘汰 当redis的内存不足时,需要采取内存淘汰的方法,...

    用户1327360
  • Redis专题(九)——Redis管理工具

    Redis专题(八) ——Redis管理工具 (原创内容,转载请注明来源,谢谢) 一、安全性 1、运行环境 Redis以简洁为美,其安全性...

    用户1327360
  • [日常] CentOS安装最新版redis设置远程连接密码

    wget http://download.redis.io/releases/redis-4.0.8.tar.gz tar -zxvf redis-4.0.8....

    陶士涵
  • redis集群的搭建

    用户2146856
  • Gopher协议与redis未授权访问

    定义:gopher是Internet上一个非常有名的信息查找系统,它将Internet上的文件组织成某种索引,很方便地将用户从Internet的一处带到另一处。...

    字节脉搏实验室
  • redis永久化存储

    原因:redis是存放在内存中的,断电会导致数据丢失 解决方法:把redis数据进行持久性存储,将其存储在磁盘中。

    用户1558882
  • 干货--Redis池化联接和搭建分布式集群

    首先看一下思维导图 ? 入门可以参看我上篇文章Redis 30分钟快速入门 本文主要内容 1: 联接远程redis服务器 2: 使用MyProp...

    汤高
  • 超详细的redis学习(3)-项目中实战概要

    本篇文章会介绍Redis在项目开发中会有那些应用场景,对每个应用场景会有一个简要概述,并且会在接下来的时间对每个场景整理出文章与对应代码供开发者阅读。

    coder_koala
  • Redis常见面试题

      1.存储方式不同。memcached把数据全部存在内存之中,断电之后会挂掉,而redis虽然也用到了内存,但是会有部分数据存在硬盘中,保证数据持久性。

    哲洛不闹

扫码关注云+社区

领取腾讯云代金券