Redis AOF持久化文件越来越大这么办?

AOF持久化是通过保存写命令来记录数据库状态的,所以AOF文件中的内容会越来越多,文件的体积也会越来越大,如果不加以控制的话,体积过大的 AOF文件很可能对Redis服务器、甚至整个宿主计算机造成影响,并且AOF文件的体积越大,使用AOF文件来进行数据还原所需的时间就越多

示例:

redis> RPUSH list "A" "B"

结果:["A", "B"]

redis> RPUSH list "C"

结果:["A", "B", "C"]

redis> RPUSH list "D" "E"

结果:["A", "B", "C", "D", "E"]

redis> LPOP list

结果:["B", "C", "D", "E"]

redis> LPOP list

结果:["C", "D", "E"]

AOF文件需要保存每条命令,从最后结果来看,很明显,其中有的命令是无意义的,因为它们不影响数据库状态

为了解决AOF文件体积膨胀的问题,Redis提供了AOF文件重写(rewrite)功能,创建一个新的AOF文件来替代现有的AOF文件,新旧文件所保存的数据库状态相同,但新AOF文件不会包含任何冗余命令,所以体积会比旧的小得多

AOF重写的实现原理

例如上面的例子,如果想要用尽量少的命令来记录list键的状态,那么最简单高效的办法不是去读取和分析现有AOF文件的内容,而是直接从数据库中读取键list的值,然后执行

RPUSH list "C" "D" "E"

这一条命令就可以代替之前的5条命令,就可以将保存list键所需的命令从5条减少为一条了

实现原理:首先从数据库中读取键现在的值,然后用一条命令去记录键值对,代替之前记录这个键值对的多条命令

AOF后台重写

重写会进行大量的写入操作,会阻塞服务器线程,无法处理新的命令请求

为解决这个问题,Redis将AOF重写程序放到子进程里执行,这样,父进程就可以继续处理命令请求

但同时也会产生一个新的问题,子进程在进行AOF重写期间,服务器进程还需要继续处理命令请求,而新的命令可能会对现有的数据库状态进行修改,从而产生数据库状态不一致

为了解决数据不一致问题,Redis服务器设置了一个AOF重写缓冲区,这个缓冲区在服务器创建子进程之后开始使用,当服务器执行完一个写命令之后,它会将这个写命令发送给AOF重写缓冲区

当子进程完成AOF重写工作之后,它会向父进程发送一个信号,父进程在接到该信号之后,会调用信号处理函数,执行以下工作:

1)将AOF重写缓冲区中的所有内容写入到新AOF文件中,这时新AOF文件与当前的数据库状态一致

2)对新的AOF文件进行改名,原子地覆盖现有的AOF文件,完成新旧两个AOF文件的替换

在整个AOF后台重写过程中,只有信号处理函数执行时会对服务器造成阻塞

原文发布于微信公众号 - 性能与架构(yogoup)

原文发表时间:2015-08-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏WindCoder

Myeclipse错误集锦

Errors occurred during the build. Errors running builder 'DeploymentBuilder' on ...

1241
来自专栏性能与架构

Redis持久化机制

Redis持久化方式有两种: (1)RDB 对内存中数据库状态进行快照 (2)AOF 把每条写命令都写入文件,类似mysql的binlog日志 RDB 将Red...

3396
来自专栏崔庆才的专栏

一文详细揭秘 Redis 持久化,了解一下?

Redis 是一个开源( BSD 许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。它支持的数据类型很丰富,如字符串、链表、集 合、以及散...

1372
来自专栏老马寒门IT

cookie 详解

HTTP Cookie(也叫 Web Cookie 或浏览器 Cookie)是服务器发送到用户浏览器并保存在本地的一小块数据,它会在浏览器下次向同一服务器再发起...

1160
来自专栏技术博客

MVC项目开发中那些用到的知识点(登录权限认证)

     话说从开始接触MVC到现在也有一段时间了,记得好像是从2012年8月初开始做项目的。就记录一下自己所用到的且认为重要的知识点吧。

1973
来自专栏小特工作室

读取Pdm文件内容(含源码)

  Pdm文件,就是PowerDesigner软件生成的文件,用来设计数据库表结构非常适合。其实,它的文件存储格式就是Xml,网上有很多代码,可以读取pdm文件...

2679
来自专栏JetpropelledSnake

Linux学习笔记之Redis单机,伪集群,Sentinel主从复制的安装和配置

 Redis是一款开源的、高性能的键-值存储(key-value store)。它常被称作是一款数据结构服务器(data structure server)。

1281
来自专栏Python、Flask、Django

Django in App Urls

1382
来自专栏喵了个咪的博客空间

[喵咪Redis]Redis-Sentinel

[喵咪Redis]Redis-Sentinel ? 前言 redis-Sentinel 是我们这次来一同学习 redis 的重点,在我们现在的系统已经离不开 r...

3314
来自专栏.NET技术

.net core实践系列之SSO-同域实现

SSO的系列还是以.Net Core作为实践例子与大家分享,SSO在Web方面复杂度分同域与跨域。本篇先分享同域的设计与实现,跨域将在下篇与大家分享。

4492

扫码关注云+社区

领取腾讯云代金券