首页
学习
活动
专区
圈层
工具
发布

从源码看redis的AOF持久化机制

AOF持久化就是把命令按照原始的文本存储到文件中,在重新启动的时候再一条条的执行。

AOF存储结构

比如命令 set msg hello :

  1. 首先写入的就是 3,然后追加 \r\n
  2. 遍历每个字符,先写下$符号,然后记下这个字符的长度,追加 \r\n再记下长度和字符本身,然后追加 \r\n
  3. set msg hello 最终需要追加的内容为 3\r\n3\r\nmsg\r\n5\r\nhello\r\n

AOF文件过大的问题

AOF文件本身记录了很多的命令,但是随着时间流逝,可能很多命令都重复了,redis可以通过手动 bgrewriteaof或者配置自动执行 AOF重写来精简AOF文件

AOF相关源码追踪

AOF存储格式

代码语言:javascript
复制
Code.SLICE.source("buf[0] = '*';" +
"    len = 1+ll2string(buf+1,sizeof(buf)-1,argc);" +
"    buf[len++] = '\r';" +
"    buf[len++] = '\n';" +
"    dst = sdscatlen(dst,buf,len);" +
"    for (j = 0; j < argc; j++) {" +
"        o = getDecodedObject(argv[j]);" +
"        buf[0] = '$';" +
"        len = 1+ll2string(buf+1,sizeof(buf)-1,sdslen(o->ptr));" +
"        buf[len++] = '\r';" +
"        buf[len++] = '\n';" +
"        dst = sdscatlen(dst,buf,len);" +
"        dst = sdscatlen(dst,o->ptr,sdslen(o->ptr));" +
"        dst = sdscatlen(dst,\"\r\n\",2);" +
"        decrRefCount(o);" +
"    }")
.interpretation("按照一定的格式转化命令,放到要存放的目的地")
.interpretation("1: 先计算命令一共有几个字符 ,比如命令 set msg hello ,那么首先写入的就是 3,然后追加 \r\n")
.interpretation("2: 遍历每个字符,先写下$符号,然后记下这个字符的长度,追加 \r\n再记下长度和字符本身,然后追加 \r\n")
.interpretation("3: set msg hello 最终需要追加的内容为  3\r\n$3\r\nmsg\r\n$5\r\nhello\r\n");
复制代码

启动加载

代码语言:javascript
复制
 //..
Code.SLICE.source("while(1) ")
    .interpretation("读取AOF文件的内容,按照 REPL 的格式 ,1条条命令处理");
//..
Code.SLICE.source("if (fgets(buf,sizeof(buf),fp) == NULL)")
    .interpretation("从文件中读取一定字节到buf中");
//..
Code.SLICE.source("argc = atoi(buf+1);")
    .interpretation("拿到命令的长度");
//..
Code.SLICE.source("for (j = 0; j < argc; j++) ")
    .interpretation("一个个的解析这条命令的所有数据,中间会对写入的数据做校验");
//..
Code.SLICE.source("argv[j] = createObject(OBJ_STRING,argsds);")
    .interpretation("将数据存储到argv数组");
//..
Code.SLICE.source("cmd = lookupCommand(argv[0]->ptr);")
    .interpretation("确保要执行的命令是合法的redis命令");
//..
Code.SLICE.source("cmd->proc(fakeClient);")
    .interpretation("模拟执行");

AOF的优势

能实现秒级的实时持久化

总结

  1. 每个命令执行完后会按照命令原始的文本被追加到内存中,后续"等待"机会再写入磁盘;
  2. redis会根据配置定时的将数据写入磁盘
  3. 重写就是把当前内存所有的数据1条条的写到新的临时文件,最后在serverCron中重定向到 AOF 文件中,重写过程是异步的
  4. 加载AOF也就是一条条的执行所有命令
下一篇
举报
领券