《Redis设计与实现》读书笔记(二十一) ——Redis服务器定时函数serverCron详解

《Redis设计与实现》读书笔记(二十一) ——Redis服务器定时函数serverCron详解

(原创内容,转载请注明来源,谢谢)

一、概述

redis定时函数——serverCron,该函数,默认情况下,redis每100毫秒执行一次,这个执行间隔可以在配置文件进行设置。这个函数是用于管理服务器的资源,保证服务器更良好的运转。

redis将部分用于此函数的属性,也存于结构体redisServer之中。

         structredisServer{
         //..其他内容
         time_t unixtime;
         long long mstime;
         unsigned lruclock:22;
         size_t stat_peak_memory;
         int shutdown_asap;
         int aof_rewrite_scheduled;
         pid_t rdb_child_pid;
         pid_t aof_child_pid;
         int cronloops;
         }

二、函数功能

redis的serverCron函数,执行期间需要做11件事,如下:

1、更新服务器时间缓存

redis中有许多功能要获取系统当前时间,则需要调用系统接口查询时间,这样比较耗时,因此redis在结构体中用unixtime、mstime属性,保存了当前时间,并且定时更新这个值。前者是秒级unix时间戳,后者是毫秒级unix时间戳。

但是,由于每100毫秒才更新因此,因而这两个值只会用在打印日志、更新服务器LRU时钟、决定是否进行持久化任务、计算服务器上线时间等,精度要求不高的地方使用。

对于键过期时间、慢查询日志等,服务器会再次进行系统时间调用,获取最精确的时间。

2、更新lru时间

lru记录的是服务器最后一次被访问的时间,是用于服务器的计算空转时长,用属性lruclock进行存储。默认情况下,每10秒更新一次。另外,每个redis对象也存了一个lru,保存的是该对象最后一次被被访问的时间。

当要计算redis对象的空转时间,则会用服务器的lru减去redis对象的lru,获得的结果即对象的空转时长。

在redis客户端,用命令objectidletime key,可以查看该key的空转时长,返回结果是以秒为单位。由于redis每10秒更新一次服务器的最后访问时间,因此不是很精确。

3、更新服务器每秒执行命令数

这个不是通过扫描全部的键,而是采用抽样的方式确定的结果。每100毫秒1次,随机抽取一些键,查看最近1秒是否有操作,来确定最近1秒的操作次数。

接着,会将这个值,与上一次的结果,取平均值,作为本次计算的每秒执行命令数。在存入结构体中,供下次取平均值使用。

4、更新服务器内存峰值

redis服务器中,用stat_peak_memory记录服务器内存峰值。每次执行serverCron函数,会查看当前内存使用量,并且与stat_peak_memory比较,如果超过这个值,就更新这个属性。

5、处理sigterm信号

redis服务器,用属性shutdown_asap记录当前的结果,0是不用进行操作,1的话是要求服务器尽快关闭。

因此,服务器关闭命令shutdown执行,并不会立即关闭服务器,而是将服务器的shutdown_asap属性置成1,当下一次serverCron读取时,就会拒绝新的请求,完成当前正在执行的命令后,开始持久化相关的操作,结束持久化后才会关闭服务器。

6、管理客户端资源

主要是会检查客户端的两个内容:

1)客户端很长时间没有和服务器响应,服务器认为该客户端超时,则会断开和该客户端的连接。

2)当客户端在上一次执行命令请求后,输入缓冲区超过规定的长度,程序会释放输入缓冲区,并创建一个默认大小的缓冲区,防止缓冲区过分消耗。

3)关闭输出缓冲区超出大小限制的客户端。

7、管理数据库资源

主要是检查键是否过期,并且按照配置的策略,删除过期的键。如懒惰删除、定期删除等。

8、执行被延迟的bgrewriteaof命令

redis用属性aof_rewrite_scheduled记录是否有延迟的bgrewriteaof命令。

当执行bgsave命令期间,如果接收到bgrewriteaof命令,不会立即执行该命令,而是会将属性aof_rewrite_scheduled置成1。

每次执行serverCron函数执行时,发现属性aof_rewrite_scheduled是1,会检查当前是否在执行bgsave命令或bgrewriteaof命令,如果没有在执行这两个命令,则会执行bgrewriteaof命令。

9、检查持久化操作的运行状态

redis服务器分别用rdb_child_pid和aof_child_pid属性,记录rdb和aof的子进程号(即子进程pid),如果没有在执行相应的持久化,则值是-1。

1)有一个值不是-1时

每次服务器检查这两个属性,发现有一个不是-1,则会检查子进程是否有信号发来服务器进程。

如果有信号,表示rdb完成或aof重写完毕,服务器会进行后续的操作,比如用新的rdb、aof替换旧的相应文件。

如果没信号,表示持久化还没完成,程序不做动作。

2)两个值都是-1时

两个值都不是-1,会进行三个检查:

如果bgrewriteaof命令有存在延迟(即上述aof_rewrite_scheduled值是1),因为两个属性都是 -1,表示当前没有在持久化,则redis服务器会开始aof的重写。

检查服务器是否满足bgsave条件,如果满足,因为两个属性都是 -1,则会开始执行bgsave。

检查服务器是否满足bgrewriteaof条件,如果满足,因为两个属性都是 -1,则会开始执行bgrewriteaof。

流程如下:

10、将aof缓冲区内容写入aof文件

如果开启aof,redis会记录每个写命令,写入aof缓冲区,但是为了减少磁盘I/O,不会立即写入aof文件。而是在执行serverCron函数时,才会开始将缓冲区内容写入aof文件。

11、记录执行一次serverCron

redis用属性cronloops保存serverCron函数执行的次数。当执行一次serverCron,则会将属性值加1。

这个值目前的作用,是在主从复制情况下,会有一个条件是,每执行n次serverCron,则执行一次指定代码。

——written by linhxx 2017.09.09

原文发布于微信公众号 - 决胜机器学习(phpthinker)

原文发表时间:2017-09-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏散尽浮华

MongoDB集群运维笔记

前面的文章介绍了MongoDB副本集和分片集群的做法,下面对MongoDB集群的日常维护操作进行小总结:         MongDB副本集故障转移功能得益于它...

5949
来自专栏python3

清理Linux内存

因为LINUX的内核机制,一般情况下不需要特意去释放已经使用的cache。这些cache起来的内容可以增加文件以及的读写速度。

701
来自专栏陈树义

1.Redis 的安装

一、Redis 介绍 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。...

2829
来自专栏小狼的世界

PHP中跨时区应用的解决方法

现在有一个跨时区的应用,不同时区登录的用户需要看到自己时区的时间,同时也要能够进行时区的切换,有什么好办法么。

681
来自专栏还债之路

redis缓存服务器

#你当前没有指定配置文件,以默认的配置文件启动,如果你想指定配置文件你可以redis-server 文件所在位置

662
来自专栏十月梦想

node实现静态资源目录(根目录)

前面也讲述了,nodejs没有web容器,访问使用/filename是无法访问文件的,需要通过路由判断然后fs.readFile读取文件才可以!

562
来自专栏机器学习算法与Python学习

Python:爬虫系列笔记(5) -- cookie的使用

大家好哈,上一节我们研究了一下爬虫的异常处理问题,那么接下来我们一起来看一下Cookie的使用。 为什么要使用Cookie呢? Cookie,指某些网站为了辨别...

3329
来自专栏pythonlove

Linux系统内部的名称解析与安全认证(原创)

我们都知道计算机最喜欢的是数字,而人类喜欢的是语言,所以我们在计算机上运行的进程、定义的用户、端口号、协议、ip地址等都需要转换成数字的形式让计算机明白,在Li...

1074
来自专栏从零开始学自动化测试

pytest文档5-fixture之conftest.py

前面一篇讲到用例加setup和teardown可以实现在测试用例之前或之后加入一些操作,但这种是整个脚本全局生效的,如果我想实现以下场景: 用例1需要先登录,用...

723
来自专栏前端那些事

mongodb原生node驱动

写在前面 最近读《node.js学习指南》,对于mongodb没有介绍太多的工作原理,但是对于一个前端开发者,即使你还没有用过这种数据库也可以让你很好的理解和使...

2316

扫描关注云+社区