《Redis设计与实现》读书笔记(二十一) ——Redis服务器定时函数serverCron详解

《Redis设计与实现》读书笔记(二十一) ——Redis服务器定时函数serverCron详解

(原创内容,转载请注明来源,谢谢)

一、概述

redis定时函数——serverCron,该函数,默认情况下,redis每100毫秒执行一次,这个执行间隔可以在配置文件进行设置。这个函数是用于管理服务器的资源,保证服务器更良好的运转。

redis将部分用于此函数的属性,也存于结构体redisServer之中。

         structredisServer{
         //..其他内容
         time_t unixtime;
         long long mstime;
         unsigned lruclock:22;
         size_t stat_peak_memory;
         int shutdown_asap;
         int aof_rewrite_scheduled;
         pid_t rdb_child_pid;
         pid_t aof_child_pid;
         int cronloops;
         }

二、函数功能

redis的serverCron函数,执行期间需要做11件事,如下:

1、更新服务器时间缓存

redis中有许多功能要获取系统当前时间,则需要调用系统接口查询时间,这样比较耗时,因此redis在结构体中用unixtime、mstime属性,保存了当前时间,并且定时更新这个值。前者是秒级unix时间戳,后者是毫秒级unix时间戳。

但是,由于每100毫秒才更新因此,因而这两个值只会用在打印日志、更新服务器LRU时钟、决定是否进行持久化任务、计算服务器上线时间等,精度要求不高的地方使用。

对于键过期时间、慢查询日志等,服务器会再次进行系统时间调用,获取最精确的时间。

2、更新lru时间

lru记录的是服务器最后一次被访问的时间,是用于服务器的计算空转时长,用属性lruclock进行存储。默认情况下,每10秒更新一次。另外,每个redis对象也存了一个lru,保存的是该对象最后一次被被访问的时间。

当要计算redis对象的空转时间,则会用服务器的lru减去redis对象的lru,获得的结果即对象的空转时长。

在redis客户端,用命令objectidletime key,可以查看该key的空转时长,返回结果是以秒为单位。由于redis每10秒更新一次服务器的最后访问时间,因此不是很精确。

3、更新服务器每秒执行命令数

这个不是通过扫描全部的键,而是采用抽样的方式确定的结果。每100毫秒1次,随机抽取一些键,查看最近1秒是否有操作,来确定最近1秒的操作次数。

接着,会将这个值,与上一次的结果,取平均值,作为本次计算的每秒执行命令数。在存入结构体中,供下次取平均值使用。

4、更新服务器内存峰值

redis服务器中,用stat_peak_memory记录服务器内存峰值。每次执行serverCron函数,会查看当前内存使用量,并且与stat_peak_memory比较,如果超过这个值,就更新这个属性。

5、处理sigterm信号

redis服务器,用属性shutdown_asap记录当前的结果,0是不用进行操作,1的话是要求服务器尽快关闭。

因此,服务器关闭命令shutdown执行,并不会立即关闭服务器,而是将服务器的shutdown_asap属性置成1,当下一次serverCron读取时,就会拒绝新的请求,完成当前正在执行的命令后,开始持久化相关的操作,结束持久化后才会关闭服务器。

6、管理客户端资源

主要是会检查客户端的两个内容:

1)客户端很长时间没有和服务器响应,服务器认为该客户端超时,则会断开和该客户端的连接。

2)当客户端在上一次执行命令请求后,输入缓冲区超过规定的长度,程序会释放输入缓冲区,并创建一个默认大小的缓冲区,防止缓冲区过分消耗。

3)关闭输出缓冲区超出大小限制的客户端。

7、管理数据库资源

主要是检查键是否过期,并且按照配置的策略,删除过期的键。如懒惰删除、定期删除等。

8、执行被延迟的bgrewriteaof命令

redis用属性aof_rewrite_scheduled记录是否有延迟的bgrewriteaof命令。

当执行bgsave命令期间,如果接收到bgrewriteaof命令,不会立即执行该命令,而是会将属性aof_rewrite_scheduled置成1。

每次执行serverCron函数执行时,发现属性aof_rewrite_scheduled是1,会检查当前是否在执行bgsave命令或bgrewriteaof命令,如果没有在执行这两个命令,则会执行bgrewriteaof命令。

9、检查持久化操作的运行状态

redis服务器分别用rdb_child_pid和aof_child_pid属性,记录rdb和aof的子进程号(即子进程pid),如果没有在执行相应的持久化,则值是-1。

1)有一个值不是-1时

每次服务器检查这两个属性,发现有一个不是-1,则会检查子进程是否有信号发来服务器进程。

如果有信号,表示rdb完成或aof重写完毕,服务器会进行后续的操作,比如用新的rdb、aof替换旧的相应文件。

如果没信号,表示持久化还没完成,程序不做动作。

2)两个值都是-1时

两个值都不是-1,会进行三个检查:

如果bgrewriteaof命令有存在延迟(即上述aof_rewrite_scheduled值是1),因为两个属性都是 -1,表示当前没有在持久化,则redis服务器会开始aof的重写。

检查服务器是否满足bgsave条件,如果满足,因为两个属性都是 -1,则会开始执行bgsave。

检查服务器是否满足bgrewriteaof条件,如果满足,因为两个属性都是 -1,则会开始执行bgrewriteaof。

流程如下:

10、将aof缓冲区内容写入aof文件

如果开启aof,redis会记录每个写命令,写入aof缓冲区,但是为了减少磁盘I/O,不会立即写入aof文件。而是在执行serverCron函数时,才会开始将缓冲区内容写入aof文件。

11、记录执行一次serverCron

redis用属性cronloops保存serverCron函数执行的次数。当执行一次serverCron,则会将属性值加1。

这个值目前的作用,是在主从复制情况下,会有一个条件是,每执行n次serverCron,则执行一次指定代码。

——written by linhxx 2017.09.09

原文发布于微信公众号 - 决胜机器学习(phpthinker)

原文发表时间:2017-09-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏美团技术团队

【美团技术团队博客】Linux资源管理之cgroups简介

引子 cgroups 是Linux内核提供的一种可以限制单个进程或者多个进程所使用资源的机制,可以对 cpu,内存等资源实现精细化的控制,目前越来越火的轻量级...

4636
来自专栏技术博文

关于inodes占用100%的问题及解决方法

系统:Centos;一般的Linux系统也可以用这种方法。 情况描述:今天session文件写入时,写入不了,而且连接到服务器上开启服务都开不了,起始以为磁盘空...

4129
来自专栏编程语言

Python:VScode 设置Python不同版本运行环境

1.首先本地安装有不同的Python的版本,比如2.7和3.5.mac下一般默认自带2.7版本。  终端输入侧  python -V 则显示默认版本号。而p...

1342
来自专栏熊二哥

Linux快速入门03-系统管理

这部分将涉及常用的各类linux命令和一些系统高级管理特性,尤其是shell script的创建,这部分在系统自动化运维时会很有作用。 ? 在进入bash介绍...

2197
来自专栏云计算教程系列

如何在CVM上设置SSH仅作文件传输

SFTP代表SSH File Transfer Protocol。顾名思义,这是一种使用加密SSH连接将文件传输到服务器的安全方式。尽管名称如此,但它与FTP(...

2195
来自专栏pangguoming

两台centos之间传送文件

最近在CentOS系统中(主机A)读数据。由于A主机只是作为数据读取,具体的Deep Learning 实验,需要在主机B( CentOS )中进行,需要将主机...

1543
来自专栏磨磨谈

CentOS GRUB损坏修复方法

博客很久没有更新了,一个原因就是原来存放部署博客的环境坏了,硬盘使用的是SSD,只要读取到某个文件,整个磁盘就直接识别不到了,还好博客环境之前有做备份,最近一直...

1423
来自专栏landv

centos查看系统/硬件信息及运维常用命令

[root@yan-001 ~] # uname -a # 查看内核/操作系统/CPU信息的linux系统信息命令

7692
来自专栏北京马哥教育

如何部署Samba服务

一、samba存在的意义 有时为了方便windows与linux虚拟机之间的文件共享,我们一般用SAMBA服务来解决,有人会问,VMTool不是可以直接设置sh...

5335
来自专栏搞前端的李蚊子

微信小程序 登录流程规范解读

一. 官方登录时序图 ? 二. 简单理解 这里仅按照官方推荐的规范来 0. 前置条件 一共有三端:  - 微信小程序客户端  - 第三方服务器端(自己搭建)  ...

5459

扫码关注云+社区

领取腾讯云代金券