Redis开发与运维学习笔记---(13)

//

Redis开发与运维学习笔记---(13)

//

如何高效利用Redis内存

我们知道redis的数据都保存在内存中，如何高效利用内存变得尤为重要。这里主要从内存消耗、管理内存的原理与方法、内存优化技巧三个方面来讲述如何高效实现内存的存储。今天仅描述内存消耗相关知识。

01

内存消耗

Redis的内存使用统计

redis中通过info memory命令获取内存相关的指标：

# Memory
used_memory:2043448
used_memory_human:1.95M
used_memory_rss:3198976
used_memory_peak:3089264
used_memory_peak_human:2.95M
used_memory_lua:36864
mem_fragmentation_ratio:1.57
mem_allocator:jemalloc-3.6.0

其中各个指标的含义如下：

used_memory：redis分配器分配的内存总量，也就是内部存储所有内存占用量；

used_memory_human：上述指标的易读模式

used_memory_rss:从操作系统角度显示的Redis进程占用的物理内存总量

used_memory_peak:内存使用的最大值，也就是峰值

used_memory_lua：Lua引擎所消耗的内存大小

mem_fragmentation_ratio:used_memory_rss/used_memory的比值，表示内存碎片率，如果该值大于1，说明多出的部分内存并没有用于存储，而是被内存碎片消耗，如果二者相差很大，则说明内存碎片率严重。如果该值小于1，这种情况一般出现在操作系统把Redis的内存交换到硬盘导致，这会导致Redis性能变得很差，需要格外注意。

mem_allocator:Redis所使用的内存分配器

redis的内存消耗，主要包含下面4个方面：

自身内存；

对象内存；

缓冲内存；

内存碎片；

其中redis空进程自身占用的内存消耗很少，通常used_memory_rss只有3MB左右，used_memory在800kb左右，空的Redis进程消耗的内存可以忽略不记。

对象内存是Redis内存占用最大的一块，它存储着用户的数据，Redis所有的数据都采用key-value存储，所有在使用的时候，要注意监控value对象的内存占用情况，避免内存溢出。

缓冲内存，这部分内存主要包括客户端缓冲，复制积压缓冲区，AOF缓冲区。

客户端缓冲是指所有接入到Redis服务器TCP链接的输入输出缓冲，输入缓冲无法控制，最大空间为1G，如果超过将断开连接。输出缓冲通过参数client-output-buffer-limit来控制。在主从环境中，主节点会为每个从节点单独建立一条连接用于命令复制，默认配置是：

client-output-buffer-limit slave 256mb 64mb 60

当主从节点之间的网络延迟较高，或者主节点挂载了大量从节点时，这部分内存消耗将占用很大一部分。输入输出缓冲区在大流量场景中容易失控。造成Redis内存不稳定，需要重点监控

复制积压缓冲区：该缓冲区默认1MB，所有的从节点共享主节点的复制积压缓冲区，该部分的内存设置可以适当调大点。

AOF缓冲区：这部分空间用于在Redis重写期间保存最近的写入命令。这部分空间占用通常很小

内存碎片：Redis默认采用jemalloc内存分配器，jemalloc分配内存的时候是按照内存块来分配的，如果要保存5kb的内容，可能会采用8kb的内存块来保存，剩余的3kb将变成内存碎片。jemalloc对内存碎片做了专门的优化，一般来讲mem_fragmentation_ratio在1.03左右，但是当存储数据长短差异较大时，下面场景容易出现内存碎片：

1、频繁做更新操作，例如频繁进行append，setrange等

2、大量过期键删除，过期删除后，释放的空间无法得到充分利用，导致碎片率上升

除此之外，还有子进程的内存消耗，子进程内存消耗主要是在AOF/RDB重写时Redis创建的子进程内存消耗。子进程带来的内存消耗总结如下：

1、Redis产生的子进程并不需要1倍的父进程内存，实际消耗根据期间写入命令量决定，但是依然要预留出一些内存防止溢出。

2、需要设置sysctl vm.overcommit_memory=1允许内核可以分配所有的物理内存，防止Redis进程执行fork时因内存剩余不足而失败。

02

内存管理

Redis的内存管理主要分为控制内存上限和回收策略。

首先来看控制内存上限的方法：

1、Redis使用maxmemory参数限制最大可用内存，限制内存的目的是防止内存超过服务器的物理内存。当超出maxmemory参数限制时，会使用LRU等删除策略释放空间。

2、我们可以通过config set maxmemory进行动态修改内存参数，当单机多实例上内存满载的时候，一个redis实例增加了maxmemory，另一个redis实例要对应减少maxmemory

除了内存上限的方法，回收策略也比较重要。常见的回收策略分为两种：

1、删除到达过期时间的键对象，可以通过redis自身的键过期时间或者定时任务巡检来进行删除。

2、内存使用达到maxmemory的时候，触发内存溢出的控制策略。

这里有必要说下redis的内存溢出控制策略，在redis中，支持6中策略：

a、noeviction:默认策略，不会删除任何数据，拒绝所有写入操作并返回给客户端OOM的错误信息；

b、volitile-lru：根据LRU算法删除设置了超市属性的键，知道腾出足够空间为止，如果没有可删除的对象，回退到上面的策略

c、allkeys-lru：根据LRU算法删除键，不管数据有没有设置超时属性，直到腾出足够空间为止

d、allkeys-random:随机删除所有键

e、volatile-random：随机删除过期键

f、volatile-ttl：根据键值对象的ttl属性删除最近将要过期的数据，如果没有，回退到a策略

该内存溢出控制策略可以通过config set maxmemory-policy {policy}动态配置。当redis由于内存溢出删除键时，可以通过info stats命令来查看evicted_keys指标找出当前redis服务器已经删除的键数量。

最后，有几点需要注意：

1、当redis一直工作在内存溢出的状态下，且设置为非noeviction策略时，会频繁地出发回收内存的操作，(频繁查找可删除键，频繁删除键)，影响redis服务器的性能。

2、对于要收缩redis内存的场景，可以通过调小maxmemory来快速回收。但是在该过程中，可能会导致数据丢失和短暂的阻塞问题。