我有一个备用的小mac电脑，只有64G内存，32线程，4T硬盘。最近搞活动，详见：春节期间单细胞转录组数据分析全免费，收到了上百个需求，就把它拿出来了避免吃灰。...20万个单细胞里面的表达量矩阵，就可以直接构建单细胞对象了，但是CreateSeuratObject(counts = ct ) 会报错，居然是内存问题。...虽然我这个小mac电脑，只有64G内存，32线程，4T硬盘仅仅是备用电脑平时吃灰的， 但是不应该是区区20万个单细胞都搞不定啊，我思考了一下，大概是因为在R里面的两万个基因在20万个单细胞里面的表达量矩阵存储格式不经济...，我简单看了看，居然占用了20G内存，怪不得呢。...，后面的质量控制和降维聚类分群就顺理成章的事情了。
文章目录 配置redis 最大内存限制 查看redis内存相关信息：INFO memory 内存都去哪儿了？...还没好好使用，就爆了 内存回收策略 过期键值 Redis如何淘汰过期的keys 内存移除控制策略 8个解决方方案 回收进程如何工作 近似LRU算法 内存优化 使用32位的redis 位级别和字级别的操作...redis.conf 文件为大多数指令提供了丰富的内联文档，使得一些复杂的内存优化选项易于理解、更改和测试。...虽然当 Redis 的数据被换出 (swap out) 时，Redis的性能会变差，但是总比直接被杀死的好。：建议自：https://redis.io/topics/admin 内存都去哪儿了？...还没好好使用，就爆了 ? 1.自身内存：redis自身运行所消耗的内存，一般很小。 2.对象内存：这是redis消耗内存最大的一块，存储着用户所有的数据。
二、redis 内存使用 redis的内存使用分布：自身内存，键值对象占用、缓冲区内存占用及内存碎片占用。 redis 空进程自身消耗非常的少，可以忽略不计，优化内存可以不考虑此处的因素。...这种方式存在问题是，触发时机，加入过期键长时间未被读取，那么它将会一直存在内存中，造成内存泄漏。 定时任务删除：redis内部维护了一个定时任务（默认每秒10次，可配置），通过自适应法进行删除。...noevication：默认不回收，达到内存上限，则不再接受写操作，并返回错误。 volatile-lru：根据LRU算法删除设置了过期时间的键，如果没有则不执行回收。...volatitle-random：速记删除设置了过期时间的键。 volatilte-ttl：根据键ttl，删除最近过期的键，同样如果没有设置过期的键，则不执行删除。...动态配置：config set maxmemory-policy {} 在设置了maxmemory情况下，每次的redis操作都会检查执行内存回收，因此对于线上环境，要确保所这只的maxmemory>used_memory
1.Redis内存回收Redis之所以性能强，最主要的原因就是基于内存存储。然而单节点的Redis其内存大小不宜过大，会影响持久化或主从同步性能。...我们可以通过修改redis.conf文件，添加下面的配置来配置Redis的最大内存： 代码解读复制代码maxmemory 1gb当内存达到上限，就无法存储更多数据了。...因此，Redis内部会有两套内存回收的策略： 内存过期策略 内存淘汰策略 1.1.内存过期处理存入Redis中的数据可以配置过期时间，到期后再次访问会发现这些数据都不存在了，也就是被过期清理了。...算法我们弄明白了，不过这里大家要注意一下：Redis中的KEY可能有数百万甚至更多，每个KEY都有自己访问时间或者逻辑访问次数。...而如果设置了其它策略，则会在每次执行命令后判断占用内存是否达到阈值。如果达到阈值则会基于配置的淘汰策略尝试进行内存淘汰，直到占用内存小于阈值为止。关于 LRU 和 LFULRU是最近最久未使用。
微信公众号：DBA随笔 01、Redis内存管理 在Redis中删除数据之后，可能会出现Redis占用的内存不释放的问题，今天我们来看看这个问题。...Redis的内存并不由Redis本身控制，而是由内存分配管理器来负责回收或者分配。常见的内存分配管理器有libc，jemalloc，tcmalloc等，默认使用jemalloc。...，jmelloc会分配指定的大小的内存空间，例如我们一个命令需要100字节的内存空间，jemalloc会自动分配128字节的内存空间来容纳这个key，这样就有了28字节的余量，下次再来28字节的请求，就不用重新分配资源了...总之，内存碎片的原因有2个： 1、内存分配器不是按需分配，而是留有余量，这会导致有碎片； 2、数据增删之后，内存中会有空洞； 02、Redis中内存相关命令 Redis中使用info memory来查看内存情况...03、如何清理内存碎片？ 1、重启Redis实例。 这是一个比较粗暴的办法，但是很管用。 2、Redis4.0中提供了一种优雅的办法，内存碎片自动清理。它的本质是通过内存中的数据复制来实现的。 ?
断点了下,有如下发现： image.png 从内存中看key的前一位是0，也就是类型是sdshdr5 image.png val 我就看不明白了 image.png 从上图可以看出key的结构体是一个sdshdr5...https://github.com/redis/redis/issues/6263 https://github.com/redis/redis/pull/6198 大意是在申请内存的时候，使用了内存对齐...，然后将对齐内存后的大小，增加到了used_memory上（在zmalloc.c中），用于标记申请的总内存，这些对齐的内存叫内存碎片。...redis的作者基于什么样的考量这么设计？后续有空了再跟进下。...最后更新下从代码层面梳理的数据结构图： image.png 原文： redis源码阅读-终于把内存占用算清楚了 - 墨天轮 (modb.pro)
图片来源：《Redis设计与实现》 通过图中可以看出，双端链表同时保存了表头指针和表尾指针，并且每个节点都有指向前和指向后的指针；链表中保存了列表的长度；dup、free和match为节点值设置类型特定函数...下图展示了列表编码转换的特点： ?...下图展示了Redis内层的哈希编码转换的特点： ?...下图展示了有序集合编码转换的特点： ? 五、应用举例 了解Redis的内存模型之后，下面通过几个例子说明其应用。...考虑这样一种场景：论坛网站在redis中存储了每个帖子的浏览数，而这些浏览数绝大多数分布在0-20000之间，这时候通过适当增大REDIS_SHARED_INTEGERS参数，便可以利用共享对象节省内存空间
官方答案是：因为CPU不是Redis的瓶颈，Redis的瓶颈最有可能是机器内存或者网络带宽。既然单线程容易实现且CPU不会成为瓶颈，顺理成章地采用单线程的方案了。 ...而这个文件事件处理器是单线程的，所以才叫redis的单线程模型，这也决定了redis是单线程的。 2、Redis单线程模型组成？...如果此时客户端准备好接收返回结果了，那么 redis 中的 socket01 会产生一个 AE_WRITABLE 事件，同样压入队列中， 事件分派器找到相关联的命令回复处理器，由命令回复处理器对 socket01...因为Redis的瓶颈不在内存，而是在网络IO模块带来CPU的耗时，所以Redis6.0的多线程用来处理网络IO这部分，充分带来CPU资源，减少网络IO阻塞带来的性能损耗 4.3、Redis6.0如何开启多线程...在redis的多线程模式下，获取、解析命令，以及输出结果两个过程，可以配置成多线程执行，因为它毕竟是定位到的主要耗时点，但是命令的执行，也就是内存操作，依然是单线程运行的。
大量TimeoutException，说明当前redis服务节点上已经堆积了大量的连接查询，超出redis服务能力，再次尝试连接的客户端，redis 服务节点直接拒绝，抛出错误。...那到底是什么导致了这种情况的发生呢？ 总结起来，我们可以从以下几方面进行关注： 一、redis 服务节点受到外部关联影响 redis服务所在服务器，物理机的资源竞争及网络状况等。...对于开启了持久化配置的redis服务（一般情况下都会开启），假如我们做了CPU亲和性处理，那么redis fork出的子进程则会和父进程共享同一个CPU资源，我们知道，redis持久化进程是一个非常耗资源的过程...2、内存不在内存了 www.lecaixuanzc.cn 开篇就讲过，redis最重要的东西，内存。 内存稳定性是redis提供稳定，低延迟服务的最基本的要求。...3）redis服务maxmemory配置。 www.51baishizc.cn 中我们提到过，对redis服务必要的内存上限配置，这是内存隔离的一种必要。
二、redis 内存使用 之前的文章 关于redis，你需要了解的几点！中我们简单介绍过redis的内存使用分布：自身内存，键值对象占用、缓冲区内存占用及内存碎片占用。...这种方式存在问题是，触发时机，加入过期键长时间未被读取，那么它将会一直存在内存中，造成内存泄漏。 定时任务删除：redis内部维护了一个定时任务（默认每秒10次，可配置），通过自适应法进行删除。...noevication：默认不回收，达到内存上限，则不再接受写操作，并返回错误。 volatile-lru：根据LRU算法删除设置了过期时间的键，如果没有则不执行回收。...volatitle-random：速记删除设置了过期时间的键。 volatilte-ttl：根据键ttl，删除最近过期的键，同样如果没有设置过期的键，则不执行删除。...动态配置：config set maxmemory-policy {} 在设置了maxmemory情况下，每次的redis操作都会检查执行内存回收，因此对于线上环境，要确保所这只的maxmemory>used_memory
1.数据量的总大小 一个机器放不下时 2.数据的索引（B+ Tree）一个机器的内存放不下时 3.访问量(读写混合)一个实例不能承受 如果满足了上述1 or 3个，进化...... 2.Memcached...类型的数据，同时还提供list，set，zset，hash等数据结构的存储 Redis支持数据的备份，即master-slave模式的数据备份 2.能干嘛 内存存储和持久化：redis支持异步将内存中的数据写到硬盘上...在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key，当此方法处理 后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。...快照，它恢复时是将快照文件直接读到内存里 Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。...劣势 在一定间隔时间做一次备份，所以如果redis意外down掉的话，就会丢失最后一次快照后的所有修改 Fork的时候，内存中的数据被克隆了一份，大致2倍的膨胀性需要考虑 [20200507094438
生产环境的Redis内存使用情况是必要的监控指标，Redis的稳定运行在一定程度上保证了生产环境的安全稳定运行。 今天生产环境爆出了大量的 timeOut 502错误。...去监控上查看一下，是Redis内存爆掉了，当时我慌的一批。 经过我半个多小时的百度，总算是找到了解决问题的办法。然后我一顿操作猛如虎，可算是解决问题了，下面我来回顾一下。...Redis提供了一个配置参数maxmemory来限制内存超出期望大小。...当实际内存超出 maxmemory 时，Redis 提供了几种可选策略 (maxmemory-policy) 来让 用户自己决定该如何腾出新的空间以继续提供读写服务。 ?...这个配置会导致当Redis内存满的时候拒绝写的请求，当Redis开始使用swap交换区的时候，你的读请求会超乎想象的慢。
1.数据量的总大小 一个机器放不下时 2.数据的索引（B+ Tree）一个机器的内存放不下时 3.访问量(读写混合)一个实例不能承受 如果满足了上述1 or 3个，进化...... 2.Memcached...master进行数据同步 slaveof 当master服务设置了密码保护时，slav服务连接master的密码 masterauth 设置Redis连接密码，如果配置了连接密码，客户端在连接...在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key，当此方法处理 后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。...它恢复时是将快照文件直接读到内存里 Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。...劣势 在一定间隔时间做一次备份，所以如果redis意外down掉的话，就会丢失最后一次快照后的所有修改 Fork的时候，内存中的数据被克隆了一份，大致2倍的膨胀性需要考虑 ?
Redis的内存优化主要包括配置合理的内存上限、选择合适的回收策略以及使用内存优化工具。...设置最大内存:通过maxmemory指令设置Redis的最大内存使用量，当内存达到此设置值时，会根据配置的淘汰策略来处理新的写入请求。...allkeys-lru: 当内存不足以容纳更多数据时，使用最近最少使用算法进行淘汰。volatile-lru: 只对设置了过期时间的键进行最近最少使用算法的淘汰。...volatile-random: 随机淘汰设置了过期时间的键。volatile-ttl: 淘汰设置了过期时间的键，优先淘汰剩余时间（TTL）最短的键。...redis-cli memory purge: 释放被内存密集型命令占用的内存，如KEYS, SORT, INFO等。
Redis会因为内存不足而产生错误，也会因为回收过久而导致系统长期的停顿，因此了解掌握Redis的回收策略十分重要。...当Redis的内存达到规定的最大值时，可以进行配置进行淘汰键值，并且将一些键值对进行回收。 我们打开Redis安装目录下的redis.conf文件。...Redis将回收超时的键值对。 allkeys-lfu：采用最近最不常用的淘汰策略，Redis将对所有的键值对采用最近最不常用的淘汰策略。...noeviction：不淘汰任何键值对，当内存满时，如果进行读操作，例如get命令，它将正常工作，而做写操作，它将返回错误，也就是说，当Redis采用这个策略内存达到最大的时候，它就只能读不能写了。...Redis默认采用noeviction策略。 LRU算法或者TTL算法都是不精确的算法，而是一个近似算法。
所以，监控 Redis 的内存消耗并了解 Redis 内存模型对高效并长期稳定使用 Redis 至关重要。 Redis 内存统计 redis提供了下面命令来查询当前redis内存的使用情况。...进程本身运行内存 Redis主进程本身运行肯定需要占用内存，如代码、常量池等等；这部分内存大约几兆，在大多数生产环境中与Redis数据占用的内存相比可以忽略。...而且输入缓冲区不受 maxmemory 控制，假设一个 Redis 实例设置了 maxmemory 为 4G，已经存储了 2G 数据，但是如果此时输入缓冲区使用了 3G，就已经超出了 maxmemory...内存碎片 内存碎片是Redis在分配、回收物理内存过程中产生的。...那肯定不行，这就会造成内存泄漏的问题。那Redis是怎么解决的呢？Redis提供了一个定时任务的删除机制来做补充。 定时任务删除 Redis内部维护了一个定时任务，默认是每秒运行十次。
1、降低redis内存占用的优点 1、有助于减少创建快照和加载快照所用的时间 2、提升载入AOF文件和重写AOF文件时的效率 3、缩短从服务器进行同步所需的时间 4、无需添加额外的硬件就可以让...redis存贮更多的数据 2、短结构 Redis为列表、集合、散列、有序集合提供了一组配置选项，这些选项可以让redis以更节约的方式存储较短的结构。 ...例子： 假若一个某个节点存储了’abc’字符串，在32位的平台下保守估计需要21个字节的额外开销（三个指针+两个int+空字符即：3*4+2*4+1=21） 由例子可知存储一个3字节字符串就需要付出至少...此时的test-list中含有512条数据，没有超除配置文件中的限制 2、往test-list中再推入一条数据 ? ...以有序数组的方式存储集合不仅可以降低内存消耗，还可以提升集合操作的执行速度。
实战 压缩列表能节省多少内存？ 总结 ---- 在讨论Redis内存压缩的时候，我们需要了解一下几个Redis的相关知识。...内存碎片率 = 操作系统给Redis分配的内存 / Redis存储对象占用的内存 因为压缩列表在更新节点的时候，经常需要进行内存重分配，所以导致比较高的内存碎片率。...但有很多手段可以减少内存碎片率，比如内存对其，甚至更极端的直接重做整个Redis内存（利用快照或者从节点来重做内存）都能有效的减低内存碎片率。...并且，为了减少修改字符串带来的内存重分类问题，Redis会进行内存预分配，所以可能你仅仅为了保存五个字符，但Redis会为你预分配10 bytes的内存。...接下来准备写一篇Redis内存压缩的小技巧。
当Redis中清理了大量的Key之后原先Redis申请的内存（used_memory_rss）将继续持有而不会释放，此时查看内存信息将会看到存在大量的内存碎片。...那么，Redis的内存碎片可以清理么，该如何清理呢？ 翻看了Redis的相关资料发现，Redis4版本之后开始支持内存碎片的清理，于是进行了一次测试，内容如下： 1....搭建Redis 搭建一个Redis，版本为4.0.14.搭建步骤参考历史博文或微信公众号，步骤相对简单，没有太多幺蛾子，很快便可以搭建成功。 2....130.69M，而Redis申请的内存为10.90G，碎片率mem_fragmentation_ratio为85.42，相当高了 4....占用的内存used_memory_rss已降低至4.71G了，内存碎片为36.61 5.
RDR 简介 RDR 是解析 redis rdbfile 工具。...与redis-rdb-tools相比，RDR 是由golang 实现的，速度更快（5GB rdbfile 在我的PC上大约需要2分钟）。 例子 $ ....stock_follower_count:ZH951803 portfolio:stock_follower:ZH924804 portfolio:stock_follower_count:INS104806 优势 分析 Redis...内存中那个 Key 值占用的内存最多 分析出 Redis 内存中那一类开头的 Key 占用最多，有利于内存优化 Redis Key 值以 Dashboard 展示，这样更直观 安装 Linux amd64...rdr-windows.exe RDR 参数解释 show 网页显示 rdbfile 的统计信息 keys 从 rdbfile 获取所有 key help 帮助 --version 显示版本信息 分析多个 Redis
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
