Redis系列 | Redis5.0重量级新特性

Redis5.x版本继承了4.x版本的所有功能增强以及新的命令。Stream数据结构Stream是Redis 5.0引入的一种新数据类型,它是一个全新的支持多播的可持久化消息队列。Redis Stream的结构示意图如图1所示,它是一个可持久化的数据结构,用一个消息链表,将所有加入进来的消息都串起来。Stream数据结构具有以下特性 1、Stream中可以有多个消费者组。2、每个消费组都含有一个Last_delivered_id,指向消费组当前已消费的最后一个元素(消息)。3、每个消费组可以含有多个消费者对象,消费者共享消费组中的Last_delivered_id,相同消费组内的消费者存在竞争关系,即一个元素只能被其中一个消费者进行消费。4、消费者对象内还维持了一个Pending_ids,Pending_ids记录已发送给客户端,但是还没完成ACK(消费确认)的元素id。5、Stream与Redis其他数据结构的比较,见表1。图1 Stream数据结构示意图Stream相关命令介绍 接下来按照使用流程中出现的顺序介绍 Stream相关命令。1、首先使用XADD添加流元素,即创建Stream,添加流元素时可指定消息数量最大保存范围。2、然后通过XGROUP创建消费者组。3、消费者使用XREADGROUP指令进行消费。4、客户端消费完毕后使用XACK命令确认消息已消费成功。图2 Stream相关命令介绍消息(流元素)消费确认 Stream与相比Pub/Sub,不仅增加消费分组模式,还支持消息消费确认。当一条消息被某个消费者调用XREADGROUP命令读取或调用XCLAIM命令接管的时候,服务器尚不确定它是否至少被处理了一次。因此,一旦消费者成功处理完一条消息,它应该调用XACK知会Stream,这样这个消息就不会被再次处理,同时关于此消息的PEL(pending_ids)条目也会被清除,从Redis服务器释放内存。某些情况下,因为网络问题等,客户端消费完毕后没有调用XACK,这时候PEL内会保留对应的元素ID。待客户端重新连上后,XREADGROUP的起始消息ID建议设置为0-0,表示读取所有的PEL消息及自last_id之后的消息。同时,消费者消费消息时需要能够支持消息重复传递。图3 ACK机制解读内存使用优化Redis5.0在上一版本基础上,在内存使用上做了进一步优化。主动碎片整理  
当key被频繁修改,value长度不断变化时,Redis会为key分配新的内存空间。由于Redis追求高性能,实现了自己的内存分配器来管理内存,因此并不会将原有内存释放给OS,从而导致出现内存碎片。当used_memory_rss/used_memory高于1.5,一般认为内存碎片占比过高,内存利用率低。因此,合理规划和使用缓存数据,规范数据写入,有助于减少内存碎片的产生。Redis3.x及以下:可以通过定期重启服务解决内存碎片问题。建议实际缓存数据不超过配置可用内存的50%。Redis4.x:支持主动整理内存碎片,服务在运行期间进行自动内存碎片清理。同时Redis4.x支持通过memory purge命令手动清理内存碎片。Redis5.0:增强版主动碎片整理,配合Jemalloc版本更新,更快更智能,延时更低。HyperLogLog算法优化HyperLogLog是一种基数计数方法,使用少量的内存空间完成海量数据的计数统计,在Redis5.0中,HyperLogLog算法得到改进,优化了计数统计时的内存使用效率。举个例子:B树计数效率非常高,但是内存消耗也比较多。而HyperLogLog可节省大量存储空间。当B树需要1M内存统计,HyperLogLog只需要1kb。内存信息统计报告能力增强,INFO命令返回信息更加详实。命令新增和优化1、客户端管理增强Redis-cli支持集群管理  
在Redis4.x以及之前版本,需要安装redis-trib模块,管理集群。 
Redis5.0对Redis-cli做了优化,集成了集群的所有管理功能。具体使用可以通过命令redis-cli --cluster help查看帮助信息。优化客户端在频繁连接与中断场景下的性能  
当您的应用需要使用短连接时,这个优化价值凸显。2、有序集合使用更简单有序集合新增两个命令:ZPOPMIN和ZPOPMAX。ZPOPMIN key [count]  
删除并返回有序集合key中的最多count个具有最低得分的成员。如果返回多个成员,也会按照得分高低(value值比较),从低到高排列。ZPOPMAX key [count]  
删除并返回有序集合key中的最多count个具有最高得分的成员。如果返回多个成员,也会按照得分高低(value值比较),从高到低排列。3、 help增加更多子命令说明支持help直接查看快速使用攻略,你不再需要每次登陆redis.io去查找。例如,命令行输入stream使用攻略:xinfo help127.0.0.1:6379> xinfo help
1) XINFO <subcommand> arg arg ... arg. Subcommands are:
2) CONSUMERS <key> <groupname>  -- Show consumer groups of group <groupname>.
3) GROUPS <key>                 -- Show the stream consumer groups.
4) STREAM <key>                 -- Show information about the stream.
5) HELP                         -- Print this help.
127.0.0.1:6379> 
4、Redis-cli命令输入提示  Redis-cli在输入完整的命令后,会展示参数提醒,帮助用户记忆命令语法格式。如下图所示,输入zadd命令,Redis-cli使用浅颜色字体显示zadd的语法。RDB支持存储LFU、LRURedis5.0开始,RDB快照文件中增加存储key逐出策略LRU和LFU:FIFO:先进先出。最早存储的数据,优先被淘汰。LRU:最近最少使用。长期未使用的数据,优先被淘汰。LFU:最不经常使用。在一段时间内,使用次数最少的数据,优先被淘汰。

原文发布于微信公众号 - Tinywan的杂货摊(TinywanIOT)

原文发表时间:2019-07-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券