专栏首页TopCoderRedis常见集群方案

Redis常见集群方案

编者注:笔者整理了一份【Redis不完全指南】,包含了很多详细的知识点和Redis经典面试题,可关注「TopCoder」公众号,发送 Redis 来获取~

随着Redis中保存数据越来越多,单个Redis节点已不堪负重,需要引入Redis集群方案,Redis常见集群方案有:client分片方案、基于代理方案、redis cluster方案。

基于代理的方案一般也是基于分片或者redis cluster方案,不过对于client端来说是无感知的。从本质上来说,这三种实现方案都是以分片为实现基础:分片是分割数据到多个redis实例的过程,差别是分片动作发生在client端、代理端还是redis server端。

通过分片,通过利用多台机器内存/存储的和值,来构造更大的数据存储,这一思想在分布式中使用较为广泛,比如分库分表、ES路由等。

client分片方案

client分片是由客户端决定key写入或者读取的节点,包括jedis在内的一些客户端,实现了客户端分片机制。客户端分片原理图如下:

client分片方案简单性能较高,分片方案对redis server端无感知,每个redis实例是独立的。缺点是不支持动态增删节点,redis高可用需要redis本身机制来保证,比如redis sentinel,并且还需要让client感知到最新的master信息。

client分片一个经典实现是jedis中的SharedJedis,使用SharedJedis来实现分布式缓存,ShardedJedis通过一致性哈希来实现分布式缓存的,通过一定的策略把不同的key分配到不同的redis server上,达到横向扩展的目。使用了SharedJedis,一些redis命令就不能再使用了,比如pipeline命令,因为一组rdis命令可能涉及多个redis实例。关于pipeline更多资料可参考:如何用好redis pipeline,关于一致性哈希可参考:Redis常见问题指北

代理方案

可使用代理服务中间件比如Twemproxy,是一个twtter开源的一个redis和memcache代理服务器。Twemproxy 通过引入一个代理层,可以将其后端的多台 Redis 或 Memcached 实例进行统一管理与分配,使应用程序只需要在 Twemproxy 上进行操作,而不用关心后面具体有多少个真实的 Redis 或 Memcached 存储。

Twemproxy支持失败节点自动删除(redis作为cache场景)、支持设置HashTag、可减少client直接与redis连接数、自动分片到后端多个redis实例上和避免单点等。Twemproxy缺点是还不支持Redis的事务操作等。除了Twemproxy,还有一款代理中间件:Codis——豌豆荚开源的Redis分布式中间件,其和Twemproxy相比,有诸多激动人心的新特性,并支持从Twemproxy无缝迁移至Codis。

redis cluster方案

Redis cluster是Redis提供的分布式解决方案,集群通过分片(sharding)进行数据共享,并提供复制和故障转移功能。Redis默认对key使用crc16算法计算hash,得到一个整数值,然后取余槽个数(默认16384)得到对应槽号。

Redis集群是由多个节点(Node)组成的,刚开始每个节点都是独立的,运行在只包含自己一个节点的集群中,将多个节点连接起来,就构成了一个包含多个节点可用的集群。连接各个独立节点的功能是由 cluster meet <ip> <port> 完成的。

Redis集群通过分片来保存数据库中的键值对,集群的整个数据库被分为16384个槽(slot),数据库中每个键都属于16384个槽中的一个,每个节点处理0个或者最多16384个槽。只有当16384个槽都有节点来存储,整个集群才会处于在线状态。通过使用 culster addslots <slot> [slot ..] 命令将一个或者多个槽指派给某个节点负责。

在对数据库中16384个节点都进行指派后,集群就可以开始工作了,当客户端向集群中节点发送命令时,会首先计算数据库键对应的槽(涉及到crc16函数),并检查clusterState.slots数组,来判断该槽位号是否指派给了自己,如果指派给了自己则直接执行命令,否则会向客户单返回一个MOVE错误命令,引导客户端转向到正确的节点继续执行该命令。MOVE错误命令中包含了正确节点的IP和PORT信息,格式为moved <slot> <ip>:<port>。节点和单机数据库一个重要的区别就是cluster节点只能使用0号数据库,而单机Redis服务器没有这个限制。节点除了将键值对保存在数据库里面之外,还会用clusterState结构中的slots_to_keys跳跃表来保存键和槽之间的关系。

对Redis进行重新分片的工作是由redis-trab负责执行的,重新分片的关键是如何将原来属于一个节点的数据转移到另一个节点上。如果节点A正在转移槽i的数据到节点B,那么节点A没能在自己的服务器上找到指定的数据库键时,会向客户端返回一个ASK错误,指引客户端到节点B上去获取数据。MOVE表示当前节点不处理要查询键对应的槽位号,需到另一个节点去继续查询;而ASK错误只是在重新分片过程中使用的临时手段而已。

本文分享自微信公众号 - TopCoder(gh_12e4a74a5c9c),作者:南

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-09-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Redis(三)---集群方案

    将众多小内存的Redis实例整合起来,将分布在多台机器上的众多CPU核心的计算能力聚集到一起,完成海量数据存储和高并发多写操作

    Coxhuang
  • Redis 集群之Redis+Codis方案

    【转载请注明出处】:https://cloud.tencent.com/developer/article/1636529

    后端老鸟
  • Redis 集群之Redis+Twemproxy方案

    【转载请注明出处】:https://cloud.tencent.com/developer/article/1637716

    后端老鸟
  • Redis集群方案对比:Codis、Twemproxy、Redis Cluster

    数据持久化本质上是为了做数据备份,有了数据持久化,当Redis宕机时,我们可以把数据从磁盘上恢复回来,但在数据恢复之前,服务是不可用的,而且数据恢复的时间取决于...

    Java技术栈
  • Redis集群方案应该怎么做?

    目前Redis server端还没有出集群方案。客户端的集群方案,有没有一种方案,可以做sharding,同时也可以做主备,主机挂了,slave能自动顶上。有没...

    MonroeCode
  • Redis集群方案应该怎么做?

    目前Redis server端还没有出集群方案。客户端的集群方案,有没有一种方案,可以做sharding,同时也可以做主备,主机挂了,slave能自动顶上。有没...

    MonroeCode
  • Redis+TwemProxy(nutcracker)集群方案部署记录

    Twemproxy 又称nutcracker ,是一个memcache、Redis协议的轻量级代理,一个用于sharding 的中间件。有了Twemproxy,...

    洗尽了浮华
  • Redis数据迁移至Codis集群方案

    随着公司项目的发展,单台redis的性能逐渐达到瓶颈,为了保证业务的正常运行,必须对单台redis进行扩展,组建redis的集群。在这次集群组建的过程中我们采用...

    后场技术
  • redis架构演变与redis-cluster群集读写方案

    redis-cluster是近年来redis架构不断改进中的相对较好的redis高可用方案。本文涉及到近年来redis多实例架构的演变过程,包括普通主从架构(M...

    用户1263954
  • 一文搞懂 Redis 的三种集群方案

    在开发测试环境中,我们一般搭建Redis的单实例来应对开发测试需求,但是在生产环境,如果对可用性、可靠性要求较高,则需要引入Redis的集群方案。虽然现在各大云...

    iMike
  • 常见的Redis面试题及分布式集群讲解

    Tanyboye
  • Redis面试高频45题笔记:基础+缓存雪崩+哨兵+集群+Reids学习笔记

    欢迎关注专栏:Java架构技术进阶。里面有大量batj面试题集锦,还有各种技术分享,如有好文章也欢迎投稿哦。

    慕容千语
  • Redis热点Key发现及常见解决方案

    在日常工作生活中一些突发的的事件,例如:双十一期间某些热门商品的降价促销,当这其中的某一件商品被数万次点击浏览或者购买时,会形成一个较大的需求量,这种情况下就会...

    Spark学习技巧
  • Redis热点Key发现及常见解决方案

    在日常工作生活中一些突发的的事件,例如:双十一期间某些热门商品的降价促销,当这其中的某一件商品被数万次点击浏览或者购买时,会形成一个较大的需求量,这种情况下就会...

    Bug开发工程师
  • Redis热点Key发现及常见解决方案!

    1、用户消费的数据远大于生产的数据(热卖商品、热点新闻、热点评论、明星直播)。 在日常工作生活中一些突发的的事件,例如:双十一期间某些热门商品的降价促销,当这其...

    java思维导图
  • Redis集群方案怎么做?大牛给你介绍五种方案!

    Redis数据量日益增大,而且使用的公司越来越多,不仅用于做缓存,同时趋向于存储这块,这样必促使集群的发展,各个公司也在收集适合自己的集群方案,目前行业用的比较...

    JKXQJ
  • Redis集群方案怎么做?大牛给你介绍五种方案!

    美的让人心动
  • 常见的错误集合解决方案(一)

    'Microsoft.VC90.CRT,version="9.0.21022.8"

    点云PCL博主
  • 058. Memcached 集群方案

    山海散人

扫码关注云+社区

领取腾讯云代金券