首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Docker 搭建 Redis Cluster 集群环境

使用 Docker 搭建 Redis Cluster,最重要的环节就是容器通信的问题,这一块我们在之前的文章中已经给大家解决了《Docker网络模式详解及容器间网络通信》,本篇文章主要练习使用多个容器完成 Redis Cluster 集群环境的搭建,顺便为学习 Docker Compose 铺铺路。俗话说没有对比就没有伤害,通过对比才能感受到 Docker Compose 的好处 😄。

  关于 Redis Cluster 集群更多的内容请阅读《最通俗易懂的 Redis 架构模式详解》。

环境

  本文所使用的基础设施环境如下:

  • CentOS 7.8.2003
  • Docker version 19.03.12

搭建

  整体搭建步骤主要分为以下几步:

  • 创建网络;
  • 下载 Redis 镜像(其实这步可以省略,因为创建容器时,如果本地镜像不存在,就会去远程拉取);
  • 编写 Redis 配置文件;
  • 创建 Redis 容器;
  • 创建 Redis Cluster 集群。

创建网络

  为什么需要创建网络?因为:默认的 bridge 网络是无法使用 DNS 的,所以我们就需要自定义网络。说简单点就是为了让容器可以直接通过容器名称进行通信。

  从 Docker 1.10 版本开始,docker daemon 实现了一个内嵌的 DNS server,使容器可以直接通过容器名称进行通信。方法很简单,只要在创建容器时使用 --name 为容器命名即可。

>

  但是使用 Docker DNS 有个限制:只能在 user-defined 网络中使用。也就是说,默认的 bridge 网络是无法使用 DNS 的,所以我们就需要自定义网络。

  通过 docker network create 命令可以创建自定义网络模式,默认为 bridge 网桥/桥接模式,完整命令如下:

代码语言:javascript
复制
docker network create redis-net

  通过 docker network ls 查看网络模式:

  我们还可以通过 docker network inspect redis-net 查看 redis-net 网络的详细信息:

编写 Redis 配置文件

创建目录及文件

代码语言:javascript
复制

# 创建目录
mkdir -p /usr/local/docker-redis/redis-cluster
# 切换至指定目录
cd /usr/local/docker-redis/redis-cluster/
# 编写 redis-cluster.tmpl 文件
vi redis-cluster.tmpl

编写配置文件

redis-cluster.tmpl 文件内容如下:

代码语言:javascript
复制

port ${PORT}
requirepass 1234
masterauth 1234
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 192.168.10.10
cluster-announce-port ${PORT}
cluster-announce-bus-port 1${PORT}
  • port:节点端口;
  • requirepass:添加访问认证;
  • masterauth:如果主节点开启了访问认证,从节点访问主节点需要认证;
  • protected-mode:保护模式,默认值 yes,即开启。开启保护模式以后,需配置 bind ip 或者设置访问密码;关闭保护模式,外部网络可以直接访问;
  • daemonize:是否以守护线程的方式启动(后台启动),默认 no;
  • appendonly:是否开启 AOF 持久化模式,默认 no;
  • cluster-enabled:是否开启集群模式,默认 no;
  • cluster-config-file:集群节点信息文件;
  • cluster-node-timeout:集群节点连接超时时间;
  • cluster-announce-ip:集群节点 IP,这里需要特别注意一下,如果要对外提供访问功能,需要填写宿主机的 IP,如果填写 Docker 分配的 IP(172.x.x.x),可能会导致外部无法正常访问集群;
  • cluster-announce-port:集群节点映射端口;
  • cluster-announce-bus-port:集群节点总线端口。

  每个 Redis 集群节点都需要打开两个 TCP 连接。一个用于为客户端提供服务的正常 Redis TCP 端口,例如 6379。还有一个基于 6379 端口加 10000 的端口,比如 16379。

>

  第二个端口用于集群总线,这是一个使用二进制协议的节点到节点通信通道。节点使用集群总线进行故障检测、配置更新、故障转移授权等等。客户端永远不要尝试与集群总线端口通信,与正常的 Redis 命令端口通信即可,但是请确保防火墙中的这两个端口都已经打开,否则 Redis 集群节点将无法通信。

  在 redis-cluster 目录下执行以下命令:

代码语言:javascript
复制

for port in `seq 6371 6376`; do \
  mkdir -p ${port}/conf \
  && PORT=${port} envsubst < redis-cluster.tmpl > ${port}/conf/redis.conf \
  && mkdir -p ${port}/data;\
done

上面是一段 shell for 语句,意思就是循环创建 6371 ~ 6376 相关的目录及文件。

  查看命令执行结果,如果没有 tree 命令先安装 yum install -y tree

  以下内容为每个节点的配置文件详细信息。

代码语言:javascript
复制

[root@localhost redis-cluster]# cat /usr/local/docker-redis/redis-cluster/637{1..6}/conf/redis.conf
port 6371
requirepass 1234
masterauth 1234
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 192.168.10.10
cluster-announce-port 6371
cluster-announce-bus-port 16371

port 6372
requirepass 1234
masterauth 1234
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 192.168.10.10
cluster-announce-port 6372
cluster-announce-bus-port 16372

port 6373
requirepass 1234
masterauth 1234
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 192.168.10.10
cluster-announce-port 6373
cluster-announce-bus-port 16373

port 6374
requirepass 1234
masterauth 1234
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 192.168.10.10
cluster-announce-port 6374
cluster-announce-bus-port 16374

port 6375
requirepass 1234
masterauth 1234
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 192.168.10.10
cluster-announce-port 6375
cluster-announce-bus-port 16375

port 6376
requirepass 1234
masterauth 1234
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 192.168.10.10
cluster-announce-port 6376
cluster-announce-bus-port 16376

创建 Redis 容器

创建容器

  将宿主机的 6371 ~ 6376 之间的端口与 6 个 Redis 容器映射,并将宿主机的目录与容器内的目录进行映射(目录挂载)。记得指定网络模式,使用我们自己创建的 redis-net 网络。

代码语言:javascript
复制

for port in $(seq 6371 6376); do \
  docker run -di -p ${port}:${port} -p 1${port}:1${port} \
  --restart always --name redis-${port} --net redis-net \
  -v /usr/local/docker-redis/redis-cluster/${port}/conf/redis.conf:/usr/local/etc/redis/redis.conf \
  -v /usr/local/docker-redis/redis-cluster/${port}/data:/data \
  redis redis-server /usr/local/etc/redis/redis.conf; \
done

docker ps -n 6 查看容器是否创建成功。

docker network inspect redis-net | grep -i -E "name|ipv4address" 查看给每个节点分配的IP信息。

创建 Redis Cluster 集群

  随便进入一个容器节点,并进入 /usr/local/bin/ 目录:

代码语言:javascript
复制

# 进入容器
docker exec -it redis-6371 bash
# 切换至指定目录
cd /usr/local/bin/

  接下来我们就可以通过以下命令实现 Redis Cluster 集群的创建。

代码语言:javascript
复制
redis-cli -a 1234 --cluster create 172.18.0.2:6371 172.18.0.3:6372 172.18.0.4:6373 172.18.0.5:6374 172.18.0.6:6375 172.18.0.7:6376 --cluster-replicas 1

  出现选择提示信息,输入 yes,结果如下所示:

  集群创建成功如下:

  以下内容是创建集群时返回的详细信息,也就是上两幅图中的所有内容。

代码语言:javascript
复制

root@705a5ec95a2e:/usr/local/bin# redis-cli -a 1234 --cluster create 172.18.0.2:6371 172.18.0.3:6372 172.18.0.4:6373 172.18.0.5:6374 172.18.0.6:6375 172.18.0.7:6376 --cluster-replicas 1
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 172.18.0.6:6375 to 172.18.0.2:6371
Adding replica 172.18.0.7:6376 to 172.18.0.3:6372
Adding replica 172.18.0.5:6374 to 172.18.0.4:6373
M: 4dbede8f79c98a8cf63556387ce8c2a793d20089 172.18.0.2:6371
   slots:[0-5460] (5461 slots) master
M: c2117d59666f20be5a29485b2e22753991a2dcb9 172.18.0.3:6372
   slots:[5461-10922] (5462 slots) master
M: a5a8fdda426785c54a0e557b753ef571d22581a7 172.18.0.4:6373
   slots:[10923-16383] (5461 slots) master
S: 4aca662dbc0d40498592c11c8dcb94b62c39b15c 172.18.0.5:6374
   replicates a5a8fdda426785c54a0e557b753ef571d22581a7
S: 55fe2da8fe4fb1acdf950a6030a6304713eb613b 172.18.0.6:6375
   replicates 4dbede8f79c98a8cf63556387ce8c2a793d20089
S: be84c1e8600986d5ebfbd2e18611dc4d1ace41a7 172.18.0.7:6376
   replicates c2117d59666f20be5a29485b2e22753991a2dcb9
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join

>>> Performing Cluster Check (using node 172.18.0.2:6371)
M: 4dbede8f79c98a8cf63556387ce8c2a793d20089 172.18.0.2:6371
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: be84c1e8600986d5ebfbd2e18611dc4d1ace41a7 192.168.10.10:6376
   slots: (0 slots) slave
   replicates c2117d59666f20be5a29485b2e22753991a2dcb9
M: c2117d59666f20be5a29485b2e22753991a2dcb9 192.168.10.10:6372
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
M: a5a8fdda426785c54a0e557b753ef571d22581a7 192.168.10.10:6373
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
S: 4aca662dbc0d40498592c11c8dcb94b62c39b15c 192.168.10.10:6374
   slots: (0 slots) slave
   replicates a5a8fdda426785c54a0e557b753ef571d22581a7
S: 55fe2da8fe4fb1acdf950a6030a6304713eb613b 192.168.10.10:6375
   slots: (0 slots) slave
   replicates 4dbede8f79c98a8cf63556387ce8c2a793d20089
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

  至此一个高可用的 Redis Cluster 集群搭建完成,如下图所示,该集群中包含 6 个 Redis 节点,3 主 3 从。三个主节点会分配槽,处理客户端的命令请求,而从节点可用在主节点故障后,顶替主节点。

查看集群状态

  我们先进入容器,然后通过一些集群常用的命令查看一下集群的状态。

代码语言:javascript
复制

# 进入容器
docker exec -it redis-6371 bash
# 切换至指定目录
cd /usr/local/bin/

检查集群状态

  因为我们使用了自定义的网络进行容器管理,这样可以使容器直接通过容器名称通信。推荐使用这种方式。

代码语言:javascript
复制

# 使用 IP
redis-cli -a 1234 --cluster check 192.168.10.10:6371
# 使用容器名称
redis-cli -a 1234 --cluster check redis-6372:6372

查看集群信息和节点信息

代码语言:javascript
复制

# 连接至集群某个节点
redis-cli -c -a 1234 -h redis-6373 -p 6373
# 查看集群信息
cluster info
# 查看集群结点信息
cluster nodes

SET/GET

  在 6371 节点中执行写入和读取,命令如下:

代码语言:javascript
复制

# 进入容器并连接至集群某个节点
docker exec -it redis-6371 /usr/local/bin/redis-cli -c -a 1234 -h redis-6371 -p 6371
# 写入数据
set name mrhelloworld
set aaa 111
set bbb 222
# 读取数据
get name
get aaa
get bbb

  别着急,让我来解释一下上图中的操作过程:

  • 首先进入容器并连接至集群某个节点;
  • 然后执行第一个 set 命令 set name mrhelloworldname 键根据哈希函数运算以后得到的值为 [5798]。当前集群环境的槽分配情况为:[0-5460] 6371节点[5461-10922] 6372节点[10923-16383] 6373节点,所以该键的存储就被分配到了 6372 节点上;
  • 再来看第二个 set 命令 set aaa,这里大家可能会有一些疑问,为什么看不到 aaa 键根据哈希函数运算以后得到的值?因为刚才重定向至 6372 节点插入了数据,此时如果还有数据插入,正好键根据哈希函数运算以后得到的值也还在该节点的范围内,那么直接插入数据即可;
  • 接着是第三个 set 命令 set bbbbbb 键根据哈希函数运算以后得到的值为 [5287],所以该键的存储就被分配到了 6371 节点上;
  • 然后是读取操作,第四个命令 get namename 键根据哈希函数运算以后得到的值为 [5798],被重定向至 6372 节点读取;
  • 第五个命令 get aaaaaa 键根据哈希函数运算以后得到的值也在 6372 节点,直接读取;
  • 第六个命令 get bbbbbb 键根据哈希函数运算以后得到的值为 [5287],被重定向至 6371 节点读取。

  通过以上操作我们得知 name 键的存储被分配到了 6372 节点,如果直接连接 6372 节点并获取该值会怎么样?没错,不需要重定向节点,因为数据就在该节点,所以直接读取返回。

  总结下来就是,在 Redis Cluster 集群模式中,*无论连接哪个节点*,每次我们执行写入或者读取操作的时候,所有的键会根据哈希函数运算并映射到 0 ~ 16383 整数槽内,如果恰好对应的就在你当前连接的节点中,则直接执行命令,否则重定向至对应节点执行命令。

客户端连接

  最后来一波客户端连接操作,随便哪个节点,看看可否通过外部访问 Redis Cluster 集群。

  至此使用多个容器搭建 Redis Cluster 集群环境就到这里,其实整体搭建过程不算特别麻烦,因为:

  • 创建 Redis 集群需要用到 Ruby,否则就得自己关联节点构建集群,自己分配槽;
  • 如果使用 Ruby 构建 Redis 集群,就需要安装 Ruby 环境;
  • 而 Redis 从 5 版本开始可以直接使用 redis-cli 命令创建集群了,就省去了很多麻烦事;
  • 我们还使用了 shell for 循环语句简化了构建过程,否则那些语句一条条执行也够你闹心的。

  综上所述,有没有更简单的办法呢?当然有了,不然我在这跟你卖什么关子。

  Docker Compose 就可以解决这个问题。后面我们先学习一下什么是 Docker Compose,然后使用 Docker Compose 再来搭建一遍 Redis Cluster 集群环境,感受感受这前后的区别。

  • 发表于:
  • 本文为 InfoQ 中文站特供稿件
  • 首发地址https://www.infoq.cn/article/a5536b928edd12beb32fcabf9
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券