如何用容器实现生产级Redis sharding集群一键交付

Redis在3.0之后开始支持sharding集群。Redis集群可以让数据自动在多个节点上分布。如何使用Docker实现Redis集群的一键部署交付,是一个有趣的并且有价值的话题。

本文将给大家介绍基于进程的容器技术实现Redis sharding集群的一键部署。

什么是Redis sharding集群

Redis(redis.io)作为最流行的KV数据库,很长一段时间都是单机运行,关于如何实现Redis的数据在多个节点上的分布,在Redis3.0出来之前,有很多第三方的方案。建议大家参考这个链接:

http://redis.io/topics/partitioning

Client hash

这是最简单的实现,通过在客户端利用一致性hash算法,将数据分布到不同节点。这种方法的缺点非常明显,缺少故障自动failover能力,并且在扩容时数据分布的搬迁,也比较费劲。

代理模式

  • 一个是Redis官方推荐的Twemproxy,是由twitter公司开发;
  • 另一个是国内豌豆荚开源的codis;

代理模式最大的好处是仍然使用redis单机的sdk进行开发,维护简单。

Redis Cluster

redis3.0继2.8推出sentinel主从自动failover功能后,推出了sharding集群,这就是Redis Cluster。本次分享主要是介绍如何将Redis集群实现一键的部署。

参考文档:

http://redis.io/topics/cluster-tutorial

首先准备redis镜像

Redis官方已经提供了Redis 3.2和3.3的镜像,都可以用来作为Redis集群的镜像,3.2是稳定版本。

目前官方推出了alpine版本的Redis镜像,alpine镜像的优势是体积小。此次分享是采用官方的redis:3.2-alpine的镜像来做集群。

准备初始化脚本的执行环境

redis官方提供了一个ruby的脚本redis-trib.rb,这个脚本可以用来初始化集群、resharding集群、rebalance集群等。

我们使用官方的脚本来初始化集群。该脚本的运行需要ruby环境,我们来构建一个redis-trib镜像,以下是构建redis-trib镜像的Dockerfile内容:

cat Dockerfile
FROM ruby:2.3.1-alpine
ADD https://raw.githubusercontent.com/antirez/redis/3.2.0/src/redis-trib.rb /usr/local/bin/redis-trib.rb
RUN gem install redis && chmod 755 /usr/local/bin/redis-trib.rb && \
  sed -i '/yes_or_die.msg/a return if ENV["QUIET_MODE"] == "1"' /usr/local/bin/redis-trib.rb
ADD entrypoint.sh /entrypoint.sh
ENTRYPOINT [“/entrypoint.sh"]

脚本文件

cat entrypoint.sh

#!/bin/sh

if [ "$CLUSTER_CMD" = create ]; then
  if [ -f /usr/local/etc/redis-trib.conf ] ; then
    . /usr/local/etc/redis-trib.conf
    QUIET_MODE=1 redis-trib.rb create --replicas $REPLICAS $NODES
  fi
fi

上面两个文件用来构建redis-trib镜像,Dockerfile中的逻辑比较简单,将github中的redis-trib.rb文件添加到镜像中,并让脚本执行支持非交互模式(QUIET_MODE)。

镜像启动时,将执行集群初始化命令。

准备redis集群配置文件

port 6379
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes

redis集群的配置文件我们一般放到数据目录/data下,redis进程对/data目录拥有可读写的权限。

准备redis-trib脚本配置文件,用于集群初始化参数获取

entrypoint.sh文件中,最主要的是读取redis-trib.conf配置文件,配置文件的格式非常简单

REPLICAS={{.REPLICAS_NUM}}
{{ $rs := service "redis" }}
NODES="{{range $i,$rc := $rs.Containers}} {{$rc.IPAddr}}:6379{{end}}"

REPLICAS的意思是每个分片有几个slave,一般配置1个slave ,即REPLICAS=1**NODES**的意思是集群的每个节点,包括master和slave。

所以如果有10个节点,REPLICAS=1的话,那么将有5个分片(slices)。

编排集群

准备好上述镜像和配置文件后,我们开始编排集群

第一步:创建模版

第二步:选择镜像,添加redis服务

第三步:设置容器参数

第四步:设置健康检查策略

第五步:设置redis容器部署策略

添加redis集群初始化服务redis-trib

第一步:选择镜像

第二步:设置容器参数

第三步:设置redis-trib容器部署策略

redis-trib要在redis容器启动完成后再启动,所以启动优先级要比redis低。

通过以上步骤,编排好了Redis-sharding应用模版。

基于Redis-sharding应用模板,一键部署Redis Cluster

以下是部署后的效果图:

查看redis-trib集群初始化后的结果,看到集群的初始化过程没有问题;

验证:登录到任意一台redis节点执行redis-cli info:

以上内容分享了基于进程的容器技术,实现了Redis sharding的一键交付。

原文发布于微信公众号 - CSDN技术头条(CSDN_Tech)

原文发表时间:2016-06-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏达摩兵的技术空间

docker下部署jenkins(一)

本文带你在docker中安装jenkins服务,为入门级别的介绍,建议阅读时间10-15min.

1.2K30
来自专栏技术之路

Docker Stack 部署web集群

  Docker越来越成熟,功能也越来越强大。使用Dokcer Stack做服务集群也是非常的方便,docker 自己就提供了负载功能,感觉很方便,就想给大家分...

33750
来自专栏美丽应用

备选方案:在Linux Deploy上使用镜像部署Linux系统

55550
来自专栏日常工作总结

Kubernetes中Consul重启自动加入集群实践

近期频繁的容器母机调整导致我们的业务需要多次重启,不得不寻找一种自动重建Consul集群的方式。在网上搜索和学习一番后发现,基本没有针对Kubernetes容器...

32630
来自专栏运维小白

linux基础(day19)

6.1 压缩打包介绍 家用带宽和机房带宽的区别: 家用的IP是动态的、不固定的,而机房的IP却是固定不变的 家用的上传和下载带宽也是不同的;而在机房中的带宽,下...

20680
来自专栏魏艾斯博客www.vpsss.net

Windows2003 安装 IIS 不支持 ASP 解决办法

24520
来自专栏Java呓语

Gerrit 代码评审安装-快速使用手册

文章摘自googlesource,因实际安装环境不同文章内容也会对应做修改。本文基于Unix的操作系统解释说明,不推荐直接参照本文就部署在生产环境。

13220
来自专栏张戈的专栏

利用Centos或RedHat的iso镜像搭建本地yum仓库

这两天工作是用几台 PC 机给开发组搭建本地测试环境:CentOS-6.4-x86_64 + ant + svn。 为了操作简单及系统稳定,全部系统采用最小化安...

43250
来自专栏草根专栏

学习docker on windows (1): 为什么要使用docker

为什么要用Docker? 如果我们想使用某种pc软件, 那么在互联网上查找并安装软件的流程大致如下图: ? 那么这就有几个问题要弄清楚: 从哪里获得软件 Ap...

40160
来自专栏实战docker

Docker学习笔记之二:web开发和Tomcat部署

本期实践的主要目标是开发一个简单的web应用,打包部署到Docker的tomcat容器中去; 第一期为了快速上手,获取docker是从国内的daocloud...

308110

扫码关注云+社区

领取腾讯云代金券