redis集群配置及python操作

之前我们分析过喜马拉雅的爬取信息,使用分布式爬取,而且需要修改scrapy-redis的过滤算法为布隆过滤来减少redis内存占用,最后考虑这样还是不一定够,那么redis集群就是更好的一种选择方式了。

Redis 集群介绍

Redis 集群是一个提供在多个Redis节点间共享数据的程序集。

Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.

Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令. Redis 集群的优势:

自动分割数据到不同的节点上。整个集群的部分节点失败或者不可达的情况下能够继续处理命令。

Redis集群分区原理

Redis 集群键分布算法使用数据分片(sharding)而非一致性哈希(consistency hashing)来实现: 一个 Redis 集群包含 16384 个哈希槽(hash slot), 它们的编号为0、1、2、3……16382、16383,这个槽是一个逻辑意义上的槽,实际上并不存在。redis中的每个key都属于这 16384 个哈希槽的其中一个,存取key时都要进行key->slot的映射计算。

Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash槽,举个例子,比如当前集群有3个节点,那么:

节点 A 包含 0 到 5500号哈希槽.
节点 B 包含5501 到 11000 号哈希槽.
节点 C 包含11001 到 16384号哈希槽.

这种结构很容易添加或者删除节点. 比如如果我想新添加个节点D, 我需要从节点 A, B, C中得部分槽到D上. 如果我想移除节点A,需要将A中的槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可. 由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态.

Redis 集群的主从复制模型

为了使在部分节点失败或者大部分节点无法通信的情况下集群仍然可用,所以集群使用了主从复制模型,每个节点都会有N-1个复制品.

在我们例子中具有A,B,C三个节点的集群,在没有复制模型的情况下,如果节点B失败了,那么整个集群就会以为缺少5501-11000这个范围的槽而不可用.

然而如果在集群创建的时候(或者过一段时间)我们为每个节点添加一个从节点A1,B1,C1,那么整个集群便有三个master节点和三个slave节点组成,这样在节点B失败后,集群便会选举B1为新的主节点继续服务,整个集群便不会因为槽找不到而不可用了

不过当B和B1 都失败后,集群是不可用的.

Redis 一致性保证

Redis 并不能保证数据的强一致性. 这意味这在实际中集群在特定的条件下可能会丢失写操作.

第一个原因是因为集群是用了异步复制. 写操作过程:

客户端向主节点B写入一条命令.
主节点B向客户端回复命令状态.
主节点将写操作复制给他得从节点 B1, B2 和 B3.

主节点对命令的复制工作发生在返回命令回复之后, 因为如果每次处理命令请求都需要等待复制操作完成的话, 那么主节点处理命令请求的速度将极大地降低 —— 我们必须在性能和一致性之间做出权衡。 注意:Redis 集群可能会在将来提供同步写的方法。 Redis 集群另外一种可能会丢失命令的情况是集群出现了网络分区, 并且一个客户端与至少包括一个主节点在内的少数实例被孤立。

举个例子 假设集群包含 A 、 B 、 C 、 A1 、 B1 、 C1 六个节点, 其中 A 、B 、C 为主节点, A1 、B1 、C1 为A,B,C的从节点, 还有一个客户端 Z1 假设集群中发生网络分区,那么集群可能会分为两方,大部分的一方包含节点 A 、C 、A1 、B1 和 C1 ,小部分的一方则包含节点 B 和客户端 Z1 .

Z1仍然能够向主节点B中写入, 如果网络分区发生时间较短,那么集群将会继续正常运作,如果分区的时间足够让大部分的一方将B1选举为新的master,那么Z1写入B中得数据便丢失了.

Redis集群搭建

Redis安装

CentOS和Mac的安装请看:Linux/Mac安装Redis数据库Linux通用的安装方式:

mkdir /home/redis-clustercd 
/home/redis-cluster
# 下载稳定版redis
wget http://download.redis.io/releases/redis-stable.tar.gz
tar xvf redis-stable.tar.gz
cd redis-stable
make
make install

安装完以后,redis命令会在/usr/local/bin目录下,我们还需要将src/redis-trib.rb文件拷贝到/usr/local/bin目录下,我们直接在命令行使用redis-server就可以启动服务

在redis-stable目录下有redis.conf文件,先修改文件配置

port 7000(每个节点的端口号)
daemonize yes(后台运行)
bind 192.168.1.110(绑定当前机器 IP)
dir /home/redis-cluster/7000/data/(数据文件存放位置)
pidfile /var/run/redis_7000.pid(pid 7000和port要对应)
cluster-enabled yes(启动集群模式)
cluster-config-file nodes-7000.conf(7000和port要对应)
cluster-node-timeout 15000
appendonly yes

在单机配置

先创建集群目录

cd /home/redis-cluster
mkdir -p 7000/data 7001/data 7002/data 7003/data 7004/data 7005/data

将上面的redis.conf文件分别复制到这几个文件夹中,修改其中端口相关的部分

port 7001
dir /home/redis-cluster/7001/data/pidfile 
/var/run/redis_7001.pidpidfile 
/var/run/redis_7001.pid
cluster-config-file nodes-7001.conf

启动节点

redis-server /home/redis-cluster/7000/data/redis.conf
redis-server /home/redis-cluster/7001/data/redis.conf
redis-server /home/redis-cluster/7002/data/redis.conf
redis-server /home/redis-cluster/7003/data/redis.conf
redis-server /home/redis-cluster/7004/data/redis.conf
redis-server /home/redis-cluster/7005/data/redis.conf

到这里先别急,离成功已经很近了,我们还需要安装集群所需的软件

安装集群所需软件

CentOS安装

yum install ruby
yum install rubygems
gem install redis 

压缩包安装下载ruby网址:https://www.ruby-lang.org/en/downloads/

下载rubygems网址:https://rubygems.org/pages/download

# 下载ruby
wget https://cache.ruby-lang.org/pub/ruby/2.5/ruby-2.5.1.tar.gz 
tar xf ruby-2.5.1.tar.gz 
cd ruby-2.5.1 
./configure 
make 
make install

#下载rubygems
wget https://rubygems.org/rubygems/rubygems-2.7.7.tgz
tar xf rubygems-2.7.7.tgz
cd rubygems-2.7.7
ruby setup.rb 

#安装完rubygems后,就可以使用gem命令安装redis支持
gem install redis

启动集群redis-trib.rb create --replicas 1 192.168.1.110:7000 192.168.1.110:7001 192.168.1.110:1002 192.168.1.110:7003 192.168.1.110:7004 192.168.1.110:7005

参数:--replicas 1 表示主从复制比例为 1:1,即一个主节点对应一个从节点;然后,默认给我们分配好了每个主节点和对应从节点服务,以及 solt 的大小,因为在 Redis 集群中有且仅有 16383 个 solt ,默认情况会给我们平均分配,当然你可以指定,后续的增减节点也可以重新分配。我们现在有六个节点,三个主节点三个从节点,默认最少需要六个节点才能组成集群。

错误日志:如果报node 192.168.1.xx:7001 is not empty之类的错误说明集群未正确关闭或是存有日志文件则针对错误信息执行集群修复命令:./redis-trib.rb fix 192.168.133.128:7001

登录客户端进行操作:redis-cli -c -h 192.168.1.110 -p 7000一定要加上-c参数

到这里单机集群配置已经成功了

多机器配置

与单机配置相比较,需要修改的有以下几点:

  • 绑定ip配置为每个机器的ip
  • 端口可以使用一样的,也可以配置为不一样的
  • 安装的软件在每个机器上必须安装
  • 启动集群命令只需要在其中一个机器上执行即可

其他的命令等均一样

集群搭建好了,但是有一点要注意,对于同一个key只会存在于一个节点机器上,比如set、zset、list这种数据结构。所以最初我想用集群去存储上亿条去重数据等想法是不行了。最终还是要修改去重算法。

python操作Redis集群

python的redis库是不支持集群操作的,推荐库:redis-py-cluster,一直在维护。还有一个rediscluster库,看GitHub上已经很久没更新了。安装pip install redis-py-cluster

from rediscluster import StrictRedisClusterstartup_nodes = [
    {"host":"192.168.1.110", "port":7000},
    {"host":"192.168.1.110", "port":7001},
    {"host":"192.168.1.110", "port":7002},
    {"host":"192.168.1.110", "port":7003},
    {"host":"192.168.1.110", "port":7004},
    {"host":"192.168.1.110", "port":7005}]
rc = StrictRedisCluster(startup_nodes=startup_nodes)
rc.set('name','admin')
rc.set('age',18)
print("name is: ", rc.get('name'))
print("age  is: ", rc.get('age'))

除了连接这里不一样,其他的操作与redis库一致,另外在startup_nodes参数中即使写错几个机器host或port也能连接成功,理论上讲只要有一个节点正常就可以使用

原文发布于微信公众号 - python爬虫实战之路(gh_f26a568fdea8)

原文发表时间:2018-06-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏编程心路

win10 下配置 PHP 独立开发环境总结

Apache 的官网上是不能下载 Apache 服务器的安装包的,只提供 Apache 的源码,下载下来需要用 VC++ 重新编译一下,并且还要配置不少东西(心...

17740
来自专栏木头编程 - moTzxx

PHP学习(wampServer+PhpStorm+XDebug)——环境相关配置参考(上)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u011415782/article/de...

16240
来自专栏ASP.NET MVC5 后台权限管理系统

.Net 转战 Android 4.4 日常笔记(5)--新软件Android Studio 0.5.8安装与配置及问题解决

说真心话,Eclipse跟我们.net的VS比起来就是屌丝比高富帅,一切都是那么的难用,速度慢得我无法忍受 于是想试试Google钦点的Android Stud...

20670
来自专栏吴伟祥

Linux 系统核心组成 原

  指挥linux系统稳定运行的核心是linux内核。这个内核相当于linux系统的“大脑”,linux系统的就是在linux内核上发展起来的。linux高可用...

9930
来自专栏Janti

kafka学习笔记——基本概念与安装

Kafka是一个开源的,轻量级的、分布式的、具有复制备份、基于zooKeeper协调管理的分布式消息系统。

10330
来自专栏Python爬虫与数据挖掘

如何在vSphere Client上给虚拟机扩容

9、创建磁盘的大小,这里可以自定义,按照自己的需要来进行添加。在这里,小编以50GB为例,设置完之后选择“下一步”。

10310
来自专栏XAI

Nginx+Tomcat+Redis负载均衡Session共享实现超级简单(CentOS6.9系统 Java版本)

第一步Nginx+Tomcat 实现负载均衡的测试  相关软件环境 软件名称 版本号 版本说明 Java 1.7 linux版本 Tomcat 8...

539110
来自专栏博客园迁移

分布式事务 小结

分布式事务    如果系统规模较小,数据表都在一个数据库实例上,上述本地事务方式可以很好地运行,   但是如果系统规模较大,比如用户A账户表和用户B账户表显然不...

9610
来自专栏calvin

centos7 升级GCC版本到7.3.0

2.6K30
来自专栏张戈的专栏

抓取占用CPU高的JAVA线程,进而找出有问题的WEB页面

写在前面:当一个台 WEB 主机(JAVA 平台)上有多个站点时,很可能因为一个站点项目出现死锁之类的 BUG 而导致所有站点挂掉!最烦的就是因为站点过多,在日...

413150

扫码关注云+社区

领取腾讯云代金券