专栏首页Devops专栏python3连接redis sentinel集群

python3连接redis sentinel集群

安装

pip install redis

示例代码

# import redis
from redis.sentinel import Sentinel

"""
1、通过访问Sentinel服务的方式,获取redis的master、slave节点信息
2、向master redis写入数据
3、从slave redis读取数据
"""

# 连接哨兵服务器(主机名也可以用域名)
sentinel = Sentinel([('192.168.196.129', 26379),
                     ('192.168.196.132', 26379)
             ],
                    socket_timeout=0.5)

# 获取主服务器地址
master = sentinel.discover_master('mymaster')
print(master)
# 输出:('192.168.196.132', 6379)


# 获取从服务器地址
slave = sentinel.discover_slaves('mymaster')
print(slave)
# 输出:[('192.168.196.129', 6379)]


# 获取主服务器进行写入
master = sentinel.master_for('mymaster', socket_timeout=0.5, password='newpwd', db=0)
w_ret = master.set('foo', 'bar')
# 输出:True

# 获取从服务器进行读取(默认是round-roubin,随机从多个slave服务中读取数据)
slave = sentinel.slave_for('mymaster', socket_timeout=0.5, password='newpwd', db=0)
r_ret = slave.get('foo')
print(r_ret)
# 输出:bar

封装工具类方法

from redis.sentinel import Sentinel

class redisSentinelHelper():
    def __init__(self,sentinel_list,service_name,password,db):
        self.sentinel = Sentinel(sentinel_list,socket_timeout=0.5)
        self.service_name = service_name
        self.password = password
        self.db = db

    def get_master_redis(self):
        return self.sentinel.discover_master(self.service_name)

    def get_slave_redis(self):
        return self.sentinel.discover_slaves(self.service_name)

    def set_key(self,key,value):
        master = self.sentinel.master_for(
            service_name=self.service_name,
            socket_timeout=0.5,
            password=self.password,
            db=self.db
        )
        return master.set(key,value)

    def get_key(self,key):
        slave = self.sentinel.slave_for(
            service_name=self.service_name,
            socket_timeout=0.5,
            password=self.password,
            db=self.db
        )
        return slave.get(key)


def _test():
    # redis info
    sentinel_list = [('192.168.196.129', 26379),('192.168.196.132', 26379)]
    password = 'newpwd'
    db = 0
    service_name = 'mymaster'

    # create redis link
    rsh = redisSentinelHelper(sentinel_list=sentinel_list,password=password,service_name=service_name,db=db)

    # test set key : key1 test-insert-key1
    rsh.set_key('key1','test-insert-key1')

    # get key1
    print(rsh.get_key('key1'))

if __name__ == '__main__':
    _test()

运行如下:

D:\Python37\python3.exe D:/pythonProject/redis-test/test7.py
b'test-insert-key1'

其中,我没有把设置master节点写在初始化,而是在set key操作的时候才创建连接,主要是后续想要测试master节点变化的情况下,写入能够继续。

当然这样的话性能肯定不会很好,有很多可以根据实际情况修改的地方。

测试:当master节点切换,能否自动连续写入

当然,在sentinel执行master切点切换的过程,肯定会有些丢失,但是主要是要看切换之后,是否可以自动继续写入数据。

首先编写一个循环写入的示例

from redis.sentinel import Sentinel

class redisSentinelHelper():
    def __init__(self,sentinel_list,service_name,password,db):
        self.sentinel = Sentinel(sentinel_list,socket_timeout=0.5)
        self.service_name = service_name
        self.password = password
        self.db = db

    def get_master_redis(self):
        return self.sentinel.discover_master(self.service_name)

    def get_slave_redis(self):
        return self.sentinel.discover_slaves(self.service_name)

    def set_key(self,key,value):
        master = self.sentinel.master_for(
            service_name=self.service_name,
            socket_timeout=0.5,
            password=self.password,
            db=self.db
        )
        return master.set(key,value)

    def get_key(self,key):
        slave = self.sentinel.slave_for(
            service_name=self.service_name,
            socket_timeout=0.5,
            password=self.password,
            db=self.db
        )
        return slave.get(key)


def _test():
    # redis info
    sentinel_list = [('192.168.196.129', 26379),('192.168.196.132', 26379)]
    password = 'newpwd'
    db = 0
    service_name = 'mymaster'

    # create redis link
    rsh = redisSentinelHelper(sentinel_list=sentinel_list,password=password,service_name=service_name,db=db)

    # test set key : key1 test-insert-key1
    # rsh.set_key('key1','test-insert-key1')

    # get key1
    # print(rsh.get_key('key1'))

    # loop set key
    for i in range(0,1000000):
        rsh.set_key('key' + str(i), i)
        print(rsh.get_key('key' + str(i)))

if __name__ == '__main__':
    _test()

运行如下:

在写入的过程停止master服务

脚本由于socket连接异常,直接报终止了。

查看sentinel的日志如下:

1825:X 17 Apr 17:44:51.101 # +sdown master mymaster 192.168.196.132 6379
1825:X 17 Apr 17:44:51.194 # +new-epoch 3
1825:X 17 Apr 17:44:51.195 # +vote-for-leader 3607cde178c7ac4255d5f862e8f3892f5599100f 3
1825:X 17 Apr 17:44:52.230 # +odown master mymaster 192.168.196.132 6379 #quorum 2/2
1825:X 17 Apr 17:44:52.230 # Next failover delay: I will not start a failover before Wed Apr 17 17:50:52 2019
1825:X 17 Apr 17:44:52.274 # +config-update-from sentinel 3607cde178c7ac4255d5f862e8f3892f5599100f 192.168.196.129 26379 @ mymaster 192.168.196.132 6379
1825:X 17 Apr 17:44:52.274 # +switch-master mymaster 192.168.196.132 6379 192.168.196.129 6379
1825:X 17 Apr 17:44:52.274 * +slave slave 192.168.196.131:6379 192.168.196.131 6379 @ mymaster 192.168.196.129 6379
1825:X 17 Apr 17:44:52.274 * +slave slave 192.168.196.132:6379 192.168.196.132 6379 @ mymaster 192.168.196.129 6379
1825:X 17 Apr 17:45:22.298 # +sdown slave 192.168.196.132:6379 192.168.196.132 6379 @ mymaster 192.168.196.129 6379
1825:X 17 Apr 17:45:22.298 # +sdown slave 192.168.196.131:6379 192.168.196.131 6379 @ mymaster 192.168.196.129 6379
[root@centos7-server02 redis]# 

可以看到已经切换了master节点,这时候抛开刚才的异常问题,再执行一下脚本看看。

在master节点切换之后,再次运行脚本

直接就可以访问处理了。 这里就体现了通过sentinel集群来获取master节点的优势。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Redis 数据结构之hash类型

    Devops海洋的渔夫
  • Python采用并发查询mysql以及调用API灌数据 (二) - PyMysql操作数据库基本类封装

    上一篇文章已经写好了查询数据库以及post请求API的实例,那么本章节我们来继续。

    Devops海洋的渔夫
  • Python采用并发查询mysql以及调用API灌数据 (一)

    本次因为服务架构重构,表优化、重构,带来的任务就是需要从原来的mysql数据库中,读取原表数据(部分存在多张关联查询)然后通过调用API的服务方式灌入新的数据库...

    Devops海洋的渔夫
  • 在CentOS6.9中搭建HBase

    北漂的我
  • python开发_tkinter_单选按钮

    E | hongtenzone@foxmail.com  B | http://www.cnblogs.com/hongten

    Hongten
  • 服务中小企业出行,被忽视的“细颗粒”To B价值几何?

    2019年12月24日深夜,北京某互联网公司HR小邬在加班后走出写字楼,习惯性拿出打车APP叫个网约车,她要回到20公里外租的房子。

    曾响铃
  • tp5.1 框架数据库常见操作详解【添加、删除、更新、查询】

    添加数据后如果需要返回新增数据的自增主键,可以使用insertGetId方法新增数据并返回主键值:

    砸漏
  • 离线破解Navicat密码

    注:文中使用的是Navicat Premium 12.x,Navicat 11.x与12.x的加密方式有一些不同,实际上按照11.x的方式解密就可以了

    信安本原
  • 使用Pygame在Python游戏中放置平台【Gaming】

    这是正在进行的关于使用Pygame模块在Python 3创建视频游戏的系列文章的第6部分。以前的文章有:

    五月Rambo
  • 转载:《如何高效的进行腾讯云上的资源编排,一起来聊一聊Terraform》的几点补充说明

    本文为HashiCorp公司亚太区架构师Liu Yulei先生原创。在阅读完专栏文章《如何高效的进行腾讯云上的资源编排,一起来聊一聊Terraform》后,Li...

    腾讯云-CEDRIC

扫码关注云+社区

领取腾讯云代金券