专栏首页技术小牛python怎样实现redis断开后自动重连的机制

python怎样实现redis断开后自动重连的机制

#python怎样实现redis断开后自动重连的机制

近来在做的一个项目,利用redis实现消息队列,在发布端用lpush,将数据写入到队列中,在订阅端用rpop方法依次读出每条数据并处理,需要在windows服务中循环读取redis里的数据并做进一步处理。

在这过程中遇到一个比较麻烦的问题,就是redis的连接每过一段时间会被redis服务器主动断开,查看redis的日志,记录的原因是psubscribe scheduled to be closed ASAP for overcoming of output buffer limits,刚开始的时候发现确实在处理消息时耗时太长,引起队列堵塞,导致缓冲区的内容过多,超出了redis连接的内存限制而被强制断开了,经过优化后处理每条消息的时长已经缩短到3毫秒左右,但偶尔仍然会出现redis连接被强制断开的情况。

考虑到这个服务要常驻在系统中的,就算redis服务器不主动断开连接,也有可能会出现redis服务器宕机或需要重启的情况,所以要建立redis连接断开后自动重连的机制比较可靠,于是写了一个getRedis方法,当在redis操作中抛出异常时,就自动重连直至连接成功后再返回。

刚开始写的代码,运行后发现redis的连接异常一直捕获不到,因为redis实例化时虽然传入了ip,端口等参数,但是没有真正连接的,所以并没有触发异常。知道了原因,解决也很简单,就是在实例化redis连接后调用一下ping方法或get方法(key随意,就算是一个不存在的key也不影响结果),这样当连接有问题时就会抛出异常,这时候再去尝试重连,直至成功再返回实例就可以了,最终代码如下:

from redis import ConnectionPool, Redis
#获取redis服务器连接
def getRedis():
    while True:
        try:
            pool = ConnectionPool(host='192.168.8.211', port=6379, db=0, password=None, 
            decode_responses=True, health_check_interval=30)
            redis = Redis(connection_pool=pool)
            redis.ping()
        except Exception as e:
            print('redis连接失败,正在尝试重连')
            continue
        else:
            return redis

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 爬虫破解IP限制–ADSL动态IP服务器–部署小结

    目前遇到的比较难搞的反爬虫技术有两个:特别难识别的人机识别验证码–如极验的手势验证,另外就是ip大量的限制,如R网站两次访问就被强制跳转到验证码页面。现在留下部...

    我在鹅厂做安全
  • Python从事工商、专利、商标大数据遇到的坑!

    最近在从事数据聚合技术研发工作,刚开始我主要是聚合工商的企业数据源、专利网的数据源、裁判文书网的数据源,刚开始遇到不少的坑,各种验证码、各种封IP等限制。做数据...

    孔雀
  • Python 面试基础

    9.举例说明异常模块中 try except else finally 的相关意义

    LittlePanger
  • 拼多多面试题

    2、看你在项目中用了redis,我们先聊聊redis吧,常用的数据结构有哪几种,在你的项目中用过哪几种,以及在业务中使用的场景,redis的hash怎么实现的,...

  • 字节跳动后端实习面经,一面+二面

    本来约的今天下午2点一面,一面完面试官让我直接等二面,然后就连着面了,二面完面试官又让我等着直接三面,然后等了一会儿说三面面试官不在,下次约时间。。。。看来是打...

    烂猪皮
  • GOFLY在线客服-使用reconnect-websocket.js实现断线自动重连机制-GO语言实现开源独立部署客服系统

    现在GOFLY在线客服使用reconnect-websocket.js就可以非常简单轻松的实现断线重连

    陶士涵
  • Redis分布式篇

    Redis 本身的 QPS 已经很高了,但是如果在一些并发量非常高的情况下,性能还是 会受到影响。这个时候我们希望有更多的 Redis 服务来完成工作

    编程之心
  • Redis 高可用篇:你管这叫主从架构数据同步原理?

    在《Redis 核心篇:唯快不破的秘密》中,「码哥」揭秘了 Redis 五大数据类型底层的数据结构、IO 模型、线程模型、渐进式 rehash 掌握了 Redi...

    码哥字节
  • 网络上收集的有关 Redis 方面的面试题

    风清醉
  • 非科班水硕的春招实习总结- Java 后台开发

    这篇文章主要是记录我春招实习的经历(碎碎念),只是希望能对别人起到一点点的帮助吧。没拿到什么大厂的 offer,不敢在各位大佬面前献丑。

    牛客网
  • 2020年终总结:美团+滴滴+网易+拼多多Java后端面经总结,最终上岸网易!

    今年秋招较以往是要难了一些,但也不是那种遥不可及的地步。对于准备充分的人来说总是offer不断。我接触Java也不到1年,但是只要好好的准备,两个月完全够应付大...

    Java程序猿
  • pyntho经典面试题

     (1)与java相比:在很多方面,Python比Java要简单,比如java中所有变量必须声明才能使用,而Python不需要声明,用少量的代码构建出很多功能;...

    py3study
  • 史上最全 50 道 Redis 面试题

    Redis本质上是一个Key-Value类型的内存数据库,很像memcached,整个数据库统统加载在内存当中进行操作,定期通过异步操作把数据库数据flush到...

    Java技术栈
  • 2018整理最全的50道Redis面试题!

    Redis本质上是一个Key-Value类型的内存数据库,很像memcached,整个数据库统统加载在内存当中进行操作,定期通过异步操作把数据库数据flush到...

    Java后端技术
  • redis

    只要问到缓存,上来第一个问题,肯定能是先问问你项目哪里用了缓存?为啥要用?不用行不行?如果用了以后可能会有什么不良的后果?

    大学里的混子
  • 如何搭建高可用redis架构?

    Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的 API。

    互扯程序
  • Redis 高可用架构最佳实践

    Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的 API。

    张琳兮
  • 2021年最新大厂php+go面试题集(1)

    首先面试都是从小公司到大公司的过程,小公司主要为了练手,熟悉面试节奏,后面才去面大公司。尽量不要一开始就奔着大公司去,容易出现准备不足的情况。。。另外,算法是真...

    码农编程进阶笔记
  • 新浪微博爬虫最新分享

    專 欄 ❈ 九茶,Python工程师,目前居于广州。Github知名开源爬虫QQSpider和SinaSpider作 者,经常会在CSDN上分享一些爬虫、数据...

    Python中文社区

扫码关注云+社区

领取腾讯云代金券