专栏首页JAVA技术zhai解析分布式锁之redis实现

解析分布式锁之redis实现

摘要:分布式架构设计如今在企业中被大量的应用,而在不同的分布式节点进行协同工作的时候,节点服务的时序、结果的正确性以及执行成本也成为了必须考虑的重要因素。其中竞态条件会导致执行结果的不正确,不同服务节点同时处理同一任务也将耗费不必需的系统资源,如果解决呢?方式之一可以选择分布式锁,本文介绍如果通过redis实现分布式锁,也欢迎大家和我一起讨论。

分布式锁的基本应用场景和设计原则

我们先来看一个简单的案例:有三个服务,一个是订单服务orderService,一个是报表服务(reportService),一个是推送服务(pushService),每个服务都横向部署在2个节点上。报表服务每天凌晨12点需要从订单服务拉取订单数据并生成报表,并且在每天早上8点通过推送服务向用户发送新生成的数据报表,需要如何设计这个流程?

首先我们需要了解该流程的两个关键点,第一,报表服务的2个节点只能有一个节点生成报表,否则会浪费系统资源,该关键点没有高可靠的要求(重复覆盖生成并不会得到错误结果);第二,向同一个用户推送该数据报表也只能有一个节点去执行,否则用户会收到两份一样的报表,该关键点有高可靠要求。

我们可以从两个关键点中提取一个相同点,必须要设置一把锁,获的该锁的节点才能执行指定的任务。同时还能提取到一个不同点,那就是两种场景对获取锁的依赖程度不一致。我们来对该流程进行简单建模:

通过上图的流程已经可以实现简单可靠的锁机制,当然这是有前提的。

首先锁服务必须足够稳定,假设无法获取锁,那么竞争任务的将无法执行。其次,执行竞争任务的过程不能够死锁或者无限等待,否则将无法释放锁且改任务也无法执行完成。所以在设计锁的时候还需要考虑两个因素:锁必须要有过期时间及获取及释放锁过程的高可用或者锁错误时的异常处理。

所以,归纳一下分布式锁在设计时通常要考虑的几个要素是:

  1. 分布式锁一定要保证多客户端竞争临界资源时的绝对互斥;
  2. 分布式锁要设计一定的超时时间,防止在获得锁的服务阻塞或者崩溃引起的锁无法释放;
  3. 分布式要针对业务场景设计锁机制异常降级措施,防止因为锁获取错误导致无法获取临界资源的后果。

关于第2点的要素,还有一些要注意的东西,假设报表服务A在获取到锁之后,出现了很长的FULL GC,系统出现暂停,在此期间,锁已经超时了,报表服务B又重新拿到了锁并向用户发送了报表,在客户端AFull GC结束后,同样再去执行报表发送任务,就会导致执行结果出错。

这种场景往往需要个性化的处理,现在业界大部分的分布式锁都会出现这种情况,因为系统暂停导致的锁失效往往很难去避免,因为系统暂停可能出现在任何时候。 通常情况下,我们需要预估访问竞争资源的时间,确定好超时时间并在访问结束后进行数据比对和必要的数据补偿。

Redis具体实现分布式锁

在redis命令集合中,有一个命令叫做SETNX,具体命令格式是:SETNX key value

该命令的作用是如果key存在,则什么都不做,并且返回0,如果key不存在则将key的值设置成value,并且返回1,该命令是原子性的。我们可以利用该命令来实现分布式锁。

  1. 获取锁:获取当前的timestamp,并将客户端ID作为key,该timestamp作为value调用SETNX,并设置锁的TTL,处理获取锁的异常。
  2. 确认锁状态,如果成功获取锁,则访问临界资源,否则根据业务场景间隔一定时间再次尝试获取锁。
  3. 访问临界资源
  4. 释放锁
  5. //获取锁
  6. timeStamp = getCurrentTimeStamp();
  7. try{
  8. lock=SET CLIENT_ID timeStamp NX PX TIMEOUT;
  9. }catch(Exception e){
  10. //处理获取锁的异常
  11. return;
  12. }
  13. try{
  14. if(lock == 0){
  15. return;
  16. }else{
  17. //访问临界资源
  18. do();
  19. }
  20. }finally{
  21. //释放锁
  22. del CLIENT_ID;
  23. }

这种实现分布式锁的方式是很多开发者最喜欢用的,但是如何保证redis的可用性呢,如果我们使用一个redis节点,当其因为不可控原因宕机时,锁机制将不可用。有人可能会说,可以使用redis主从集群复制,主挂了,从可以接替上,但是这估计依然不能解决问题,因为redis主从复制是异步的,谁能保证主挂了,从节点上一定有锁数据呢?

redis官网上介绍了一种red lock算法,该算法弃用了单redis节点,采用N个(官网推荐5个)独立的redis节点作为锁服务,客户端要获取锁,必须向N/2+1(绝大部分)节点成功申请锁后,才能访问临界资源。

但是该算法中获取锁的过程变的复杂了,时间也就越不可控,假设从redis1节点获取锁成功开始到从redis(N/2+1)获取锁成功结束到时间为SPACETIME,锁到有效时间不再是key到TTL,而是:

  1. REMAIN_TIME=TTL-SPACETIME

当SPACETIME比较大时,客户端非常有可能获取到一个已经失效到锁,所以在获取锁之后red lock算法需要再次验证锁是否失效。

  1. //获取锁
  2. timeStamp = getCurrentTimeStamp();
  3. //向N/2+1个节点申请锁
  4. int successLockNum=0;
  5. boolean lockSuccess=false;
  6. for(int i=1;i<5;i++){
  7. try{
  8. lock=SET CLIENT_ID timeStamp NX PX TIMEOUT;
  9. if(lock == 1 && ++successLockNum == N/2+1){
  10.            lockSuccess = true;
  11. break;
  12. }
  13. }catch(Exception e){
  14. //处理获取锁的异常
  15. return;
  16. }
  17. }
  18. //验证获取锁是否成功
  19. if(!successLockNum){
  20. //获取锁失败
  21. return;
  22. }
  23. //验证获取到到锁是否是无效锁
  24. nowTimeStamp = getCurrentTimeStamp();
  25. if(nowTimeStamp-timeStamp>TTL){
  26. //无效锁
  27. return;
  28. }
  29. try{
  30. //访问临界资源
  31. do();
  32. }finally{
  33. //释放锁
  34. del CLIENT_ID;
  35. }

后续

用Redis来实现分布式锁机制在业界非常常用,但是我们在应用过程中一定要注意实现锁到超时避免死锁以及因为服务暂停导致锁失效到情况,每种情况到解决方案需要个性化到去解决。Red lock算法在一定程度上解决了分布式锁服务的稳定性问题,但是带来了系统复杂度,同时也有人在质疑了该算法,有兴趣到可以在搜索引擎搜索。本文就到这里,如有错误,欢迎指正。

想要了解更多分布式知识点的,可以加群: 537775426(备注好信息),我会把关于分布式的知识点放在群的共享区里面,我也会在群里面分享我从业多年的一些工作经验,希望我的工作经验可以帮助大家在成为架构师的道路上面少走弯路。带着大家全面、科学地建立自己的技术体系和技术认知!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 微服务2.0时代,论其痛点与触点

    微服务自2014年3月由Martin Fowler首次提出以来,在Spring Cloud、Dubbo等各类微服务框架的帮助下,以燎原之势席卷了整个IT技术界,...

    技术zhai
  • 大话微服务架构的故障隔离及容错处理机制

    8、限流器和负载开关(Rate Limiters and Load Shedders)

    技术zhai
  • 微服务布道师:详解微服务架构

    这两年,微服务这个概念火了,火到什么程度呢?2016年有一个统计说,两千家企业里,30%在使用微服务,15%在实验开发和测试微服务架构,24%在学习微服务准备转...

    技术zhai
  • Centos7下LVM对文件系统进行在线扩容

    今天在测试一台vps,结果他家的模板系统分区太不好了(就不喷了),本来想让人家客服看看处理下,结果人家直接来了一句自己分。所以才有了这篇笔记,顺便也可以复习下L...

    行 者
  • Python语言和matplotlib库做数据可视化分析

    数据记者和信息设计师,David McCandless,在他的TED演讲中谈到数据可视化的重要性时说过,“通过信息可视化,我们把它变成了一个你可以用眼睛探索的风...

    陆勤_数据人网
  • 基础知识 | 每日一练(161)

    小林:Unix 和其它一些系统提供了 popen() 函数, 它在联通运行命令的进程管道设置了 stdio 流, 所以输出可以被读取 (或提供输入)。记住, 结...

    闫小林
  • ubuntu安装leanote

    注意: 将后台管理-configration-转换pdf 配置成xvfb-run wkhtmltopdf

    超级大猪
  • 完美兼容4.4及以上系统实现沉浸式状态栏

    Google允许开发者在Android 4.4以上设置状态栏透明或半透明,布局填充全屏;而在5.0以上可直接设置状态栏颜色。

    蜻蜓队长
  • Hive Tips Hive使用技巧

    http://blog.sina.com.cn/s/blog_6a7df1f1010197d2.html 在Hive中,某些小技巧可以让我们的Job执行得更快,...

    Albert陈凯
  • jmeter分布式压测小技巧

    之前写过利用jmeter做分布式压测的简略介绍,当时只是介绍了背景和原因,以及基本的配置操作,有同学说写得不够详细。正好今年双十一,我司的全链路压测,也尝试了j...

    写博客的老张

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动