解决分布式集群环境下定时任务执行多次的方法汇总

今天分享一篇我之前遇到过的问题和解决方法,在开开发的过程中,项目中使用定时器已经不是一个新鲜的事情了,但是如果你的项目后期部署到集群环境下,如果不做处理,就会出现意想不到的问题,原因:由于我们项目同时部署在多台集群机器上,因此到达指定的定时时间时,多台机器上的定时器可能会同时启动,造成重复数据或者程序异常等问题,下面我提供几种解决方案

一、固定执行定时任务的机器

方法:在多台机器中选择一台执行定时任务,每次执行的时候回判断当前机器和指定的机器是否一致或者启动时就指定好执行机器

优缺点:这种方法是可以有效避免多次执行的情况,,但是最明显的缺点就是单点故障问题,如果你指定的机器出现了宕机,,任务就不会执行了,业务逻辑就会奔溃。

二、在数据库建立多张表,从定时任务表中获取定时方法

方法:由于MySQL存在表锁和行锁(MyISAM引擎只支持表锁,而InnoDB支持行锁和表锁两种),每次执行定时任务的时候从数据库表中读取记录,只有读取到的记录标识当前任务状态为未执行时,当前机器才会去触发任务,并且更新数据库状态(先更新,再执行),由于存在表锁和行锁,因此同一时刻只能有一个事务操作,可以保证只执行一次

优缺点:这种方法是一种比较合适的方式,但是需要有多张表,并且已经做了定时器逻辑上会有较大的改动

三、借助Redis的过期机制和分布式锁

方法:为你的定时器在Redis中定义一个键值对,可以用项目名称和服务器ip,执行任务前先从Redis中读取键,若没有值代表任务未被执行,同样的该台机器先更新redis,再触发定时任务。由于Redis存在过期机制,因此可以设置过期时间保证下次判断正常

优缺点:该方法个人比较推荐,简单,对业务逻辑的改变也会少很多,只需要在原来的定时器上加上简单判断即可

四、Quartz的集群应用方式

方法:如果你的项目使用的是Spring自带有Task定时任务机制,quartz框架本身就是支持集群环境,可以搭建集群环境下的定时器,也能解决上述问题 不过需要配置11张数据库表

优缺点:该解决方案最大的问题是需要配置11张左右的数据库表,工作量非常大

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181203A06K9F00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券