首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Java通过redis管理你的集群定时任务

前言 早在实习的时候,笔者就接触了spring-task和quartz框架,相信任何java程序员都会有定时任务的需求,在单机上使用定时任务是非常简单的,但是在集群环境中就显得比较棘手: 如何限定只有一台机器在执行定时任务...,对quartz框架并无依赖,所以就考虑使用其他方式来实现定时任务的分布式调度。...通过redis实现任务调度思路 实现功能之前,回顾下之前遇到的三个问题:单点执行,故障转移,服务状态。...结合着redis的一些接口特性,解决思路如下: 使用redis作为任务调度中心,采用了redis的自动过期与分布式锁特性 每个服务的ip加项目名作为每台服务的唯一别名 通过redis中对应key值中的value...进去,设置一定时间的有效期,并执行定时任务;如果不为空,判断是否与本机ip相同,相同则执行定时任务,否则跳过 设置有效期是为了某台机器发生故障时能进行故障转移 核心流程代码 此解决方案非常简单,核心代码也十分容易集成

2K60
您找到你想要的搜索结果了吗?
是的
没有找到

基于Redis定时任务里判断其他定时任务是否已经正常执行完的方案

执行的定时任务是基于其他定时任务计算得到的结果基础上做操作的,那么如何来确定其他存在数据依赖的定时任务已经执行完成呢?...在分布式环境里,可通过集群的redis来解决这个问题: 即,在跑批任务开始时,将任务key+当日凌晨时间组成的key值进行加1,例如: 1 redisOperator.getJedis().incr(key...+ startDateStr); 2 redisOperator.setKeyExpireTime(key+ startDateStr, 60*60*24); 跑批完成后,再将任务key+当日凌晨时间组成的...key值减1,例如: 1 //跑批结束后自减 2 redisOperator.getJedis().decr(key+ startDateStr); 正常任务执行完,redis里对应的应该状态是0。...1 //阻塞循环,一直等到另外的定时任务跑成功了,才继续。 2 while (!

61630

redis | 使用 redis 完成定时任务,这个场景你知道吗?

应用场景 作为一名 IT工程师 ,只要我们做过项目,想必大家都使用过 定时器 的。一般来说,项目中的订单模块 与 评论模块,都会涉及到定时任务执行。...redis 解决 redis 方式解决这个问题,那么我们就会用到 redis 定时器,redis 中有一个命令(expire),用来设置 key 的过期时间。...这里我会写一个 demo 案例: # redis 定时器demo演示 127.0.0.1:6379> set demo tom EX 30OK127.0.0.1:6379> get demo...当然,只有定时器还是不够的,还需要有 redis 的另外两个功能,发布订阅 与 过期通知。...定时任务也有一定了解,如果其中还有疑问 (可百度、可谷歌、可加群交流)。

4.5K50

定时任务

前言 ---- 如标题所示,本文要讲的就是定时任务定时任务在某些场景下是必不可少的存在。...延时是相对而言的,比如 setTimeout、setInterval、setImmediate 这些其实是在某个特定的事件执行完之后设定一个延时以执行下一个任务,并不是指定的现实中的具体的时间。...cron ---- 提到定时任务,不得不说说 cron ,百度百科上说的很清楚,Linux 系统的内置服务,定时执行工具。 定时格式 * * * * * :这五个星号具体的含义下图说的很清楚了。...这里之所以要提 cron ,主要是因为大量的实现定时任务的第三方库都形似与此( 注意是形似 ),其实就是这几个星号。...node-schedule ---- 在 node 中实现定时任务的比较出名的有以下几个:later、agenda、node-cron、node-schedule ,当然我选取了 node-schedule

2.4K40

永远不要使用Redis过期监听实现定时任务

time to live theoretically reaches the value of zeroRedis 自动过期的实现方式是:定时任务离线扫描并删除部分过期键;在访问键时惰性检查是否过期并删除过期键...这里说点题外话,使用 Redis 过期监听或者 RabbitMQ 死信队列做延时任务都是以设计者预想之外的方式使用中间件,这种出其不意必自毙的行为通常会存在某些隐患,比如缺乏一致性和可靠性保证,吞吐量较低...时间轮时间轮是一种很优秀的定时任务的数据结构,然而绝大多数时间轮实现是纯内存没有持久化的。运行时间轮的进程崩溃之后其中所有的任务都会灰飞烟灭,所以奉劝各位勇士谨慎使用。...在使用 Redisson DelayQueue 等定时任务中间件时可以同时使用扫描数据库的方法作为补偿机制,避免中间件故障造成任务丢失。...由于时间轮重启远比 Redis 重启要频繁,定时扫库等保护机制更为重要。永远不要使用 Redis 过期监听实现定时任务

1.5K20

Spring Boot 监听 Redis Key 失效事件实现定时任务

来源:antoniopeng.com/Redis 业务场景 实现思路 开启 Redis key 过期提醒 引入依赖 相关配置 ---- 业务场景 我们以订单功能为例说明下: 生成订单后一段时间不支付订单会自动关闭...最简单的想法是设置定时任务轮询,但是每个订单的创建时间不一样,定时任务的规则无法设定,如果将定时任务执行的间隔设置的过短,太影响效率。 还有一种想法,在用户进入订单界面的时候,判断时间执行相关操作。...实现:通过监听 Redis 提供的过期队列来实现,监听过期队列后,如果 Redis 中某一个 KV 键值对过期了,那么将向监听者发送消息,监听者可以获取到该键值对的 K,注意,是获取不到 V 的,因为已经过期了...开启 Redis key 过期提醒 修改 redis 相关事件配置。...找到 redis 配置文件 redis.conf,查看 notify-keyspace-events 配置项,如果没有,添加 notify-keyspace-events Ex,如果有值,则追加 Ex,

68300

定时任务莫名停止,Spring 定时任务存在 Bug??

通过同事反馈的日志,发现拉取流水定时任务没有执行,进一步查看,小黑哥发现整个系统其他的定时任务也都停止了。。。 这真是一个奇怪的的问题,这好端端的定时任务怎么会突然停止?...深入排查 虽然问题解决了,但是小黑哥心里还是存在一个疑惑,为何一个定时任务发生了阻塞,就会影响执行其他定时任务。...另外从上面可以看到,上述两个定时任务都由 pool-1-thread-1线程执行。从这点可以看出 Spring 定时任务将会交给线程池执行。...所以一旦某一个定时任务长时间阻塞这个执行线程,其他定时任务都将被影响,没有机会被执行线程执行。 Spring 这种默认配置,在需要执行多个定时任务的情况,可能会是一个坑。...,将会影响其他定时任务执行 如果存在多个定时任务,为了保证定时任务执行时间的准确性,可以修改默认配置,使其使用多线程执行定时任务 面对偶发的失败,我们可以采用重试补偿策略,不过这里切记设置合适的最大重试次数

2.8K11

linux定时任务

linux定时任务在一般情况下是默认启动的,通过crontab命令去控制 crontab默认配置文件 一般情况下,定时任务的配置文件,都在/etc/crontab文件中: ?...图为某系统默认的定时任务,可看出,根据不同的任务规则,执行了不同的任务,里面的配置大概分为以下几种: cat /etc/crontab SHELL=/bin/bash  # 第一行SHELL变量指定了系统要使用哪个...用户自定义的定时任务,将保存在/var/spool/cron/crontabs/文件夹中,文件根据用户名进行命名: ?...crontab   -u  指定crontab的用户,如果不使用该参数,则默认为当前用户 crontab    -l   输出用户的 crontab文件配置 crontab   -e   编辑用户的定时任务文件...从刚刚的那些内容我们可以看到,定时任务的前面是5段内容,用空格分开,后面是执行的命令,现在我们讲一讲这5段内容代表的意义 这5段内容分别代表了“分,时,日,月,周” 5种规则,例如: * * * *

13.6K10

Spring 定时任务

在程序中常常有定时任务的需求,例如每隔一周生成一次报表、每个月月末清空用户积分等等。Spring也提供了相应的支持,我们可以非常方便的按时执行任务。...所以定时任务功能既可以在命令行程序中使用,也可以在Java Web程序中使用。当然后者可能使用的更广泛一些(毕竟Web程序需要一直运行的嘛)。 这里我们定义两个任务,后面会让它们可以定时执行。...而且好像Spring不支持第二个星期一这样的定时器设置,所以如果有这样的需求,需要使用Quartz。 配置任务 任务配置既可以使用Java配置,也可以使用XML配置。...我们需要在配置类上添加@EnableScheduling,如果需要异步的定时任务,还需要添加@Async。...XML配置 Spring提供了task命名空间,让配置定时任务非常简单。 定时器 task:scheduler会注册一个ThreadPoolTaskScheduler定时器,它只有一个属性线程池大小。

87321

Java定时任务

在java中一个完整定时任务需要由Timer、TimerTask两个类来配合完成。 API中是这样定义他们的,Timer:一种工具,线程用其安排以后在后台线程中执行的任务。...我们可以这样理解Timer是一种定时器工具,用来在一个后台线程计划执行指定任务,而TimerTask一个抽象类,它的子类代表一个可以被Timer计划的任务。...但是由于每一个Timer对象对应的是单个后台线程,用于顺序执行所有的计时器任务,一般情况下我们的线程任务执行所消耗的时间应该非常短,但是由于特殊情况导致某个定时任务执行的时间太长,那么他就会“独占”计时器的任务执行线程...执行结果为: 指定时间time=Tue Jun 10 11:39:00 CST 2014指定时间执行线程任务… 在延迟指定时间后以指定的间隔时间循环执行定时任务 public class TimerTest03...Timer的缺陷 Timer的缺陷 Timer计时器可以定时(指定时间执行任务)、延迟(延迟5秒执行任务)、周期性地执行任务(每隔个1秒执行任务),但是,Timer存在一些缺陷。

2K20

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

    运营活动

    活动名称
    广告关闭
    领券