分布式定时任务介绍

windealli

发布于 2023-10-24 14:32:39

4730

发布于 2023-10-24 14:32:39

文章被收录于专栏：windealliwindealli

引言

当业务需求不断增长时，应用经常需要执行一些定时任务来实现业务逻辑或系统功能。传统单机环境下，我们通常用系统自带的crontab来实现定时任务；在分布式场景中，定时任务的实现需要考虑任务的调度策略、并发处理等问题。如何何为分布式定时任务选择合适的方案，成为了研发团队面临的一项重大挑战。

什么是定时任务？它的应用场景有哪些？

定时任务是一种可以定时执行某项预定操作的任务。它通常由系统或应用程序自动触发，无需人工干预。

在现实场景中，定时任务广泛应用于各种领域中，如自动化测试、数据备份、定时邮件提醒、服务器运维等，从而提高了效率和自动化程度。

在生产环境中，一些监测程序和工具，如监测流量、定时清理服务器缓存、定时执行某些维护操作等，都是采用定时任务的方式实现。

周期性或者定点的定时任务时，也可以减轻运维人员的维护压力和繁琐工作程成本。

单机系统如何实现的定时任务

在单机系统中，定时任务的实现比较简单，可以通过下面方式实现定时任务

系统自带的Crontab
各种开发语言的定时任务库

基于Crontab的定时任务实现

Linux系统中的crontab是一种常见的定时任务调度工具。它使用 cron 守护进程读取 /etc/crontab 文件或 /etc/cron.d/* 目录中的配置，根据配置内容在设定的时间自动执行指定的命令或脚本。

crontab提供了精确到分钟级别的定时任务调度能力，

crontab通常用于周期性的备份、日志清理、数据同步等自动化任务，减少运维、管理员工作量，提高系统稳定性。

基于定时任务库的定时任务实现

各种编程语言的生态中通常都提供了定时任务库，下面以Golang和Java为例，分别介绍一种定时任务库。

Golang-Cron库

Golang的Cron是一个支持基于 Cron 表达式的定时任务库。它可以根据严格规范的 Cron 表达式表达时间，支持精确秒、分、时、日、月、周任务的调度，并可以循环执行定时任务。Cron 库的 API 使用方便，适用于简单和复杂的定时任务场景。

下面是一个使用Cron库实现每隔5秒打印一次“Hello World”的示例代码：

package main
import (
    "fmt"
    "github.com/robfig/cron/v3"
)
func main() {
    c := cron.New()
    c.AddFunc("*/5 * * * * ?", func() {
        fmt.Println("Hello World!")
    })
    c.Start()
}

Java-Timer 类

Java的Timer 类是一个计时器工具，可以在指定的时间间隔内执行重复定时任务或单次定时任务。使用 Timer 类可以很方便地实现定时任务。

下面是一个使用 Timer 类实现每隔5秒打印一次“Hello World”的示例代码：

import java.util.Timer;
import java.util.TimerTask;

public class TimerTaskTest {
    public static void main(String[] args) {
        TimerTask task = new TimerTask() {  
            public void run() {  
                System.out.println("Hello World!");  
            }  
        };
        Timer timer = new Timer();
        timer.schedule(task, 0, 5000); // 0毫秒后开始执行，每隔5秒重复执行一次
    }
}

分布式定时任务面临的挑战

在分布式环境下，需要确保任务的高可用性、并发性和一致性。需要使用分布式任务调度框架来实现定时任务的拆分和分片，把定时任务分发到多个节点，并通过节点之间的协作机制，确保任务的唯一性、原子性和一致性。

分布式定时任务的实现，通常面临以下挑战

基础设施的问题分布式定时任务要求一个更为强大的基础设施支持，例如服务器的负载均衡，高可用和数据备份、服务的发现和注册、消息中间件等，这些都是传统单机环境不需要考虑的。
任务管理的问题分布式定时任务需要考虑任务的管理问题，例如任务的调度和分配、节点的管理、负载监控等。这些工作都需要使用分布式技术，例如分布式任务调度和分布式锁等。
分布式一致性问题分布式定时任务的执行过程中，需要保证数据的一致性，因此，需要解决分布式环境下的一致性问题，包括分布式事务和分布式锁等。
分布式部署和远程调用的问题分布式定时任务需要在多个节点进行部署，向远程节点进行调度和执行，并保证任务的正确性和可恢复性。这需要使用远程调用框架和负载均衡技术等。

分布式定时任务的几种实现方案

方案一：基于数据库的实现

在分布式场景下，可以使用数据库中的定时任务功能。通过一个定时任务表来存储任务信息，再通过定时查询该表来获取需要执行的任务并执行。使用数据库作为定时任务的管理器可以实现可靠性和扩展性。

基于数据库的定时任务可以按照以下步骤实现

创建一个定时任务表，用于存储待执行的任务信息，包括任务名称、任务描述、执行时间、执行间隔、任务状态等字段。

-- 定时任务表
CREATE TABLE `cron_jobs` (
  `id` int(11) NOT NULL AUTO_INCREMENT, -- 主键ID
  `job_name` varchar(255) NOT NULL, -- 任务名称
  `job_description` text, -- 任务描述
  `cron_expression` varchar(255) NOT NULL, -- Cron表达式，用于定义任务执行时间
  `job_class` varchar(255) NOT NULL, -- 任务执行类
  `job_method` varchar(255) NOT NULL, -- 任务执行方法
  `job_params` text, -- 任务参数
  `created_at` datetime NOT NULL, -- 创建时间
  `updated_at` datetime DEFAULT NULL, -- 更新时间
  `status` enum('ENABLED','DISABLED') NOT NULL DEFAULT 'ENABLED', -- 任务状态，ENABLED表示启用，DISABLED表示禁用
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

编写一个定时任务执行器程序，该程序会定期从数据库中查询需要执行的任务，并执行相应的任务。

在程序中使用定时器或其他定时任务调度工具，例如cron或Quartz，定期触发定时任务执行器程序，以检查数据库中的任务表并执行相应的任务。

在执行器程序中实现任务的执行逻辑，包括任务的执行、异常处理和任务状态更新等功能。

在任务执行完成后，更新任务表中相应任务的状态，以便下次检查时知道任务已经执行完成。

方案二：基于消息队列的实现

基于消息队列的定时任务方案是一种常见的实现方式，消息队列很好地解决任务分发和调度问题。通过消息队列将任务发布到所有的节点，节点通过订阅消息并执行任务来实现。使用消息队列可以实现任务的可靠性，增强系统的扩展性和可维护性。

基于消息队列的定时任务实现步骤如下：

选择一个合适的消息队列，例如 RocketMQ、RabbitMQ 等。
在消息队列中创建一个定时消息，指定任务的执行时间和执行次数等信息。
编写一个消费者程序，监听消息队列中的定时消息，并在指定的时间执行任务。
将消费者程序部署到多个节点上，以实现水平扩展。

方案三：基于分布式定时任务库/框架：

分布式任务调度库、框架是一种通过分布式技术实现任务调度和任务管理的工具，常用于分布式定时任务系统中，具有任务分发、任务管理等功能，并提供了任务执行过程中的监控和反馈机制，可以有效提高任务的可靠性和执行效率。

Java中的Quartz 是最常用的企业级任务调度框架之一，可以被用来调度多种类型的工作负载，从简单的定时任务到复杂的任务依赖关系。它通过任务分发和调度器的协同工作来实现任务的高可用性和可扩展性。

// 一个简单的 Quartz 定时任务调度程序示例，每10s打印一个"Hello, Quartz!"
public class QuartzDemo {

    public static void main(String[] args) throws SchedulerException {

        // 1. 创建job类
        class MyJob implements Job {
            @Override
            public void execute(JobExecutionContext context) throws JobExecutionException {
                System.out.println("Hello, Quartz!");
            }
        }

        // 2. 创建触发器对象trigger
        // withIntervalInSeconds 定义触发器的执行时间间隔
        Trigger trigger = TriggerBuilder.newTrigger()
                .withIdentity("trigger", "group")
                .withSchedule(SimpleScheduleBuilder.simpleSchedule()
                        .withIntervalInSeconds(10)
                        .repeatForever())
                .build();

        // 3. 创建JobDetail对象
        JobDetail jobDetail = JobBuilder.newJob(MyJob.class)
                .withIdentity("job", "group")
                .build();

        // 4. 创建Scheduler对象并进行调度
        Scheduler scheduler = StdSchedulerFactory.getDefaultScheduler();
        scheduler.scheduleJob(jobDetail, trigger);
        scheduler.start();
    }
}

方案四：基于分布式定时任务平台

当业务更加复杂，设计的定时任务越来越多时，自己实现定时任务需要花费大量的人力。由此，产生了许多可视化的定时任务平台。开发者只需要实现任务本身的逻辑，至于任务的调度配置只需要在平台简单配置即可实现。

下面是几个常用的分布式定时任务平台

XXL-JOB XXL-JOB 是一个开源的分布式任务调度平台，它提供了类似于 XXL-JOB 的界面和设置选项，可以轻松管理和执行各种定时任务。
Elastic-Job： Elastic-Job是一个分布式调度解决方案，提供了可视化界面和多种任务类型支持。它可以帮助用户轻松地构建、调度和管理分布式任务。官网地址：

方案五：基于云函数的定时任务

一些云厂商的云函数产品（腾讯云云函数）提供了一个基于时间触发的定时任务功能，可以帮助您实现自动化执行任务。以下是如何使用腾讯云云函数创建定时任务的步骤：

登录腾讯云控制台：访问 https://console.cloud.tencent.com/ 并使用您的腾讯云账号登录。
创建云函数：在控制台中选择“云函数”，然后点击“新建云函数”。选择一个适合您的函数运行环境、函数名称、地域和运行时间等参数，并上传您的函数代码。
配置触发器：在云函数管理页面，选择“触发器”选项卡，然后点击“创建触发器”。选择“定时触发器”，并设置触发器的Cron表达式。Cron表达式是一个字符串，用于表示定时任务的执行时间，格式为“秒分时日月周”。例如，每天的凌晨1点执行任务的Cron表达式为：“0 0 1 * * *”。
保存触发器：设置好Cron表达式后，点击“保存”按钮以保存触发器。现在，您的云函数已经配置为定时任务，将根据您设置的Cron表达式定期执行。
测试云函数：在云函数管理页面，选择“函数代码”选项卡，然后点击“测试”。为您的测试提供一个测试事件，并设置测试的环境变量和超时时间。点击“创建测试事件”，然后点击“测试”按钮以运行测试。您可以在测试结果页面查看测试结果，以确保您的云函数按预期工作。
查看执行结果：在云函数管理页面，选择“监控”选项卡，然后查看“函数执行结果”和“触发器执行结果”。这些信息可以帮助您了解您的定时任务的执行情况。