专栏首页码匠的流水账聊聊xxl-job-executor-go
原创

聊聊xxl-job-executor-go

本文主要研究一下xxl-job-executor-go

Executor

//执行器
type Executor interface {
    //初始化
    Init(...Option)
    //日志查询
    LogHandler(handler LogHandler)
    //注册任务
    RegTask(pattern string, task TaskFunc)
    //运行任务
    RunTask(writer http.ResponseWriter, request *http.Request)
    //杀死任务
    KillTask(writer http.ResponseWriter, request *http.Request)
    //任务日志
    TaskLog(writer http.ResponseWriter, request *http.Request)
    //运行服务
    Run() error
}

Executor定义了Init、LogHandler、RegTask、RunTask、KillTask、TaskLog、Run方法

executor

type executor struct {
    opts    Options
    address string
    regList *taskList //注册任务列表
    runList *taskList //正在执行任务列表
    mu      sync.RWMutex
    log     Logger

    logHandler LogHandler //日志查询handler
}

executor定义了opts、address、regList、runList、mu、log、logHandler属性

Init

func (e *executor) Init(opts ...Option) {
    for _, o := range opts {
        o(&e.opts)
    }
    e.log = e.opts.l
    e.regList = &taskList{
        data: make(map[string]*Task),
    }
    e.runList = &taskList{
        data: make(map[string]*Task),
    }
    e.address = e.opts.ExecutorIp + ":" + e.opts.ExecutorPort
    go e.registry()
}

Init方法遍历opts应用opt,然后初始化regList、runList、address,最后异步e.registry()

RegTask

//注册任务
func (e *executor) RegTask(pattern string, task TaskFunc) {
    var t = &Task{}
    t.fn = task
    e.regList.Set(pattern, t)
    return
}

RegTask方法往regList添加指定pattern的task

runTask

func (e *executor) runTask(writer http.ResponseWriter, request *http.Request) {
    e.mu.Lock()
    defer e.mu.Unlock()
    req, _ := ioutil.ReadAll(request.Body)
    param := &RunReq{}
    err := json.Unmarshal(req, &param)
    if err != nil {
        _, _ = writer.Write(returnCall(param, 500, "params err"))
        e.log.Error("参数解析错误:" + string(req))
        return
    }
    e.log.Info("任务参数:%v", param)
    if !e.regList.Exists(param.ExecutorHandler) {
        _, _ = writer.Write(returnCall(param, 500, "Task not registered"))
        e.log.Error("任务[" + Int64ToStr(param.JobID) + "]没有注册:" + param.ExecutorHandler)
        return
    }

    //阻塞策略处理
    if e.runList.Exists(Int64ToStr(param.JobID)) {
        if param.ExecutorBlockStrategy == coverEarly { //覆盖之前调度
            oldTask := e.runList.Get(Int64ToStr(param.JobID))
            if oldTask != nil {
                oldTask.Cancel()
                e.runList.Del(Int64ToStr(oldTask.Id))
            }
        } else { //单机串行,丢弃后续调度 都进行阻塞
            _, _ = writer.Write(returnCall(param, 500, "There are tasks running"))
            e.log.Error("任务[" + Int64ToStr(param.JobID) + "]已经在运行了:" + param.ExecutorHandler)
            return
        }
    }

    cxt := context.Background()
    task := e.regList.Get(param.ExecutorHandler)
    if param.ExecutorTimeout > 0 {
        task.Ext, task.Cancel = context.WithTimeout(cxt, time.Duration(param.ExecutorTimeout)*time.Second)
    } else {
        task.Ext, task.Cancel = context.WithCancel(cxt)
    }
    task.Id = param.JobID
    task.Name = param.ExecutorHandler
    task.Param = param
    task.log = e.log

    e.runList.Set(Int64ToStr(task.Id), task)
    go task.Run(func(code int64, msg string) {
        e.callback(task, code, msg)
    })
    e.log.Info("任务[" + Int64ToStr(param.JobID) + "]开始执行:" + param.ExecutorHandler)
    _, _ = writer.Write(returnGeneral())
}

runTask方法先判断task是否已经注册了,则根据ExecutorBlockStrategy做不同处理,若是coverEarly则cancel掉已有的task;最后通过task.Run来异步执行任务

killTask

func (e *executor) killTask(writer http.ResponseWriter, request *http.Request) {
    e.mu.Lock()
    defer e.mu.Unlock()
    req, _ := ioutil.ReadAll(request.Body)
    param := &killReq{}
    _ = json.Unmarshal(req, &param)
    if !e.runList.Exists(Int64ToStr(param.JobID)) {
        _, _ = writer.Write(returnKill(param, 500))
        e.log.Error("任务[" + Int64ToStr(param.JobID) + "]没有运行")
        return
    }
    task := e.runList.Get(Int64ToStr(param.JobID))
    task.Cancel()
    e.runList.Del(Int64ToStr(param.JobID))
    _, _ = writer.Write(returnGeneral())
}

killTask方法则执行task.Cancel(),同时将其从runList移除

taskLog

func (e *executor) taskLog(writer http.ResponseWriter, request *http.Request) {
    var res *LogRes
    data, err := ioutil.ReadAll(request.Body)
    req := &LogReq{}
    if err != nil {
        e.log.Error("日志请求失败:" + err.Error())
        reqErrLogHandler(writer, req, err)
        return
    }
    err = json.Unmarshal(data, &req)
    if err != nil {
        e.log.Error("日志请求解析失败:" + err.Error())
        reqErrLogHandler(writer, req, err)
        return
    }
    e.log.Info("日志请求参数:%+v", req)
    if e.logHandler != nil {
        res = e.logHandler(req)
    } else {
        res = defaultLogHandler(req)
    }
    str, _ := json.Marshal(res)
    _, _ = writer.Write(str)
}

taskLog方法通过e.logHandler(req)或者defaultLogHandler(req)来获取日志

小结

xxl-job-executor-go的Executor定义了Init、LogHandler、RegTask、RunTask、KillTask、TaskLog、Run方法;executor实现了Executor接口,并提供了http的api接口。

doc

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 聊聊xxl-job-executor-go

    xxl-job-executor-go的Executor定义了Init、LogHandler、RegTask、RunTask、KillTask、TaskLog、...

    codecraft
  • 聊聊xxl-job-executor-go的Task

    xxl-job-executor-go的Task定义了Id、Name、Ext、Param、fn、Cancel、StartTime、EndTime、log属性;它...

    codecraft
  • 聊聊xxl-job-executor-go的Task

    xxl-job-executor-go的Task定义了Id、Name、Ext、Param、fn、Cancel、StartTime、EndTime、log属性;它...

    codecraft
  • 分布式任务调度平台 → XXL-JOB 实战

      老师:谁知道鞭炮用英语怎么说?   甲:老师!老师!我知道,鞭炮的英文是pilipala。   老师:那闪电呢?   乙:kucha kucha   老师:...

    青石路
  • xxl-job调度中心配置以及常见错误

    1.检查 /xxl-job/xxl-job-admin/src/main/resources/xxl-job-admin.properties 下的JDBC链...

    用户1518699
  • Docker 安装 XXL-JOB

    把 xxl-job-2.3.0.zip 上传到Linux系统的 tmp 目录,进行解压

    java乐园
  • XXL-JOB使用笔记

    itliusir
  • 快速学习-XXL-JOB快速入门

    解压源码,按照maven格式将源码导入IDE, 使用maven进行编译即可,源码结构如下:

    cwl_java
  • xxl-job 源码分析系列(1)- 配置运行

      XXL-JOB是一个轻量级分布式任务调度平台,当然我司也在用,然后正巧自己想学一学源码分析,就挑正好在用的xxl-job了。

    haoming1100
  • 分布式任务调度系统xxl-job源码探究(一、客户端)

    老梁
  • spring boot项目整合xxl-job

    关于分布式任务调度平台XXL-JOB,作者 许雪里 在其发布的中文教程中已经介绍的很清楚了,这里就不做过多的介绍了。按照文档搭建xxl-job,做此记录。

    java乐园
  • 分布式任务调度平台XXL-JOB,不了解一下?

    任务调度是指基于给定的时间点,给定的时间间隔又或者给定执行次数自动的执行任务。我们可以思考一下在以下场景中,我们应该怎么实现:

    Bug开发工程师
  • 分布式任务调度平台XXL-JOB

    任务调度是指基于给定的时间点,给定的时间间隔又或者给定执行次数自动的执行任务。我们可以思考一下在以下场景中,我们应该怎么实现:

    我没有三颗心脏
  • 分布式任务调度平台 → XXL-JOB 初探

    相信大家对任务调度都不陌生,说的通熟一点就是定时任务;这个在我们的项目中或多或少都存在,我们可以用 JDK 自带的(Timer、ScheduledExecuto...

    青石路
  • 一款分布式定时任务框架

    又消失了一阵子,最近用了一款比较好的定时任务开源项目XXL-JOB来给大家分享一下。

    用户3467126
  • 开源框架分布式任务调度xxl-job

    XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用

    疯狂的KK
  • XXL-JOB远程命令执行漏洞

    您好,近日,接国家互联网应急中心报告,XXL-JOB存在远程命令执行漏洞。攻击者通过此漏洞可以向XXL-JOB的执行器下发系统命令,进而可导致服务器被入侵控制,...

    用户7778921
  • xxl-job学习

    一、调度中心:从XxlJobAdminConfig可以看到与spring集成的重要方法:

    路行的亚洲
  • 【风险通告】XXL-JOB远程命令执行漏洞

    您好,近日,接国家互联网应急中心报告,XXL-JOB存在远程命令执行漏洞。攻击者通过此漏洞可以向XXL-JOB的执行器下发系统命令,进而可导致服务器被入侵控制,...

    腾讯云-MSS服务

扫码关注云+社区

领取腾讯云代金券