将多个Celery定时任务添加到Systemd

Python碎片公众号

发布于 2021-02-26 14:14:52

1.3K0

发布于 2021-02-26 14:14:52

文章被收录于专栏：Python碎片公众号的专栏

当多个celery定时任务都需要开机自动启动,所以都需要添加到systemd,但在/etc/conf.d/下只有一个配置文件,肯定不可能多个定时任务共用同一个配置文件.

本文介绍同一台服务器上多个celery定时任务加入systemd管理的配置方法和步骤.

一、设置python celery项目的配置

1.在/etc/conf.d/目录下复制之前的celery配置文件(第一个定时任务的celery配置,参考上一篇Celery增加到Systemd配置)，修改文件名为celery_demo(与已有的不重复)，修改配置文件中的相关内容,具体如下

 # work_demo
CELERYD_NODES="work_demo"
# or we could have three nodes:
#CELERYD_NODES="w1 w2 w3"
# Celery
CELERY_BIN="/usr/local/bin/celery"
#CELERY_BIN="/virtualenvs/def/bin/celery"
# App instance to use
# comment out this line if you don't use an app
# Celeryconfig.py
CELERY_APP="demo"
# or fully qualified:
#CELERY_APP="main.tasks:app"
# How to call manage.py
CELERYD_MULTI="multi"
# Extra command-line arguments to the worker
CELERYD_OPTS="--time-limit=300 --concurrency=8"
# - %n will be replaced with the first part of the nodename.
# - %I will be replaced with the current child process index
# and is important when using the prefork pool to avoid race conditions.
CELERYD_PID_FILE="/var/run/celery/%n.pid"
CELERYD_LOG_FILE="/var/log/celery/%n%I.log"
CELERYD_LOG_LEVEL="INFO"

2.配置项修改 CELERYD_NODES=“work_demo”,启动的celery进程的进程名，重新定义一个进程名，与已有的不重复 CELERY_APP=“demo”,要与定时任务配置文件config.py中创建celery对象的命名保持一致

# config.py中创建celery对象时的命名
app = Celery('demo', broker='amqp://guest@localhost//')

二、设置systemd配置

1.在/etc/systemd/system/目录下复制之前celery.service文件，重新定义一个文件名celery_demo.service,并对配置文件内容进行修改,具体如下

[Unit]
Description=Celery demo Service
After=network.target
[Service]
Type=forking
# User=root
User=celery
# Group=root
Group=celery
EnvironmentFile=/etc/conf.d/celery_demo
WorkingDirectory=/root/event_crontab
ExecStart=/usr/local/bin/celery multi start work_demo -A main -Q 
queue_demo -l info -B --logfile=crontablog.log
ExecStop=/usr/local/bin/celery multi stop work_demo -A main -Q 
queue_demo -l info -B --logfile=crontablog.log
ExecReload=/usr/local/bin/celery multi restart work_demo -A main -Q 
queue_demo -l info -B --logfile=crontablog.log
[Install]
WantedBy=multi-user.target

2.配置项修改 [Unit] Description:当前服务的简单描述，可以通过不同的描述来区分不同的Celery任务，也可以不修改 [Service] Type:定义启动类型，forking表示以fork（）方式启动 User:指定启动任务的用户 Group:指定用户的组 EnvironmentFile:指定当前celery项目的systemd配置文件(上面编写的配置文件)：每个celery项目的配置文件都不同，要一一对应 WorkingDirectory:指定celery项目的启动目录，项目启动文件main.py所在目录，这个目录要根据celery项目的启动入口main.py的绝对路劲来定 ExecStart:在执行systemctl start celery_demo.service命令时，会执行ExecStart，将当前项目的启动命令作为ExecStart的值 ExecStop:在执行systemctl stop celery_demo.service命令时，会执行ExecStop，将当前项目的停止命令作为ExecStop的值 ExecReload:在执行systemctl restart celery_demo.service命令时，会执行ExecReload，将当前项目的重启命令作为ExecReload的值 [Install] WantedBy=multi-user.target：表示重启系统后自动启动celery_demo.service