前往小程序,Get更优阅读体验!
立即前往
发布
社区首页 >专栏 >Celery在守护进程模式下的使用

Celery在守护进程模式下的使用

原创
作者头像
华科云商小徐
发布2025-01-03 14:57:22
发布2025-01-03 14:57:22
8500
代码可运行
举报
文章被收录于专栏:小徐学爬虫
运行总次数:0
代码可运行

Celery 是一个强大的异步任务队列/作业队列,基于分布式消息传递。它专门用来处理后台任务,并支持任务调度。Celery 非常适合实时操作和任务调度,并且支持多种消息代理系统,如 RabbitMQ、Redis 等。当运行在守护进程模式下时,Celery 可以在后台持续运行,这对于生产环境中的稳定运行是非常必要的。

问题背景

在生产服务器中,我们经常需要使用 Celery 在守护进程模式下运行来执行任务。通常,我们可能使用 GNU screen 在控制台模式下运行 Celery,但这并不是一个生产环境下的最佳实践。因此,我们希望了解如何在守护进程模式下运行 Celery。

解决方案

1、使用系统启动脚本

一种方法是使用系统启动脚本来管理 Celery 进程。在 Linux 系统中,我们可以创建一个名为 celeryd 的脚本并将其放在 /etc/init.d 目录下。这个脚本将包含启动、停止、重启和检查 Celery 进程状态的命令。

2、手动启动 Celery

如果不想使用系统启动脚本,也可以手动启动 Celery。为此,我们需要进入 Celery 的虚拟环境并运行 celeryd 命令:

代码语言:javascript
代码运行次数:0
复制
$ cd /path/to/celery_virtual_environment
$ celeryd -A app_module

其中 app_module 是 Celery 应用模块的名称。

3、使用 Celery 命令行工具

Celery 还提供了一个命令行工具 celeryctl 来管理 Celery 进程。我们可以使用 celeryctl 启动、停止、重启和检查 Celery 进程状态。

代码语言:javascript
代码运行次数:0
复制
$ celeryctl start
$ celeryctl stop
$ celeryctl restart
$ celeryctl status

代码例子

以下是在 /etc/init.d/celeryd 脚本中的代码示例:

代码语言:javascript
代码运行次数:0
复制
#!/bin/sh -e
### BEGIN INIT INFO
# Provides:          celeryd
# Required-Start:    $network $local_fs $remote_fs
# Required-Stop:     $network $local_fs $remote_fs
# Default-Start:     2 3 4 5
# Default-Stop:      0 1 6
# Short-Description: celery task worker daemon
### END INIT INFO
​
# ============================================
#  celeryd - Starts the Celery worker daemon.
# ============================================
#
# :Usage: /etc/init.d/celeryd {start|stop|force-reload|restart|try-restart|status}
# :Configuration file: /etc/default/celeryd
#
# See http://docs.celeryproject.org/en/latest/tutorials/daemonizing.html#generic-init-scripts
​
​
# some commands work asyncronously, so we'll wait this many seconds
SLEEP_SECONDS=5
​
DEFAULT_PID_FILE="/var/run/celery/%n.pid"
DEFAULT_LOG_FILE="/var/log/celery/%n.log"
DEFAULT_LOG_LEVEL="INFO"
DEFAULT_NODES="celery"
DEFAULT_CELERYD="-m celery.bin.celeryd_detach"
​
CELERY_DEFAULTS=${CELERY_DEFAULTS:-"/etc/default/celeryd"}
​
test -f "$CELERY_DEFAULTS" && . "$CELERY_DEFAULTS"
​
# Set CELERY_CREATE_DIRS to always create log/pid dirs.
CELERY_CREATE_DIRS=${CELERY_CREATE_DIRS:-1}
CELERY_CREATE_RUNDIR=$CELERY_CREATE_DIRS
CELERY_CREATE_LOGDIR=$CELERY_CREATE_DIRS
if [ -z "$CELERYD_PID_FILE" ]; then
    CELERYD_PID_FILE="$DEFAULT_PID_FILE"
    CELERY_CREATE_RUNDIR=1
fi
if [ -z "$CELERYD_LOG_FILE" ]; then
    CELERYD_LOG_FILE="$DEFAULT_LOG_FILE"
    CELERY_CREATE_LOGDIR=1
fi
​
CELERYD_LOG_LEVEL=${CELERYD_LOG_LEVEL:-${CELERYD_LOGLEVEL:-$DEFAULT_LOG_LEVEL}}
CELERYD_MULTI=${CELERYD_MULTI:-"celeryd-multi"}
CELERYD=${CELERYD:-$DEFAULT_CELERYD}
CELERYD_NODES=${CELERYD_NODES:-$DEFAULT_NODES}
​
export CELERY_LOADER
​
if [ -n "$2" ]; then
    CELERYD_OPTS="$CELERYD_OPTS $2"
fi
​
CELERYD_LOG_DIR=`dirname $CELERYD_LOG_FILE`
CELERYD_PID_DIR=`dirname $CELERYD_PID_FILE`
​
# Extra start-stop-daemon options, like user/group.
SUDOCMD=""
if [ -n "$CELERYD_USER" ]; then
    #DAEMON_OPTS="$DAEMON_OPTS --uid=$CELERYD_USER"
    SUDOCMD="sudo -u $CELERYD_USER "
    CELERYD_MULTI="$SUDOCMD $CELERYD_MULTI"
fi
if [ -n "$CELERYD_GROUP" ]; then
    DAEMON_OPTS="$DAEMON_OPTS --gid=$CELERYD_GROUP"
fi
​
if [ -n "$CELERYD_CHDIR" ]; then
    DAEMON_OPTS="$DAEMON_OPTS --workdir=$CELERYD_CHDIR"
fi
​
​
check_dev_null() {
    if [ ! -c /dev/null ]; then
        echo "/dev/null is not a character device!"
        exit 75  # EX_TEMPFAIL
    fi
}
​
​
maybe_die() {
    if [ $? -ne 0 ]; then
        echo "Exiting: $* (errno $?)"
        exit 77  # EX_NOPERM
    fi
}
​
create_default_dir() {
    if [ ! -d "$1" ]; then
        echo "- Creating default directory: '$1'"
        mkdir -p "$1"
        maybe_die "Couldn't create directory $1"
        echo "- Changing permissions of '$1' to 02755"
        chmod 02755 "$1"
        maybe_die "Couldn't change permissions for $1"
        if [ -n "$CELERYD_USER" ]; then
            echo "- Changing owner of '$1' to '$CELERYD_USER'"
            chown "$CELERYD_USER" "$1"
            maybe_die "Couldn't change owner of $1"
        fi
        if [ -n "$CELERYD_GROUP" ]; then
            echo "- Changing group of '$1' to '$CELERYD_GROUP'"
            chgrp "$CELERYD_GROUP" "$1"
            maybe_die "Couldn't change group of $1"
        fi
    fi
}
​
​
check_paths() {
    if [ $CELERY_CREATE_LOGDIR -eq 1 ]; then
        create_default_dir "$CELERYD_LOG_DIR"
    fi
    if [ $CELERY_CREATE_RUNDIR -eq 1 ]; then
        create_default_dir "$CELERYD_PID_DIR"
    fi
}
​
create_paths() {
    create_default_dir "$CELERYD_LOG_DIR"
    create_default_dir "$CELERYD_PID_DIR"
}
​
export PATH="${PATH:+$PATH:}/usr/sbin:/sbin"
​
​
_get_pid_files() {
    [ ! -d "$CELERYD_PID_DIR" ] && return
    echo `ls -1 "$CELERYD_PID_DIR"/*.pid 2> /dev/null`
}
​
stop_workers () {
    $CELERYD_MULTI stopwait $CELERYD_NODES --pidfile="$CELERYD_PID_FILE"
    sleep $SLEEP_SECONDS
}
​
​
start_workers () {
    $CELERYD_MULTI start $CELERYD_NODES $DAEMON_OPTS        \
                         --pidfile="$CELERYD_PID_FILE"      \
                         --logfile="$CELERYD_LOG_FILE"      \
                         --loglevel="$CELERYD_LOG_LEVEL"    \
                         --cmd="$CELERYD"                   \
                         $CELERYD_OPTS &
    sleep $SLEEP_SECONDS
}
​
​
restart_workers () {
    $CELERYD_MULTI restart $CELERYD_NODES $DAEMON_OPTS      \
                           --pidfile="$CELERYD_PID_FILE"    \
                           --logfile="$CELERYD_LOG_FILE"    \
                           --loglevel="$CELERYD_LOG_LEVEL"  \
                           --cmd="$CELERYD"                 \
                           $CELERYD_OPTS &
    sleep $SLEEP_SECONDS
}
​
check_status () {
    local pid_files=
    pid_files=`_get_pid_files`
    [ -z "$pid_files" ] && echo "celeryd not running (no pidfile)" && exit 1
​
    local one_failed=
    for pid_file in $pid_files; do
        local node=`basename "$pid_file" .pid`
        local pid=`cat "$pid_file"`
        local cleaned_pid=`echo "$pid" | sed -e 's/[^0-9]//g'`
        if [ -z "$pid" ] || [ "$cleaned_pid" != "$pid" ]; then

通过以上步骤,你可以将 Celery 设置为守护进程,使其在后台稳定运行,有效地处理后台任务和作业调度。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档