前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Celery 3 版本 定时执行与 异

Celery 3 版本 定时执行与 异

作者头像
py3study
发布2020-01-07 14:46:29
5570
发布2020-01-07 14:46:29
举报
文章被收录于专栏:python3python3

Celery介绍

Celery 是一个 基于python开发的分布式异步消息任务队列,通过它可以轻松的实现任务的异步处理, 如果你的业务场景中需要用到异步任务,就可以考虑使用celery。

软件架构

Celery 3 版本  定时执行与 异步执行 |  Django 案例
Celery 3 版本 定时执行与 异步执行 | Django 案例

Django案例

环境

代码语言:javascript
复制
* python3.6.4
* django 2.0 
* django-celery==3.2.1
* django-kombu==0.9.4
* celery-with-redis==3.0
* celery==3.1.25

目录结构

代码语言:javascript
复制
autoops/
    autoops/settings
    tasks/tasks.py

settings

代码语言:javascript
复制
import djcelery

INSTALLED_APPS = [
    'djcelery',
    'kombu', 
]

djcelery.setup_loader()
BROKER_URL = 'redis://127.0.0.1:6379/0'  #消息存储数据存储在仓库0

CELERY_RESULT_BACKEND = 'djcelery.backends.database:DatabaseBackend' # 指定 Backend
CELERY_ACCEPT_CONTENT = ['application/json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'

CELERY_TIMEZONE = 'Asia/Shanghai'

#CELERY_ALWAYS_EAGER = True   # 如果开启,Celery便以eager模式运行, 则task便不需要加delay运行

CELERY_IMPORTS = ('tasks.tasks',)
CELERYBEAT_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler'  #这是使用了django-celery默认的数据库调度模型,任务执行周期都被存在你指定的orm数据库中

tasks.py

代码语言:javascript
复制
from celery import Celery, platforms

platforms.C_FORCE_ROOT = True

app = Celery('my_task')
app.config_from_object('django.conf:settings',)
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

@app.task()
def  ansbile():   ##如果想异步调用 ansible api,请在任务前面添加如下

    from multiprocessing import current_process
    # try:
    #     current_process()._config
    # except AttributeError:
    current_process()._config = {'semprefix': '/mp'}

@app.task()
def  cmd_job(host,cmd):   ## 执行命令
    i = asset.objects.get(network_ip=host)
    ret = ssh(ip=i.network_ip, port=i.port, username=i.username, password=i.password, cmd=cmd)
    return  ret['data']

def test():  ##  下面是异步调用 celery 的例子

    from tasks.tasks import cmd_job

    aa = cmd_job.apply_async(args=('43.241.238.109', 'pwd'))
    print("id",aa.task_id,"返回值",aa.get() ,aa.result, "状态",aa.state)

    from  djcelery.models import TaskMeta
    b = TaskMeta.objects.get(task_id=aa).result
    print("返回值",b)

Django 后台

以下是定时执行,直接后台操作即可。很简单。

Celery 3 版本  定时执行与 异步执行 |  Django 案例
Celery 3 版本 定时执行与 异步执行 | Django 案例

数据库结构

代码语言:javascript
复制
* | celery_taskmeta                   ##异步任务,会将结果写入到这个表内
* | celery_tasksetmeta              
* | djcelery_crontabschedule    
* | djcelery_intervalschedule    
* | djcelery_periodictask           
* | djcelery_periodictasks        
* | djcelery_taskstate               ##django后台执行的定时任务,会将结果写到这个表里
* | djcelery_workerstate           
代码语言:javascript
复制
 from  djcelery.models import TaskMeta,TaskState          ##这样获取表
Celery 3 版本  定时执行与 异步执行 |  Django 案例
Celery 3 版本 定时执行与 异步执行 | Django 案例

在数据库里看 result 内容是乱码,但是 通过orm获取的时候,显示是正常的。请知悉。

启动命令

代码语言:javascript
复制
 #实际执行任务的程序
/usr/bin/python   /opt/autoops/manage.py   celery worker  -c  4        --loglevel=info

#任务调度, 根据配置文件发布定时任务
/usr/bin/python   /opt/autoops/manage.py celery beat --schedule=/tmp/celerybeat-schedule --pidfile=/tmp/django_celerybeat.pid --loglevel=INFO

# Django 检查  workers  是否在线
/usr/bin/python   /opt/autoops/manage.py   celerycam --frequency=10.0
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019-09-19 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Celery介绍
    • 软件架构
    • Django案例
      • 环境
        • 目录结构
      • settings
        • tasks.py
          • Django 后台
            • 以下是定时执行,直接后台操作即可。很简单。
          • 数据库结构
            • 启动命令
            相关产品与服务
            数据库
            云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
            领券
            问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档