celery 定时任务实现

Celery 是什么?

  • 异步任务队列工具,主要解决 realtime 事件的异步操作,但也支持定时任务。
  • 什么是异步?那要先理解什么是同步,比如我去麦当劳吃饭,如果麦当劳前一个顾客点完单,拿到餐,吃完走人之后才能接待下一个顾客,就是同步。反过来我点完单,它马上就接下一个客人的单,我的流程虽然还没有走完(time-consuming),但也不影响下一个顾客点单(blocked),这就是异步。

Celery 安装

  • pip install celery,由于 celery 自己并不带队列存储,所以根据官方推荐,还需要安装 RabbitMQ 或者 Redis 来存储队列。方便起见,本文用 Redis。

Celery 机制

  1. celery 是一个装饰器类,本质上是把一个函数变成一个可以异步调用的函数。
  2. 开启 celery 进程。
  3. 在另一段程序中导入这个函数,当这个函数被以 delay 模式调用时:xxx.delay(),celery 会把这个任务写到任务队列然后返回,原程序不会被阻塞可以往下跑。注意这里需要用 delay 模式去跑这个函数,同时注意不要把 xxx.delay() 的结果赋值给一个变量,否则依然会被阻塞。
  4. celery 的另一个进程会去这个任务队列里取任务,完成之后写到 result 队列里面。或者多数情况下,这个被异步调用的函数不需要返回结果,比如发送一个邮件,提醒之类的,连 result 队列都不用。

Celery first blood

  1. 开一个 python 脚本,比如tasks.py
  2. 生成一个 Celery 对象实例,是一个装饰器。 from celery import Celery app = Celery('__name__', broker='redis://localhost:6379')
  3. 定义一个你想异步操作的函数,并加上 celery 装饰器 @app.task。 @app.task def add(x, y): return x + y
  4. 保存,退出,然后在 terminal 启动 celery 服务。 celery -A tasks worker --loglevel=info

做个定时任务:每天发问候

  1. 接下来,我要搭配钉钉机器人了,我希望小仙女每天早上7点给我发个问候,然后在7点半的时候确认我有没有开始干活了。
  2. 先写一个简单的钉钉提醒程序,命名celery_worker.py: #! /usr/bin/env python # coding: utf-8 import requests import json import time from config import HOST_IP, NOTIFY_URL, MOBILE_NUMBER def notify_dingding(msg): headers = {"Content-Type": "application/json; charset=utf-8"} post_data = { "msgtype": "text", "text": { "content": msg }, "at": { "atMobiles": [MOBILE_NUMBER] } } r = requests.post(NOTIFY_URL, headers=headers, data=json.dumps(post_data)) print(r.content) 注意这里从 config 里导入了一些参数,所以要在这个程序的同一层写一个 config.py 的配置文件。 # config.py NOTIFY_URL = ("https://oapi.dingtalk.com/robot/send?access_token=" "c6d5a2936381dfc29394f3c336bea5fad962d90ffd31809e92d95a1xxxxxxxx") MOBILE_NUMBER = "176xxxxx619" HOST_IP = "127.0.0.1"
  3. 导入 celery 包,给函数加上装饰器: from celery import Celery BROKER_URI = 'redis://%s:6379/6' % HOST_IP BACKEND_URI = 'redis://%s:6379/5' % HOST_IP worker = Celery('celery_worker', broker=BROKER_URI, backend=BACKEND_URI) @worker.task def notify_dingding(msg): ...
  4. 简单学习一下celery 的 crontab 定时任务
  5. 给 worker 加上定时任务 from celery.schedules import crontab worker.conf.update( timezone='Asia/Shanghai', enable_utc=True, beat_schedule={ "morning_msg_1": { "task": "celery_worker.notify_dingding", "schedule": crontab(minute=0, hour=7), "args": ("早,起床了哟,先去做个早饭吧",) }, "morning_msg_2": { "task": "celery_worker.notify_dingding", "schedule": crontab(minute=30, hour=7), "args": ("我就问问你在干活咩?",) } } )
  6. 最后程序末尾加一个小测试,看看服务是不是起来了: notify_dingding("小仙女上线啦")
  7. 开启 redis-server nohup redis-server &
  8. 开启我们的 celery worker,这里的-B 是 celery 的 beat 服务,可以理解为一个周期任务。 celery -A celery_worker worker -B
  9. 服务起来喽:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏GopherCoder

『No19: Gorm 上手指南』

如果你是做后端开发的,日常工作中,除了熟悉编程语言之外,数据库怕是最常用的技术了吧。

4731
来自专栏美团技术团队

Android Hook技术防范漫谈

背景 当下,数据就像水、电、空气一样无处不在,说它是“21世纪的生产资料”一点都不夸张,由此带来的是,各行业对于数据的争夺热火朝天。随着互联网和数据的思维深入人...

5327
来自专栏desperate633

深入理解Spring框架的作用(Spring in action 学习笔记)激发POJO的潜能依赖注入应用切面使用模板消除样板式代码

纵览Spring , 读者会发现Spring 可以做非常多的事情。 但归根结底, 支撑Spring的仅仅是少许的基本理念, 所有的理念都可以追溯到Spring最...

1863
来自专栏张戈的专栏

移动搜索SEO:网站移动适配之Meta标注、移动跳转终结篇

这些天,在给博客的标签页(tag)添加跳转和 META 动态申明时,居然让我醍醐灌顶,发现之前的动态适配的做法是多么的苦逼和小白! 总结前,先来回顾下小白张戈在...

4776
来自专栏前端

使用jOrgChart插件实现组织架构图的展示

(3)使用jOrgChart插件,根据返回的数据将其子节点加入到相应的<li></li>中。

7735
来自专栏工科狗和生物喵

FreeRTOS-Qemu 实现三任务同步通信机制以及API信息

---- 1. 本次作业的考察要点: 作业地址:https://github.com/HustWolfzzb/STM32F429DiscoveryFreeRTO...

9536
来自专栏nimomeng的自我进阶

OC优化指南

a) Reusing UITableViewCell:利用cellWithTableView:cellIdentifier:nibName: b)...

1281
来自专栏小尘哥的专栏

小程序(3):授权登录

判断是否授权,如果没有,则显示授权按钮。注意上面的open-type="getUserInfo",这个会自动调起授权框。看一下js

1284
来自专栏一个番茄说

Swift中防止ptrace依附

在移动开发中,安全是一个很重要的话题,当然安全是没有绝对的,只能说尽可能的提高安全性。在iOS的开发中,为了防止别人窥视我们的App,我们得采用一些手段来进行防...

1013
来自专栏圣杰的专栏

ABP入门系列(10)——扩展AbpSession

源码路径:Github-LearningMpaAbp 一、AbpSession是Session吗? 1、首先来看看它们分别对应的类型是什么? 查看源码发现Ses...

3116

扫码关注云+社区