Celery，一个异步任务操作的 Python 库！

大家好！我是小亮，今天给大家介绍一个很强的异步任务操作的 Python 库——Celery

背景介绍

在现代 Web 应用和复杂的后端系统开发中，经常会遇到一些耗时较长的任务，如发送大量电子邮件、处理复杂的数据分析、进行文件转换等。如果这些任务在主线程中同步执行，会导致应用程序响应缓慢，用户体验变差。为了解决这个问题，异步任务处理机制应运而生。Celery 就是 Python 中一个强大的分布式任务队列库，它允许你将任务从主应用程序中分离出来，在后台异步执行，从而提高应用程序的响应速度和整体性能。Celery 支持多种消息代理（如 RabbitMQ、Redis 等），可以轻松地与不同的后端系统集成，广泛应用于各种规模的项目中。

安装指南

可以使用 pip 来安装 Celery：

pip install celery

同时，你需要选择并安装一个消息代理。以 Redis 为例，安装 redis 库：

pip install redis

基本用法

定义任务

from celery import Celery# 创建Celery实例app = Celery('tasks', broker='redis://localhost:6379/0')@app.taskdef add(x, y):   return x + y

在上述代码中，首先创建了一个 Celery 实例app，指定了消息代理为本地的 Redis 服务器。然后定义了一个简单的任务add，它接受两个参数并返回它们的和。

调用任务

在另一个 Python 脚本中，可以这样调用这个任务：

from tasks import addresult = add.delay(4, 5)print(result.id)while not result.ready():   passprint(result.get())

这里通过add.delay(4, 5)异步调用了add任务，delay方法会立即返回一个AsyncResult对象，通过该对象的id可以跟踪任务。使用result.ready()检查任务是否完成，result.get()获取任务的执行结果。

高级用法

任务调度

Celery 支持使用celery beat进行定时任务调度。首先，需要在配置中设置调度计划。

from celery.schedules import crontabapp.conf.beat_schedule = {   'add - every - 30 - seconds': {       'task': 'tasks.add',       'schedule': crontab(minute='*/1'),       'args': (16, 16)   },}

上述配置表示每分钟调用一次tasks.add任务，并传递参数(16, 16)。然后，启动celery beat服务：

celery - A tasks beat

同时，需要启动celery worker来执行任务：

celery - A tasks worker --loglevel=info

任务链

有时候，一个任务的输出需要作为另一个任务的输入，形成任务链。

from celery import chaintask_chain = chain(add.s(2, 3), add.s(5))result = task_chain.apply_async()print(result.get())

这里add.s(2, 3)和add.s(5)创建了部分应用的任务，chain将它们连接成一个任务链。先执行add(2, 3)，然后将结果作为参数传递给add(5)。

实际使用案例

假设你正在开发一个电子商务网站，当用户下单后，除了处理订单的基本流程，还需要发送确认邮件、更新库存、生成订单报表等操作。这些操作中，发送邮件和生成报表可能比较耗时。使用 Celery 可以将这些任务异步化。

@app.taskdef send_order_confirmation_email(user_email, order_id):   # 邮件发送逻辑   pass@app.taskdef update_inventory(product_id, quantity):   # 库存更新逻辑   pass@app.taskdef generate_order_report(order_id):   # 报表生成逻辑   pass@app.taskdef process_order(user_email, order_id, product_id, quantity):   update_inventory.delay(product_id, quantity)   send_order_confirmation_email.delay(user_email, order_id)   generate_order_report.delay(order_id)

当用户下单触发process_order任务时，它会异步调用其他任务，不会阻塞主线程，确保用户能快速看到订单处理成功的反馈。

总结

Celery 作为 Python 异步任务处理的强大工具，为开发者提供了灵活且高效的任务管理方式。无论是简单的异步任务执行，还是复杂的任务调度和任务链，Celery 都能很好地满足需求。通过合理使用 Celery，可以显著提升应用程序的性能和用户体验。

互动

你在使用 Celery 过程中遇到过哪些有趣的问题或优化技巧呢？欢迎在评论区分享，大家一起交流学习。

练习题

使用 Celery 定义一个任务，该任务接收一个整数列表，返回列表中所有元素的乘积。在主程序中异步调用这个任务并获取结果。

配置 Celery 的定时任务，每天凌晨 2 点执行一个任务，该任务用于清理数据库中的过期数据（假设存在一个clean_expired_data函数来实现清理逻辑）。

创建一个任务链，第一个任务将两个数相加，第二个任务将相加的结果乘以一个给定的数，在主程序中调用这个任务链并获取最终结果。