首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >烧瓶:在请求中生成单个异步子任务。

烧瓶:在请求中生成单个异步子任务。
EN

Stack Overflow用户
提问于 2018-02-02 14:23:29
回答 2查看 513关注 0票数 0

我已经看到了我的问题的几个变体,但不完全是我想要的,因此打开了一个新的问题。

我有一个水瓶/Gunicorn应用程序,为每个请求插入一些数据在一个商店,因此,开始一个索引工作。索引的长度是主数据写入时间的2-4倍,我想异步地这样做,以减少响应延迟。

对于一个大型请求体,总的请求寿命为100-150ms。

我曾想过几种方法来做到这一点,即尽可能节省资源:

  • 用芹菜。这似乎是最明显的方法,但我不想介绍一个大型库,最重要的是,依赖于Redis或其他系统包。
  • 使用subprocess.Popen。这可能是一个很好的路径,但是我的瓶颈是I/O,所以线程可以更高效。
  • 使用线程?我不知道如何以及是否能做到这一点。我所知道的就是如何与ThreadPoolExecutor同时启动多个进程,但我只需要生成一个额外的任务,然后立即返回,而无需等待结果。
  • asyncio?这也是我不知道如何适用于我的情况。asyncio总是有一个阻塞呼叫。
  • 同时启动数据写入和索引:不可执行。我必须等待数据写入的响应才能启动索引。

欢迎任何建议!

谢谢。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2018-02-05 02:26:44

实际上,我应该更好地阅读Python手册中关于并发性的部分:threading模块做我所需要的事情:https://docs.python.org/3.5/library/threading.html

我还用一些虚拟睡眠代码证实,即使在Flask请求完成之后,子线程也会被完成。

票数 0
EN

Stack Overflow用户

发布于 2018-02-02 17:38:39

芹菜是你最好的选择--这正是它的作用所在。

如果您需要引入依赖项,那么拥有依赖关系并不是件坏事。只要您没有不需要的依赖项。

不过,根据您的架构,可能会有更高级和锁定的解决方案。如果您使用AWS,可以通过触发AWS通知来启动AWS Lambda函数,并让它处理它需要做的事情。天高任鸟飞。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/48584712

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档