我已经看到了我的问题的几个变体,但不完全是我想要的,因此打开了一个新的问题。
我有一个水瓶/Gunicorn应用程序,为每个请求插入一些数据在一个商店,因此,开始一个索引工作。索引的长度是主数据写入时间的2-4倍,我想异步地这样做,以减少响应延迟。
对于一个大型请求体,总的请求寿命为100-150ms。
我曾想过几种方法来做到这一点,即尽可能节省资源:
subprocess.Popen。这可能是一个很好的路径,但是我的瓶颈是I/O,所以线程可以更高效。ThreadPoolExecutor同时启动多个进程,但我只需要生成一个额外的任务,然后立即返回,而无需等待结果。asyncio?这也是我不知道如何适用于我的情况。asyncio总是有一个阻塞呼叫。欢迎任何建议!
谢谢。
发布于 2018-02-05 02:26:44
实际上,我应该更好地阅读Python手册中关于并发性的部分:threading模块做我所需要的事情:https://docs.python.org/3.5/library/threading.html。
我还用一些虚拟睡眠代码证实,即使在Flask请求完成之后,子线程也会被完成。
发布于 2018-02-02 17:38:39
芹菜是你最好的选择--这正是它的作用所在。
如果您需要引入依赖项,那么拥有依赖关系并不是件坏事。只要您没有不需要的依赖项。
不过,根据您的架构,可能会有更高级和锁定的解决方案。如果您使用AWS,可以通过触发AWS通知来启动AWS Lambda函数,并让它处理它需要做的事情。天高任鸟飞。
https://stackoverflow.com/questions/48584712
复制相似问题