问Airflow 2.0问题: airflow supervisor任务过多
EN

Stack Overflow用户

提问于 2021-05-20 20:16:16

回答 1查看 172关注 0票数 1

我使用docker swarm和Celery Executor安装了airflow 2.0。

一周后，芹菜工人的内存被airflow task supervisor溢出(附截图)

有人遇到过这样的问题吗？有什么建议吗？

发布于 2021-05-21 21:27:47

在Airflow 2.0中，有两种创建子进程的方法。

父进程的缓慢派生使用Python子进程( (Fast)

创建新的python进程

默认情况下，airflow 2.0使用(1)方法。派生父进程的速度更快。另一方面，子进程在任务完成后不会被终止。子进程的数量不断增加，直到内存耗尽。

我通过设置execute_tasks_new_python_interpreter = True切换到子进程方法(2)。在这里，每次创建新进程时，每个python进程都会被终止。这可能很慢，但内存得到了有效利用。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/67620177

复制

相似问题

问Airflow 2.0问题: airflow supervisor任务过多EN