1回答
气流任务的内存、CPU和IO
、、、、
我正在解决一个问题，以确定在AWS ECS容器中使用更多内存或CPU或IO的密集气流任务。我可以从ECS容器中看到内存和CPU的总体利用率。如何确定具体的流程和任务级别？任何帮助都将不胜感激。
浏览 8提问于2019-04-16得票数 0
pd.read_sql(sql, conn)
我观察到，当Apache气流任务返回任务中的上述数据帧时，Apache气流挂起，我需要手动关闭所有进程，以使服务器重新启动和运行。看起来，气流任务的资源/内存不足的600 K容量的数据帧返回。
我
浏览 0提问于2019-04-26得票数 1
7回答
我们已经使用LocalExecutor为我们的ETL设置了Airbnb/Apache气流，当我们开始构建更复杂的DAG时，我们注意到气流已经开始消耗大量的系统资源。这对我们来说是令人惊讶的，因为我们主要是用气流来安排其他服务器上发生的任务，所以风流DAG大部分时间都在等待它们完成--没有实际的本地执行。最大的问题是，气流似乎在任何时候都消耗了100%的<
浏览 2提问于2017-02-23得票数 46
2回答
我运行的气流与库伯内特斯执行者在对接-桌面库伯内特斯集群(在Mac上)。我在dag文件中有多个sensorOperators，它们每个都是下游依赖关系的一部分。在重新启动集群之后，我可以再次访问我的k8s dashbaord，并检查所有red失败任务的日志，它们似乎都在抱怨mysql连接失败。
sql_alchemy_pool_recycle = 180
浏览 5提问于2019-08-15得票数 1
在气流1.x中，由于调度器的限制，它是一种反模式。但是，调度器在气流2.x中处理此场景更好。参见3点。我们有一个非常强大的环境(请参阅下面的技术细节)，但是我们在任务更改之间遇到了很大的延迟，这对调度程序来说是个坏兆头。此外，队列中还有许多任务在等待，这对工人来说是个坏兆头。作曲家的具体细节：
调度器资源：4 vCPU，15 GB<e
浏览 3提问于2022-04-05得票数 0
1回答
xx.xx.xx.xx:3307: connect: connection timed outKubernetes集群具有一个与LocalExecutor并行的启动许多任务的气流吊舱。这些新任务中的每一个都将通过Cloud代理(风流吊舱的侧面)连接到气流元数据数据库(运行在Cloud中)。每隔一段时间，上述错误就会发生，这会导致任务在气流中失败。到目前为止，我测试和发现的
浏览 4提问于2020-06-05得票数 0
2回答
根据这两种和的说法，由于内存不足问题，我的气流DAG运行正在返回错误INFO - Task exited with return code -9。我的DAG运行有10个任务/操作符，每个任务简单地：
将结果写入我的Mongo数据库中的集合。10个BigQuery表的大小介于1MB到400 1MB之间，所有10个表<e
浏览 3提问于2020-05-13得票数 2
回答已采纳
我对气流完全陌生，在任何地方都找不到在一个气流DAG中可以安排多少任务的地方。和每个任务的最大大小是什么.我想安排一个任务，它应该能够处理数百万个查询，识别它的类型，并根据查询的类型来调度下一个任务。
阅读完整的文档，但找不到
浏览 0提问于2018-06-07得票数 9
1回答
我有一个作曲家环境，使用Composer -2.0.17-气流-2.2.5图像。有几个小而快速的DAGS和一个大型主DAG，每天运行6次，持续大约10分钟。在这个主DAG中，总共有120个任务具有这样的依赖关系，有时可能有大约25个同时运行的任务。
气流倾诉覆盖：每次这个Dag运行时，我都希望看到工作人员的扩展，但是从监视部分我只看到一个活动的工作人员，CPU<em
浏览 2提问于2022-07-26得票数 1
1回答
我已经设置了一个码头环境，运行：
在一个带有db.t2.microPostgreSQLRDS实例的ECS集群中，有6个图像位于4个t2.小EC2实例中。使用CeleryExecutor，发送给工作人员的几乎所有排队的任务都会失败。在接收任务时，工作人员似乎失去了彼此之间的沟通和/或调度程序
浏览 0提问于2019-07-29得票数 0
回答已采纳
在1个Airflow或Cloud Composer环境中可以运行的DAG是否有最大数量？ 如果这取决于几个因素(Airflow基础设施配置、Composer集群规格、每个DAG的活动运行次数等)。影响这一点的所有因素是什么？
浏览 33提问于2020-10-13得票数 1
每个任务要么是启动另一个pod上的实际工作的KubernetesPodOperator，要么是等待另一个任务完成的ExternalTaskSensor (在ETL中)。但是所有这些进程都在等待，要么等待另一个pod (KubernetesPodOperator)完成，要么等待另一个任务完成(ExternalTaskSensor)。这是一个巨大的内存开销，似乎过高。我们未来的发展将意味着我们想要在气流舱上扩大到数十甚至
浏览 2提问于2020-03-05得票数 5
回答已采纳
1回答
在OOM的时刻，我们只运行了4个示例Dags (大约20个任务)。pod的内存是1Gib。我在其他帖子中看到，一个任务在运行时可能会消耗大约50Mib的内存，所有的任务操作都在内存中，没有任何东西被刷新到磁盘，所以已经有1 1Gb了。有没有什么经验法则可以用来计算基于并行任务的调度器需要多少内存？
除了降低并行度之外，是否有任何调整可以用来减少调度器本身的
浏览 92提问于2018-08-28得票数 5
回答已采纳
我的DAG看起来是这样的：from airflow import DAG op_kwargs={'key': key, 'val': val} start_load >> workday_to_bq >> end_load
任务失败的<
浏览 38提问于2021-09-18得票数 9
1回答
我有一个有超过100,000个任务的airflow DAG。我最多只能运行1000个任务。除此之外，调度程序挂起，the服务器无法呈现任务，并且在UI上极其缓慢。我已经尝试增加，min_file_process_interval和processor_poll_interval配置参数。一般来说，如何处理气流中的大量任务？任何配置设置等都会非常有帮助。 另外，我是否应该在这种规模上使用SubDagOperator？敬请指教。 谢谢,
浏览 10提问于2019-05-19得票数 4
回答已采纳
我在Ubuntu上运行气流。以下是我的气流配置文件值：dags_folder = /home/helia/airflow/dags/home/helia/airflow:/home/helia/airflow/utils
>>&g
浏览 2提问于2021-09-22得票数 0
回答已采纳
1回答
我目前还未认识的MWAA
MWAA为调度器和工作人员使用Fargate。MWAA必须至少有一个调度器，它必须是Fargate，我假设24/7无休止的过程(以避免分解)。当触发时，DAG被执行器拆分为任务，每个任务被添加到队列中，由Worker从队列中提取。对于bash操作符，任务被提交给Fargate工人并在那里执行。工作人员缩放是由Fargate管理的，您只能指定min/max计数。在同时提交任务的情况下，会触发
浏览 4提问于2021-11-29得票数 1
回答已采纳
我尝试使用一个包含400个任务的DAG (例如，每个任务都在运行调用远程星火服务器，将一个单独的数据文件处理到s3...nothing中以处理mysql)，而在接下来的15分钟内，气流(v1.10.3)完成了以下操作：
启动与m
浏览 1提问于2019-04-26得票数 1
回答已采纳
我正在开发一个Web应用程序，它涉及大量使用并行任务库，坚持最好的practices.It意味着我需要多个processors.So，您会推荐哪一个配置呢？
浏览 0提问于2010-07-17得票数 0
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
