在创建表格之前，当"airflow resetdb“填满DagBag时，Airflow会抛出错误
在创建表格之前，当"airflow resetdb"填满DagBag时，Airflow会抛出错误。这是因为DagBag是Airflow用来存储和管理DAG（有向无环图）对象的容器。当执行"airflow resetdb"命令时，它会重新初始化Airflow的元数据库，并尝试加载所有的DAG文件。
当DagBag被填满时，意味着Airflow已经加载了过多的DAG文件，可能是由于DAG文件的数量过多或者DAG文件的内容过于复杂。这会导致Airflow在加载DAG文件时耗费过多的时间和资源，从而导致"airflow resetdb"命令执行失败并抛出错误。
为了解决这个问题，可以尝试以下几种方法：
- 增加Airflow的配置参数"max_active_runs_per_dag"的值，该参数控制每个DAG同时运行的最大实例数量。通过增加该值，可以减少DAG文件的加载数量，从而减轻DagBag的负担。
- 优化DAG文件的内容，确保其简洁且高效。可以检查DAG文件中是否存在冗余的任务或者不必要的依赖关系，尽量减少DAG文件的复杂度。
- 将DAG文件分为多个子目录，并使用Airflow的"subdag"功能将其分别加载。这样可以将DAG文件的加载分散到不同的DagBag中，减轻单个DagBag的负担。
- 如果仍然无法解决问题，可以考虑升级Airflow的版本，以获取更好的性能和稳定性。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云容器服务（Tencent Kubernetes Engine，TKE）：https://cloud.tencent.com/product/tke
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
- 腾讯云对象存储（Tencent Cloud Object Storage，COS）：https://cloud.tencent.com/product/cos
- 腾讯云人工智能（Tencent AI）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（Tencent IoT Hub）：https://cloud.tencent.com/product/iothub
- 腾讯云移动开发（Tencent Mobile Development）：https://cloud.tencent.com/product/mobile
- 腾讯云区块链（Tencent Blockchain）：https://cloud.tencent.com/product/baas
- 腾讯云元宇宙（Tencent Metaverse）：https://cloud.tencent.com/product/metaverse
请注意，以上链接仅供参考，具体产品选择应根据实际需求和情况进行评估。
相关·内容
我正在使用Airflow动态构建dags。dag构建器使用“变量”来获取和设置值。当我运行"airflow resetdb“时，Airflow抛出了一个错误：”(resetdb copg2.ProgrammingError) relation“变量”不存在“。我看到气流在“气流复位b”和表格创建之前填满了DagBag。 为什么气流运行“填满DagBag&
浏览 7提问于2019-04-25得票数 0
我已经使用airflow一个月了，没有任何这样的问题。但是突然But服务器停止工作了。填满DagBag后正在退出。也未显示任何错误。[2019-03-28 07:51:54,946] {settings.py:17
浏览 0提问于2019-03-28得票数 0
3回答
当我这样做时，我会收到一个错误，抱怨它无法连接到mysql：当我试图将mysql从我们的系统中完全删除时，AIRFLOW__CORE__SQL
浏览 4提问于2018-10-25得票数 0
回答已采纳
在我开始之前，请不要建议我使用Google Composer。我的公司已经决定这个解决方案不适合我们。我已经在GCP中创建了一个小型Compute VM来托管Airflow实例，并且我希望将我们的DAG存储在GCS存储桶中。我已经创建了存储桶，并更新了airflow.cfg文件以指向它。当我运行airflow webserver时，终端输出显示它正在从给定的路径填充DagBag，并且没有错误，但是Airflo
浏览 17提问于2019-08-05得票数 1
我从airflow dag_bag和相应的.pyc文件中删除了dag。当我尝试从airflow UI中删除相同的dag时，它显示此错误: Dag id MY_DAG_ID仍然在DagBag中。我使用的airflow版本是1.10.4，即使在重新启动airflow之后，我也无法从UI中删除。我之前使用的是1.10.3，但我从未遇到过这个问题。在从dags文件夹中删除后，我可以从UI中删除。当我点击UI中的dag
浏览 2提问于2019-12-03得票数 1
在遵循中给出的步骤之后，我最近将气流从1.10.11升级到2.2.3。我第一次升级到1.10.15，就像建议的那样，效果不错。但是在升级到2.2.3之后，当任务进入排队状态时，我无法从UI执行DAG。当我检查任务荚日志时，我会看到以下错误：(Backg
浏览 10提问于2022-02-22得票数 2
回答已采纳
当我将新的DAG python脚本放在dags文件夹中时，我可以在DAG UI中查看DAG的新条目，但它不是自动启用的。最重要的是，它似乎也没有正确加载。顺便说一句，正如在文章标题中提到的，在我触发所有这些手动过程之前，有一个标记了DAG标题的指示器，消息是“这个DAG在way服务器DagBag对象中不可用。它出现在这个列表中，因为调度程序在元数据数据库中将它标记为活动的”。
浏览 1提问于2017-01-10得票数 51
1回答
版本：
from datetime import datetimefrom airflow.operators.dummy_operator importDummyOperator
from airflow.operators.python_opera
浏览 0提问于2018-12-03得票数 0
8回答
在启动web之后，有几十个默认的示例。我尝试了很多方法来消除这些缺陷，但我没有做到。
load_examples = False设置为airflow.cfg。删除文件夹lib/python2.7/site-packages/airflow/example_dags。在我删除dags文件夹后，这些示例标记的状态被更改为灰色，但项目仍然占据web屏幕。并且在airflow.cfg中指定一个新的dag文件夹为dags_folder = /m
浏览 13提问于2017-04-14得票数 94
这是一个伟大的几天，但它已经抛出了一些错误，我不知道如何修复。为了理解错误是什么，我运行了sudo systemctl status airflow-webserver.service，它给出了以下状态和错误：
Feb 20 18:54:43 ip-172-31-25-17.ec2.internal airflow[19660]: [2019-02-20 18:54:43,774] {models.py:258} INFO - Filling up the DagBag
浏览 0提问于2019-02-20得票数 6
回答已采纳
我在dags目录中有两个文件- dag_1.py和dag_2.py[2021-01-02 06:17:39,493] {scheduler_job.py:1293} ERROR - Exception/models/
浏览 11提问于2021-01-05得票数 4
回答已采纳
当我尝试在Airflow 1.8.0中运行DAG时，我发现完成前置任务的时间和后续任务执行的时间之间需要很长时间(通常比单个任务的执行时间要长)。(就像airflow.cfg中可以加速DAG执行的任何参数一样？)新增甘特图以供参考：
浏览 16提问于2017-11-23得票数 22
：然后which airflow会生成/Users/myusername/ENV/bin/airflow，但当我尝试使用以下命令初始化数据库时：airflow initdb {db.py:350} INFO - Creating tables
INFO [alembic.runtime.migration] ContextERROR [airfl
浏览 6提问于2019-07-11得票数 0
问题是，我们当前的环境使用systemd服务来启动airflow，而Docker需要它通过airflow命令"airflow webserver/scheduler/worker“来运行，当我这样运行它时，我得到了一个错误。我在启动调度器后得到错误。 我们的DAG需要一个自定义存储库来帮助与我们的数据库服务器进行通信。在该存储库中，我们使用pathlib来获取配置文件的路径，并将其传递给configparser。中的所有D
浏览 85提问于2021-01-12得票数 3
回答已采纳
我使用的是Airflow v1.8.1，并在kubernetes & Docker上运行所有组件(worker、web、flower、scheduler)。我在Redis中使用Celery Executor，我的任务如下： ├ -> (do_work_for_product2)没有工作日志(在处理一些第一个下行数据流之后，它不会输出任何日志)。modname), ExtDeprecationWarning
[2017-08-24 04:20:
浏览 3提问于2017-08-24得票数 25
在气流网络服务器UI中无法打开DAG时出现问题。有一点需要注意的是，DAG最初是在尝试运行时导致超时错误，所以我已经编辑了airflow.cfg文件，使其具有行.在做了这个改变之后，跑..。DAG定义本身并不是非常直接和特定于应用程序，因此在发布之前，需要尝试将其解析为一些耸人听闻和可读性更强的东西。始终能够在运行气流list_dags时构建进程，但当其他da
浏览 5提问于2020-01-16得票数 0
回答已采纳
我创建了一个升级策略，因为调度器同时抛出500个dag会有一点压力，但EKS创建了一个额外的集群，它所做的所有事情就是分发9个pod。AIRFLOW__CORE__PARALLELISM = 1000AIRFLOW__CORE__DAG_CONCURRENCY= 1000AIRFLOW__CORE__SQL
浏览 29提问于2020-01-24得票数 0
我在docker上的centos7上运行AirFlow1.8，而我的the服务器无法连接到浏览器。我通过pip2.7安装了airflow。from /usr/local/airflow/dags[2018-0
浏览 366提问于2018-04-14得票数 14
在一个进程运行期间读取一个dag定义文件的频率是多少？*** Reading local file: /home/airflow/airflow/logs/mydag/mytask140570 to run task
[2020-01-29 19:02:11,048] {logging_mixin.py:11
浏览 4提问于2020-01-30得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
