2回答
任务间气流延迟
、、、
正如您在图像中看到的那样：
job_heartbeat_sec = 1 但我的潜伏期还是一样的。
它为什么会这样表现？
浏览 0提问于2018-04-18得票数 16
回答已采纳
1回答
我正在编写气流代码，其中我运行一个python操作符来读取来自cli的用户输入，并希望在顶层python代码中使用该操作符返回的结果来生成动态任务。使用Xcom，我们可以执行任务间的通信，但是如何在任务和主代码之间进行通信。
浏览 10提问于2021-12-30得票数 0
1回答
目前，我有一个任务列表，所有的任务都需要在同一时间每天运行，但它们都是相互独立的。我知道我可以设置它们按照一定的顺序运行，即t1 >> t2 >> t3，但是我希望顺序是随机的，所以它们完成的顺序并不总是相同的。如何以随机顺序运行气流任务列表？
浏览 1提问于2020-05-08得票数 0
回答已采纳
我们想要达到的目标：
我们希望使用气流来管理我们的机器学习和数据管道，同时使用Kubernetes来管理资源和调度作业。我们想要实现的是气流组织工作流(例如，各种任务依赖关系)。换句话说，气流将告诉库伯奈特集群该做什么，而库伯奈特斯决定如何分配工作。同时，我们也希望气流能够监测各个任务的状态。例如，如果我们有10个任务分散在一个由5个节点组成的集群中，那么气流应该
浏览 0提问于2018-06-19得票数 15
回答已采纳
start_date': yesterday, 'wait_for_downstream': True然而，似乎所有三个管道都是在同一时间安排的DAG是活动的("On")。任务a在气流上仍然处于“运行”状态，但是在Dataflow，这项工作已经完成。如何获得气流以识别数据流作业已经完成并继续执行任务b？
浏览 0提问于2018-10-09得票数 0
回答已采纳
2回答
在我的气流DAG中，我有一个任务需要知道它是第一次运行还是重试运行。如果是重试尝试，我需要调整任务中的逻辑。关于如何存储任务的重试次数，我有一些想法，但我不确定其中是否有一个是合法的，或者是否有一个更容易构建的方法来获取任务中的这些信息。
我想知道，在每次任务运行时，我是否可以在进程中添加一个整数变量。然后，如果任务，如果重新运行，我可以检查
浏览 2提问于2018-08-08得票数 9
## Section 6 | Defining dependecies现在，我需要知道两件事：
x = c，我尝试使用这个变量x为下一个任务需要拍摄的次数定义一个for -循环。不知何故，气流UI是从一个基本编译的.py文件中呈现出来的，并且x的值为0而不是1，即使我在函数中执行了global c。有时，偶然的，气流UI显示值1。我想知道背后的
浏览 3提问于2021-12-13得票数 1
回答已采纳
我目前正在尝试自动化一个由不同脚本组成的数据管道。其中许多脚本依赖于一个名为DB_URL的环境变量的设置。在python脚本中，这个变量是通过os.getenv('DB_URL', None)读取的。/path/to/my/conda/environment/python /path/to/my/scripts/db_connection_test.py&#x
浏览 2提问于2021-02-25得票数 1
1回答
我正在探索气流变量，并在气流中创建了一个变量，其值中包含“气流”一词：在我的任务中使用这个变量时，用星号(*)掩盖了单词airflow，如下所示：t1 = BashOperator(task_id = 'echo_source_path',
bash_command =
浏览 3提问于2022-01-25得票数 1
回答已采纳
1回答
在DAG生成过程中，我们读取气流变量(~30-50)来确定要生成哪些DAG(这也决定了DAG的ID以及它们应该处理的模式/表名称)。我们称之为发电机变量。在DAG生成过程中，DAG还通过ID读取它们的配置(每个生成的DAG多出2-3个气流变量)。我们称之为Configurator变量。不幸的是，在我们的DAG中，我们必须处理一些传递的参数(通过REST
浏览 4提问于2022-04-10得票数 2
回答已采纳
1回答
在我的气流任务中，我希望将当前月份的当前小时和最后一个小时(以UTC为单位)作为变量传递。
我知道有宏，但气流运行的IST时间戳，我如何才能得到UTC的可变数据？有样本代码吗？
浏览 1提问于2021-03-25得票数 1
回答已采纳
现在，我希望dagC ( ETL作业)能够等待dagA和dagB的完成。我使用的是ExternalTaskSensor而不是TriggerDagRunOperator，因为我不认为摄入层会触发下游的任何东西。我读过 ，声明我应该同时运行dags。现在，这部分让我感到困惑，因为如果我要遵循这一点，这是否意味着我所有的气流工作都会同时开始，下游的工作会一直持续，直到上游准备就绪？external_task_id=None, dag=dag)
[wa
浏览 0提问于2019-08-02得票数 0
回答已采纳
2回答
我有一个气流DAG，它创建一个EMR集群，然后在该集群上运行SSHOperator任务。现在，我正在把EMR集群的主公共DNS硬编码成一个气流SSH连接。在创建EMR集群时，我的DAG是否可以动态填充这个DNS，这样我就不必手动更新连接了吗？
浏览 0提问于2019-05-02得票数 2
回答已采纳
4回答
在airflow的web控制台上的DAG视图中有一个称为“着陆时间”的部分。
但是这意味着什么呢？文档或其存储库中没有定义。
浏览 2提问于2016-06-09得票数 30
如果气流同时运行，任务(例如BashOperators)都修改了相同的env变量，会发生什么情况？这两个任务都会看到另一个任务的变化吗？气流是否会进入比赛状态，或者env的变化只会影响独立的脚本？我通常会认为env更改将是自包含的，但询问是因为在中设置os.environ[...]值(在dag定义级别)确实存在问题，从而影响了所有dag。
浏览 1提问于2019-10-30得票数 1
回答已采纳
因此，我们使用以下方法生成我们的DAG：表加载器DAG的特定运算符使用的RawToRawRC_TableN气流变量，例如:用于操作器处理的RR_TableN = {} // python = {} / python用于操作处理RawToCuration
用户定义宏:在任务定义之
浏览 3提问于2021-11-06得票数 1
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
