在气流教程中，BashOperator具有输出(通过echo)。如果任务在调度程序中运行，您将在何处查看输出？有没有游戏机之类的？我确定我找错地方了。
浏览 3提问于2018-07-26得票数 18
回答已采纳
1回答
我想使用airflow进行图像处理。 我有4个任务:图像预处理(A)，边界框查找(B)，分类(C)，图像最终确定(D)。图表如下所示： A -> B1 -> C \ -> B3 -> C /
-> Bn -> C / 图像预处理任务的输出是边界框建议的列表，对于每个边界框，我运行分类，一旦所有分类任务结束，我就运行图像finalize。我希望所有的东西
浏览 16提问于2019-05-06得票数 0
2回答
我在EC2上运行Airflow 2.0.1，并启用了s3日志。我想禁用在本地(EC2)服务器中创建的日志。 该怎么做呢？
浏览 21提问于2021-06-22得票数 0
回答已采纳
我正面临着DockerOperator的日志问题。 我正在使用DockerOperator在docker容器中运行python脚本，我需要airflow从容器中运行的python脚本中输出日志。Airlfow将作业标记为成功，但容器内的脚本失败，我不知道发生了什么，因为我无法正确地看到日志。除了按照docs中的建议将tty选项设置为True之外，是否还有其他方法可以为DockerOpertor设置日
浏览 28提问于2020-05-01得票数 2
我使用的是Airflow v1.8.1，并在kubernetes & Docker上运行所有组件(worker、web、flower、scheduler)。我在Redis中使用Celery Executor，我的任务如下： ├ -> (do_work_for_product2)├ -> (do_work_for_product3)因此，start任务有多个下游。如果我从Admi
浏览 3提问于2017-08-24得票数 25
因此，我用Airflow创建了一个数据流，用于获取存储在中的一些数据，然后将其存储到MongoDB中。因此，我有两个python方法，一个用于获取数据并返回数据，另一个用于将其存储到相关数据库中。如何将一个任务的输出作为另一个任务的输入？到目前为止，这就是我所拥有的(摘要和浓缩版)。我研究了xcom拉和推<em
浏览 2提问于2019-09-09得票数 0
回答已采纳
我试图通过airflow (安装在Kubernetes中)将表交叉点的结果写入csv文件，但我得到的消息是csv文件是一个读文件。在脚本中有没有我可以修改的参数，让它写出结果？.tolist() with open('/airflowupdate_cat', defau
浏览 13提问于2019-10-15得票数 0
设想一个处理系统，它从其他内部系统或从internet公开的REST端点接收数据。一旦接收到，一组(后台)任务(基于db或其他few服务计算来自输入的响应)并行地处理数据，一些顺序的一个接一个地工作，或者一些任务在完成几个并行任务时工作。最终(边缘)任务可以将结果发送到外部The服务或存放到数据库表中。可以将任务设计为一
浏览 22提问于2019-11-06得票数 0
2回答
设置Airflow的惯用方法是什么?如果您有两个环境，例如Production-East和Production-West，则只显示来自每个环境的dags，但它们可以位于单个存储库中？
浏览 7提问于2018-11-21得票数 1
1回答
在Airflow中，我如何根据另一个任务的结果触发另一个任务？如果任务A的结果为真，则运行任务4，如果为假？重新运行任务A
浏览 11提问于2020-07-02得票数 0
为了进一步执行，我需要在另一个任务中使用来自oracleOperator的输出。我遇到的麻烦是，当我把数据拉到另一个任务中并打印出来时，它会给出一个零的结果。没有抛出错误，但没有传递数据。此外，任务UI中的xcom选项卡显示键和值的空白。我的代码如下：from
浏览 3提问于2020-03-23得票数 3
我正在尝试找出将变量从一个BashOperator任务传递到另一个任务的最通用/最有效的方法。我想出了一个解决方案，将第一个BashOperator任务的输出推送到xcom。然后，该字符串由PythonOperator任务提取，该任务将该字符串解析为键值对，然后将其推送到xcom。最后，这些k-v对可以被第二个Bash
浏览 74提问于2019-10-14得票数 0
我在/opt/airflow/dags目录下定义了dag文件test1.py。最初，该文件只有一个任务，即test1_task01。在我的GUI中，dag仅在执行一项任务时正确显示。但是，当我将另一个任务添加到我的DAG时，它看起来如下所示：
DAG - test1_task01 <- test2_task01 (representative - not airflow</
浏览 4提问于2016-09-29得票数 4
大家好，所以我的达格实际运行良好，所有的输出都在工作，但气流的UI不改变为成功，并由于以下问题失败。我在网上读到了以下两篇文章：在气流版本2.0中，Xcom_push将被废弃。from google.cloud import bigqueryfrom airflow import models
from airflow</
浏览 14提问于2021-12-15得票数 3
1回答
我有一个文件定义了DAG对象：from airflow import DAG}
'hist_data_etl', default_args=default_args, schedule_interval='@once')
然后，在另一个文件中，导入创建的进程并定义我的<e
浏览 4提问于2019-10-01得票数 1
回答已采纳
我正在尝试将csv文件的内容复制到postgres数据库中，在两个任务中，第一个任务下载csv文件并将其保存在/temp文件夹中，另一个任务是postgres任务，将元素复制到数据库中。但是，当尝试将文件保存到dag文件夹之外时，任务无法保存该文件，并出现文件未找到错误。我用过气流_主页变量将文件保存
浏览 57提问于2021-02-22得票数 1
回答已采纳
我正在尝试使用Airflow BranchPythonOperator。(task_id="join_task", dag=dag)我只需要执行2个任务(branch_data，branch_no_data)中的一个。下面是我实现任务链的失败尝试。
浏览 0提问于2020-06-16得票数 0
我正尝试在DC/OS上使用Airflow安排'docker run‘作业。这需要从包含气流的码头容器内启动码头集装箱的能力。docker run \ -v /var/run/docker.sock:/var/run/docker.sock {image name}
有没有使用DC/OS做这件事的等效方法
浏览 3提问于2017-12-04得票数 1
假设我需要启用一个服务，然后启动该服务(例如某个web服务器)，我是否应该创建一个任务来启用该服务，然后创建另一个任务来启动该服务？或者我应该创建一个任务来启用服务，在这个服务中，创建一个通知，它触发一个处理程序来启动服务？我认为把它们放在不同的任务中可能会更好？一般来说，人们是如何在Ansible中实现它们的？如果单独编写<e
浏览 2提问于2018-01-03得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
