我已经在我的airflow dag中写了以下代码，我已经在本地测试了我的脚本，它像梦一样工作。现在我正在尝试让它在我的airflow dag中工作，但没有得到任何幸运，我已经尝试了很多东西，但都没有效果。/site-packages/airflow/bin/cli.py", line 392, in run
[2018-01-25 10:11:50,017] {base_task_runner.py:98/site-packag
浏览 14提问于2018-01-25得票数 5
我有一个非常简单的测试DAG，如下所示：from airflow.operators.python_operator=ticker_function,)result = func(*args, **kwargs)
File &q
浏览 0提问于2018-02-13得票数 7
当我使用像BigQueryHook这样的运算符/钩子时，我看到一条消息，指出这些运算符已弃用，请使用airflow.gcp...运算符版本。但是，当我尝试在dag中使用它时，它失败了，并且没有显示名为airflow.gcp的模块。我有最新的airflow composer版本，带有测试版功能，python3。我正在尝试使用</e
浏览 26提问于2019-10-25得票数 8
回答已采纳
我正在使用Cloud Composer环境在GCP项目中运行工作流。我的一个工作流使用DataprocClusterCreateOperator在不同的项目中创建了一个Dataproc集群，然后尝试使用来自airflow.contrib.operators.dataproc_operator模块的DataProcPySparkOperator向该集群提交PySpark作业。例如，我希望能够传递一个project_id，但当任务运行时，我最终得到了一个404错误： fro
浏览 22提问于2020-08-13得票数 0
回答已采纳
我正在创建我的第一个使用subdag的dag，并导入subdag运算符 `from airflow.operators.subdag import SubDagOperator` 然而，我一直收到流错误"Broken : /usr/local/airflow/dags/POC_Main_DAG.py没有名为‘airflow.operators.subdag’的模块“ 我还尝试导入虚拟操作符，但
浏览 8提问于2021-01-06得票数 2
回答已采纳
当我将新的DAG python脚本放在dags文件夹中时，我可以在DAG UI中查看DAG的新条目，但它不是自动启用的。最重要的是，它似乎也没有正确加载。我只能单击列表右侧的Refresh按钮几次，然后切换列表左侧的on/off按钮才能安排DAG。这些都是手动过程，因为我需要触发一些东西，即使DAG脚本被放在dag文件夹中。顺便说一句，正如在文章标题中提到的</em
浏览 1提问于2017-01-10得票数 51
我正在尝试使用Cloud Composer来运行我的工作流。我想使用Airflow v1.10提供的"GoogleCloudStorageToGoogleCloudStorageOperator“operator，但当前的cloud composer不支持它(它目前只支持Airflow v1.9 (2019/01/16))。然而，就目前而言，当我尝试创建一个新的cloud composer环境并部署以前工
浏览 65提问于2019-01-16得票数 1
需要一些关于在airflow上运行数据流作业的建议，.I可以使用Python sdk在本地和数据流运行器上运行光束作业。但无法使用DataflowPythonOperator通过airflow编排作业(不确定它是否已被弃用)。我使用Dataflowjavaoperator编排jar文件没有任何问题。/WordCountPython.py',
job_name='Airflow ...Job &#x
浏览 23提问于2021-07-29得票数 0
我们已经转移到AirFlow 1.10.2来解决CPU的使用问题，好的是我们已经解决了这个问题，在我们的环境中得到了解决。请注意，对于我们的用例实现
AirFlow不依赖于时间，即它们不是‘**计划中的’**，而是通过python代码触发的。AirFlow v1.10.2被用作一个独立的分期付款executor = LocalExecutor
浏览 0提问于2019-03-09得票数 3
我对使用Airflow还比较陌生。我已经看了几十篇帖子了，但找不到一个有效的解决方案。如果有人能帮我指明正确的方向，我将不胜感激。 我有一个作业需要每分钟运行一次(下面的代码)。假设这应该每分钟运行一次，这显然是行不通的。- [2020-01-20 19:19:25,684] {local_task_job.py:103} INFO - Task exited with return code 0 但是所有的任务返回时都是相似的dags是使用脚本动态生成的</e
浏览 11提问于2020-01-22得票数 0
这些天，我正在做一个新的ETL项目，我想尝试一下作为工作经理的Airflow。我和我的同事都是第一次使用Airflow，我们采用了两种不同的方法:我决定编写python函数(类似apache-airflow项目中的运算符)，而我的同事使用airflow通过BashOperator调用外部python脚本。对我来说，主要的
浏览 2提问于2017-11-28得票数 13
1回答
下面是我的DAG文件 from airflow import DAGfrom datetime import timedeltafrom airflow.operators.dummy_operator import DummyOperator
from airflow.operators.python_operator import，我需要将{{ds}}作为一个参数传递给我的操作符，然
浏览 12提问于2020-12-24得票数 1
试图基于KubernetesPodOperator制作我自己的组件。我能够定义组件并将其添加到组件列表中，但是当尝试运行它时，我得到：
Fil
浏览 10提问于2022-02-14得票数 2
回答已采纳
2回答
在气流2上，我的守护进程没有显示在UI上，我得到的是DAG (.)。错误消息不足以让我进行调试(它是一个具有大量自定义逻辑的自定义操作符，因此我不想详细了解错误本身)。在气流1.X上，我可以使用cli：为了得到更详细的调试信息，在气流2上有类似的东西吗？我正在寻找一个cli命令/UI选项，它将为我提供比我在will服务器主屏幕上获得的更详细的错误消息。
浏览 5提问于2021-04-16得票数 3
回答已采纳
当我通过for循环生成所有运算符时，如何创建任务依赖项。示例：from airflow.operators.python_operator import PythonOperator
task_name = table
task_id=table, python_cal
浏览 2提问于2022-02-14得票数 0
回答已采纳
我有一个包含许多子任务的DAG。在DAG的中间，有一个验证任务，基于任务的结果/返回代码，我想采用两种不同的路径。如果成功，将遵循一条路径(一系列任务)，如果失败，我们希望执行一组不同的任务。当前方法存在两个问题，一个是，如果退出代码为1，则验证任务执行多次(根据配置的重试次数)。第二，无法采用不同的执行分支
要解决问题1，我们可以使用任务实例中的重试次数，该次数可通过宏{{ task_i
浏览 0提问于2019-05-02得票数 3
我是Apache Airflow的新手。我的任务是从谷歌云存储读取数据，转换数据并将转换后的数据上传到BigQuery表中。我可以从云存储存储桶中获取数据，并直接存储到BigQuery表中。下面是我的代码： # Import libraries needed for the operationfrom datetime import timedelta, datetimefrom airflow import DAG
from a
浏览 18提问于2021-07-09得票数 1
回答已采纳
5回答
我有一些dags似乎找不到python模块。在Airflow UI中，我看到了大量这样的消息变体。Broken DAG: [/home/airflow/source/airflow/dags/test.py] No module named 'paramiko'
在文件内部，我可以直接修改pythonsys.path，这似乎减轻了我的问题。我已经尝试在Airflow
浏览 3提问于2018-06-06得票数 7
1回答
我正在使用Windows机器，并且已经创建了用于气流的容器。我可以通过DAG读取本地文件系统上的数据，但无法将数据写入文件。我还尝试了给出完整路径，也尝试了不同的运算符: Python和Bash，但仍然不起作用。DAG成功了，没有任何失败的迹象。注: /opt/airflow :是$AIRFLOW_HOME路径from airflow imp
浏览 9提问于2021-11-27得票数 0
在这个将数据从s3移动到红移的DAG中，dag中的任务成功完成，但我在红移表中找不到任何元素。这项工作需要在没有boto3的情况下完成。import osfrom airflow.hooks.S3_hook import S3Hookfrom airflow.utils.dates
浏览 12提问于2020-11-18得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
