2回答
我有一个python脚本，可以动态地创建任务(airflow operator)和基于JSON文件的DAG，该文件映射了每个所需的选项。该脚本还专用功能，以创建任何需要的操作员。有时我想激活一些基于映射的条件选项...例如，在bigqueryOperator中，有时我需要一个time_partitioning和一个destination_table，但我不想在每个映射的任务上都设置
浏览 7提问于2019-04-04得票数 0
回答已采纳
有没有办法在气流红移时触发存储过程？最好的情况是不要使用python操作符，但是我还没有在气流版本< 2中找到一个reshift操作符。
浏览 5提问于2021-12-07得票数 2
回答已采纳
1回答
示例：但是当我尝试使用气流时，我有两个选择，bash操作符或python操作符。使用bash操作符会成功，但会限制我使用气流特性的能力。
但是我想要做的是作为python操作符运行它。因此，我正在导入气流dg文件中的模块，然后作为python<em
浏览 3提问于2019-01-28得票数 0
在GoogleCloudStorageToBigQueryOperator上可以使用通配符吗？file_sample_2.json...我想吃这些文件使用气流与GoogleCloudStorageToBigQueryOperator
浏览 9提问于2022-11-30得票数 0
回答已采纳
我需要创建一个自定义的气流运算符，我应该能够在气流模板中使用它(用python编写)，它运行在云编写器中……
如果我创建自定义的气流操作符，如何在运行在云上的模板中使用它(如何使每个人都可以使用它，以便他们可以使用该操作符
浏览 0提问于2018-11-28得票数 7
回答已采纳
1回答
我正在尝试创建一个Dag任务，它可以将MySQL表下载到GCS桶中。我也尝试过更改approx_max_file_size_bytes参数和文件类型
浏览 1提问于2021-08-23得票数 0
我对气流很陌生，我正在用GoogleCloudStorageDownloadOperator尝试一些简单的东西： 'start_date': airflow.utils.dates.days_agoparams.work_dir }}/data.tar.gz', dag=dag例如，虽然我可以在PyCharm有没有
浏览 0提问于2020-01-09得票数 1
回答已采纳
1回答
我想在MWAA气流环境中使用DBT。为此，我需要在托管环境中安装DBT，然后通过气流运算符或CLI (BashOperator)运行dbt命令。解决方案的问题是，我需要在-which中存储dbt文件，其中包含目标/源数据库凭据-在S3中。否则，该文件将不会被部署到气流工作节点，因此dbt无法使用。我的想法：
在气流达格中动态创建配置文件
浏览 2提问于2022-02-04得票数 2
我试图在气流中创建一个动态生成的DAG。但是，如果我要将其作为常规Python函数来执行，那么将这么多常规Python混合到我的气流DAG中似乎很奇怪。我对气流的理解是，最好是在
浏览 5提问于2021-05-04得票数 1
1回答
Python操作符从ds变量派生文件名并下载文件。然后，通过XCom将文件名传递给后续运算符(4个并行)。我的解决方法是使用next_execution_date变量而不是ds变量。在气流中，有没有办法消除一周(一个时间表)的延迟？
浏览 1提问于2018-12-17得票数 1
1回答
我想使用气流在EMR上运行火花作业。为此需要在哪里安装气流？
为此，我正在考虑使用SparkSubmit操作符。在创建气流任务时，我应该提供哪些参数？
浏览 4提问于2022-01-25得票数 2
我创建了一个自定义的气流操作符，基本上修改了一些与run_id相关的TriggerDagRunOperator代码，并将其命名为CustomTriggerDagRunOperator。但是当我为这个操作符创建一个单独的python文件时，比如说，my_custom_operator.py并将这个文件放在与DAG相同的文件夹中。此后，在DAG中添加了从my_custom_operator导入CustomTriggerDagRunOperator的导入语句。气流UI不产生任
浏览 2提问于2022-11-13得票数 0
在文档中，他们说您应该避免在任务之间传递数据：
我根本不明白他们的意思。如果两个任务之间没有数据可传递，为什么它们是同一个DAG的一部分？我有六个不同的任务，轮流编辑一个文件，每个任务都发送一个XML报告到最后一个任务，该任务编译所做的事情的报告。气流
浏览 5提问于2020-11-24得票数 4
我目前正在探索在我的一些DAG中实现钩子。例如，在一个进程中，我试图连接到s3，将一个csv文件发送到一个桶中，然后将其复制到一个红移表中。(Background on this error at: http://sqlalche.me/e/13/e3q8)谢谢
浏览 9提问于2021-12-15得票数 0
我正在从事一个Dockerized /Django项目，其中包括一个用于芹菜工人的容器，我一直在将现成的气流码头容器集成到其中。我已经在预先存在的容器中成功地运行了芹菜任务，方法是使用指定的redis代理和后端实例化芹菜应用程序，并通过send_task进行远程调用；然而，芹菜任务执行的日志记录都不能返回到气流日志。最初，作为一个概念的证明，因为我对气流完全陌生，我把它设置为运行相同的代码，方法是将它暴露在气流容器中，并创建气流任务在
浏览 6提问于2022-06-08得票数 1
2回答
我试图创建和运行一个吊舱使用气流库伯内特斯吊舱操作员。下面的命令被尝试并确认是工作的，我试图使用kubernetes pod操作符在本地复制相同的命令。在这里碰到一个墙，因为似乎没有办法通过--使用气流的服务帐户标志，这是我的实现所需要的，这会把错误抛到我这一边。到目前为止，我找到的解决方案主要集中在将默认用户添加到命名空间角色上，但这在我的情况下是不可能的。谢
浏览 6提问于2021-04-06得票数 1
我正试图在Kubernetes执行器中设置气流的request_cpu参数，但是我还没有找到我能做到的地方。在中，我找到了default_cpus，但是根据，没有任何地方可以使用它，在Kubernetes部分的其他地方，我也无法找到对CPU请求的引用。如何在气流库伯内特斯执行器中设置request_cpu参数？
编辑:理想情况下，我想要做的是将其设置为全局缺省值，而不是基于每个操作符，尽管总的来说，我认为将其设置为每个操作符/任务更有意义。
浏览 4提问于2020-02-27得票数 3
2回答
我在我的k8s上安装了气流，使用了头盔图表airflow /airflow。
目前安装的气流版本是2.2.4，从下面的选项应该遵循什么路径来升级气流版本的2.3.0。官方舵图版本是1.5.0，而默认的气流版本是2.2.4。当较新版本的舵机图表发布时，默认的气流版本将被设置为2.3.0。helm repo update和helm upgrade会提供气流的升级吗？如果要适应气流默认版本的升级过程必须是手动的，那么应该遵循什么过程/步骤
浏览 4提问于2022-05-03得票数 1
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
