4回答
我尝试配置Airbnb AirFlow来使用CeleryExecutor，如下所示：# SequentialExecutor, LocalExecutor, CeleryExecutor但我得到以下错误：
airflow.confi
浏览 0提问于2016-04-24得票数 15
1回答
AWS EMR群集的最佳Airflow架构是什么？
amazon-web-services、airflow、cluster-computing、amazon-emr
我有一个AWS EMR集群，其中包含1个主节点、30个核心节点和一些自动扩展的任务节点。现在，成百上千的Hive和mysql作业由Oozie在集群上运行。我要把一些工作从Oozie换成Airflow。我搜索了一下，将气流应用到我的集群中。我发现所有的dag都应该位于每个节点上，而且Airflow Worker必须安装在所有节点上。而且，如您所知，只有主节点在集群上有hive/mysql应用程序。所以我很困惑。谁能告诉我适用于EMR集群的<em
浏览 20提问于2019-09-24得票数 0
1回答
如何删除通过helm引入的气流上的值？
kubernetes、airflow、kubernetes-helm、minikube
helm install airflow .--namespace airflow -f my_values.yaml -f my_other_values.yaml 我执行了上面的命令，但不得不中断它，不能重新执行它，因为给了我错误： Error
浏览 36提问于2021-08-20得票数 0
回答已采纳
2回答
如何设置2台服务器的气流？
airflow、apache-airflow
尝试将Airflow进程拆分到2台服务器上。服务器A已经在独立模式下运行，其中包含DAG，我想将其设置为具有附加服务器的新设置中的worker。airflow scheduler是否必须在具有正确DAG的服务器上运行？或者它必须在集群中的每台服务器上运行？不清楚进程之间有什么依赖关系
浏览 0提问于2017-07-12得票数 6
5回答
破碎DAG：(.)没有名为docker的模块
docker、airflow、directed-acyclic-graphs、google-cloud-composer
下面的脚本似乎遵循了我可以找到的示例：from airflow import DAGfrom airflow.operators.docker_operatortask_id = 'hfan', )Broken DAG: [/home/airflow
浏览 7提问于2018-05-09得票数 9
回答已采纳
2回答
如何从获得Airflow db凭据
google-cloud-platform、airflow、google-cloud-composer
在Composer中，我目前需要用于我的气流实例的Airflow db连接凭证。
我在气流连接界面上看到的都是airflow_db mysql airflow-sqlproxy-service。
浏览 0提问于2018-12-05得票数 5
回答已采纳
2回答
SparkSubmitOperator与SSHOperator在airflow中提交pyspark应用程序的比较
airflow-scheduler、spark-submit、airflow、apache-spark-2.3
我有不同的spark和airflow服务器。我没有在airflow服务器上安装spark二进制文件。我能够很好地使用SSHOperator并在集群模式下运行spark作业。
浏览 9提问于2020-06-25得票数 1
1回答
气流库伯内特斯执行器不创建吊舱
python、kubernetes、airflow、etl、kubernetes-helm
我在本地设置它的方式是在命令提示符中安装以下步骤(Windows，我使用种类：)：
我看到没有新的豆荚正在被创建：
我甚至创建了一个气流服务角色，并使用一个集群角色绑定给它一个集群角色来创建
浏览 3提问于2021-10-29得票数 0
回答已采纳
1回答
如何在Ubuntu上本地运行的气流2.x上安装Kubernetes执行器--无舵图
linux、airflow、ubuntu-20.04、airflow-2.x
我创建了一个名为airflow-cluster的集群，并创建了pod_template.yaml，并在airflow.cfg中进行了以下更改。__CORE__SQL_ALCHEMY_CONN
value: postgresql+psycopg2://airflow:airflow@localhost:5432/airflowexamplebashoperatorthiswillskip.b9474f2673524a538ed2fddb6a
浏览 4提问于2022-01-21得票数 1
1回答
是否可以将本地测试码头气流环境链接到GCP上的现有气流？
docker、google-cloud-platform、airflow、google-cloud-composer
我刚刚在本地设置了Airflow，封装在一个码头容器中。
我想知道是否有可能将此Airflow本地环境链接到GCP上的实际Airflow/Composer服务？
浏览 0提问于2019-04-01得票数 1
1回答
如何以Unix用户身份运行Apache气流DAG
hadoop、airflow、apache-airflow
我使用root帐户在集群上安装了Airflow。我知道这是不好的练习，但它只是测试环境。我创建了一个简单的DAG：from airflow.operators.bash_operator import BashOperator
t2 = BashOperator(task_id='create_file', bash_command='echo airflo
浏览 9提问于2017-10-30得票数 3
回答已采纳
1回答
使本地requirements.txt文件可供microk8s稳定/气流使用
kubernetes
根据，您可以：
| airflow.extraConfigmapMounts | Additional configMap volume mounts on the airflowpods. | [] |
有人能给出一个例子，说明我如何将本地存储的requirements.txt文件链接到(本地) kubernetes<em
浏览 3提问于2020-02-13得票数 1
1回答
谷歌CloudSQL上的全局变量explicit_defaults_for_timestamp
mysql、airflow、google-cloud-sql、google-cloud-dataproc
我正在尝试使用CloudSQL MySQL后端将Airflow安装到Cloud Dataproc集群上。Airflow要求将全局变量explicit_defaults_for_timestamp设置为1，但是我无法设置此变量，因为用户根没有Super_priv权限，而且我已经了解到CloudSQL中不支持这些权限
浏览 19提问于2021-02-19得票数 1
回答已采纳
2回答
无法使用Airflow DAG中的SparkKubernetesOperator在Kubernetes集群上创建SparkApplications
docker、kubernetes、pyspark、airflow、amazon-eks
“gc”，平台：“linux/amd64”}云提供商或硬件配置: AWS EKS OS (例如来自/etc/os- SparkApplications )：内核(例如uname -a)：安装工具:其他:发生了什么:我无法使用Airflow DAG中的SparkKubernetesOperator在Kubernetes集群上创建SparkApplications。我已经在EKS上托管了Airflow和Spark-operator。我已经在Airflow上创建了一个
浏览 2提问于2021-07-14得票数 3
3回答
如何利用气流监控Spark作业
apache-spark、airflow、apache-airflow
我设置了几个dags，最终以对spark集群的spark-submit命令结束。我正在使用集群模式，如果这有区别的话。总之，我的代码可以工作，但我意识到如果spark作业失败，我不一定会从Airflow UI中知道。通过集群模式触发作业，Airflow将作业交给可用的工作人员，因此airflow不知道spark作业。
我如何解决这个问题？
浏览 5提问于2017-05-18得票数 3
1回答
使用CeleryExecutor时DAG在气流中的位置
bigdata、workflow、airflow
我刚开始使用Apache Airflow，通过阅读文档，我了解了airflow中可用的执行器类型以及它们的基本工作模式。我的Airflow配置如下：dags_folder = /home/airflow/dags---在我的集群中，我运行1 Scheduler + Flower No
浏览 7提问于2018-01-30得票数 1
回答已采纳
1回答
如何在气流工人上执行普通芹菜任务
python、flask、celery、airflow
我目前已经设置了Airflow并正常工作，使用CeleryExecutor作为后端来提供水平缩放。这非常有效，特别是当工作节点位于EC2上的自动伸缩组中时。除了Airflow之外，我还使用纯芹菜来处理来自Flask/Python的简单异步任务(不需要整个管道)。到目前为止，这些普通芹菜任务的量非常小，我只是在与Flask相同的机器上运行普通芹菜工人。要做到这一点，一种方法是在Airflow worker服务器上运行纯芹菜worker服务(从自动伸缩等方面受益)。但这似乎不是一个优雅的解决方案，因为它在同一台机器上创建了两种不同类型
浏览 15提问于2019-10-05得票数 1
3回答
使用Airflow dag创建EMR群集运行，一旦任务完成，EMR将终止
apache-spark、hadoop、airflow、amazon-emr
我有Airflow作业，它们在EMR集群上运行得很好。我需要的是，假设我有4个airflow作业，需要EMR集群20分钟才能完成任务。为什么不呢?我们可以在DAG运行时创建一个EMR集群，一旦作业完成，它将终止创建的EMR集群。
浏览 4提问于2019-03-19得票数 2
2回答
使用Google bigquery python客户端库的google Cloud Composer
google-cloud-platform、google-cloud-composer、google-cloud-python
我正在尝试运行以下函数：import datetimeimport numpy as npfrom airflow.operators import python_operatorget_localytics_data)请求===2.19.1google bigq
浏览 0提问于2018-07-30得票数 2
我有一个DAGS，我想在同一个分布式airflow集群中的不同python环境中运行它。是否可以在执行DAG时创建虚拟python环境？我希望将tfx ML管道添加到我们的分布式airflow平台，并且不可能在每个工作节点中单独安装tfx。
编辑:我希望使用固有的tfx AirflowDagRunner，它是基于python操作符的。
浏览 3提问于2021-04-06得票数 1
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号