有没有办法不使用celery或kubernetes来运行工作流？Doc只指定了两种方式在多集群模式下运行。我不能再使用多个EC2实例来运行我的工作进程来进行计算吗？(不使用芹菜或kubernetes)。
浏览 39提问于2020-01-24得票数 0
我在Airflow和kubernetes方面是新手。我已经按照这个指南部署了airflow：https://docs.bitnami.com/tutorials/deploy-apache-airflow-azure-postgresql-redis/我读到过celery executor创建静态工作者，kubernetes executor为每个任务创建一个pod。 我不知道的是我的芹菜</e
浏览 13提问于2020-09-05得票数 0
回答已采纳
回答我自己的问题 我最近升级到Airflow 1.10，它引入了KubernetesPodOperator，但是每当我使用它时，我在see服务器中看到以下错误：No module named 'kubernetes
浏览 46提问于2019-03-06得票数 7
回答已采纳
我已经在现有的Airflow 2.0.0安装的基础上安装了Apache Spark provider，安装方法如下： pip install apache-airflow-providers-apache-spark' from 'apache-airflow-providers-apache-spark' package: name 'client' is not defined
[
浏览 16提问于2021-01-20得票数 3
有一个数据收集工作流，它是通过celery任务实现的，这些任务相互依赖并并行运行。我希望将所有这些逻辑迁移到apache airflow，因为我认为它适合我的需要，并且启动和重新启动任务、构建更复杂的工作流、监视和调试将更加方便。 我以前从来没有用过气流。我的计划合理吗？
浏览 94提问于2020-08-29得票数 1
回答已采纳
KubernetesExecutor正在创建pod，但是它说是无效的图像。如果我描述这个吊舱，它使用的是本地执行器，而不是kubernetes执行器。execution_date=2020-05-11T12_52_09.829627_plus_00_00 /root/airflow/logs from airflow-logs (rw)
/var/
浏览 2提问于2020-05-11得票数 0
在我从Helm stable/airflow代码库安装的Kubernetes上运行airflow命令时遇到困难。例如，我尝试执行调度器pod并运行airflow list，结果得到以下错误： airflow.exceptions.AirflowConfigException: error: cannot usesqlite with the KubernetesExecutor airlow 好的，我切换到芹菜执行器。同样的
浏览 37提问于2020-08-25得票数 2
回答已采纳
我们决定在Kubernetes上运行Airflow。我们希望使用Kubernetes的力量，但要以平衡的方式。我们在DAG中有一些非常小的任务，例如创建一个目录。KubernetesExecutor为每个任务旋转一个pod，这需要很长的时间，因此对于许多短任务来说是过度杀伤力。我的问题是，是否可以将Airflow配置为为整个DAG旋转一个Kubernetes pod，而不是每个任务一个pod？(最好不要芹菜<
浏览 0提问于2021-04-08得票数 0
我想在Apache Airflow中根据每个工人的健康和当前负载将工作分配给我的工人。类似于HAProxy leastconn的东西就是我想要的。有没有办法让员工报告他们的负载/健康状况，并相应地分配任务？我喜欢吃Dask或芹菜，但我最熟悉的是芹菜
浏览 12提问于2019-05-23得票数 1
1回答
几天前，我使用的azure快速入门模板安装了AirFlow1.X
我正在寻找一个类似的模板，以方便(只是尝试)在Azure上部署Airflow 2。我试着从上面的链接修改模板，指向官方的Apache Airflow图像，但airflow应用程序一直关闭。
浏览 4提问于2021-09-15得票数 0
1回答
我试图在气流中使用一个名为“秘密”的模块，在气流中将秘密传递给KubernetesOperator。它应该作为from airflow.contrib.kubernetes.secret import Secret导入我尝试过安装airflow软件包pip install apache-air
浏览 10提问于2022-05-12得票数 0
回答已采纳
我想创建一个部署kubernetes而不是pod。有没有办法在apache airflow中做到这一点？我知道KubernetesPodOperator，但我想要的是部署，而不是Pod。阿帕奇气流中的KubernetesPodOperator
k = KubernetesPodOperator(namespace='default',
浏览 0提问于2019-03-21得票数 2
我可以在localhost上启动多少个apache airflow芹菜工作进程？我猜默认设置应该是一个通过多线程并发工作的芹菜工作线程。可以在airflow.cfg文件中设置并发(默认为16)。我检查了花卉服务器，只有一个芹菜工人。 是否可以将另一个芹菜工人添加到我的localhost？
浏览 8提问于2019-09-18得票数 0
回答已采纳
我创建了一个名为airflow-cluster的集群，并创建了pod_template.yaml，并在airflow.cfg中进行了以下更改。= /home/caxe/airflow/logs/yamls/pod_template.yamlworker_container_tagimage: apache&#x
浏览 4提问于2022-01-21得票数 1
我在我的机器上安装了Python，并试图导入from airflow.contrib.operators.kubernetes_pod_operator import KubernetesPodOperator我已经做了pip install apache-airflow[kubernetes]，我仍然有同样的错误。是否有特定的机器位置，我应该检查库是否实际安装？我能做些什么来解决这个问题？
from airflow impo
浏览 4提问于2019-05-24得票数 7
回答已采纳
1回答
我知道，对于气流CeleryExecutor，芹菜和狂犬病(或红色)是必需的。这些需求是通过简单地运行pip install apache-airflow[celery,rabbitmq]来满足的还是我们需要运行sudo yum install rabbitmq-server和pip我的问题是关于气流2.0+
浏览 1提问于2021-04-20得票数 0
回答已采纳
下面都是运行airflow scheduler airflow webserver airflow worker的如果此任务实例没有很快启动，请与您的气流管理员联系以获得帮助。试着重新启动调度程序，但没有帮助。[2018-11-17 22:03:45,810] {{celery_execut
浏览 1提问于2018-11-17得票数 3
回答已采纳
我一直在运行一个烧瓶应用程序与芹菜工人和红色在三个分开的码头集装箱，没有任何问题。我就是这样开始的：芹菜开得很好iteritemsAttributeError: 'float' object has no attribute 'items'
浏览 0提问于2018-11-15得票数 14
回答已采纳
1回答
我有一个在kubernetes (EKS)和remote worker中运行的设置--在不同位置的防火墙后面构建一个VM。EKS中的Problem气流网络服务器在试图获取远程工作人员的日志时遇到了403个禁止错误。构建版本Kubernetes
6379PostgreSQL (芹菜后端)上暴露的1.22 (EKS)Redis (芹菜代理)- 5432上公开的</
浏览 12提问于2022-09-23得票数 1
回答已采纳
我正在配置Apache Airflow与Amazon SQS一起使用芹菜。在其配置中包含一个名为celery_broker_transport_options的部分。我知道我能够在Airflow配置中传递简单的字符串。例如，in。'us-west-1'} 我正在尝试在Airflow中传递predefined_queues选项，它在芹菜中看起来如下所示： broker_transport_options = {
'p
浏览 18提问于2020-08-05得票数 1
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
