在气流中，我使用KubernetesExecutor作为执行器。我的DAG代码from airflow import DAGfrom airflow.providers.cncf.kubernetes</e
浏览 32提问于2022-01-29得票数 1
使用repo 和8.1.3版本的airflow -稳定/airflow安装了kubernetes中的airflow。所以我安装了Airflow v2.0.1。我使用外部postgres数据库和kubernetes executor对其进行了设置。
我注意到的是，当气流相关的豆荚完成后，它们会进入"NotReady“状态。这发生在启动时的update-db pod和kubernetes执行器启动的pod中。我已经检查了日志</
浏览 19提问于2021-05-25得票数 0
回答已采纳
强文本我已经安装了气流在码头和使用库伯内特斯执行器无法触发达格。Dag运行处于排队状态。KubernetesExecutor正在创建pod，但是它说是无效的图像。如果我描述这个吊舱，它使用的是本地执行器，而不是kubernetes执行器。请帮帮忙**kubectl describe pod tablescreationschematablescreation-ecabd38a66664a33b6645a72ef056edcexecution_date=2020-05-11T12_5
浏览 2提问于2020-05-11得票数 0
2回答
我已经使用stable/airflow舵图在Kubernetes上部署了一个Airflow实例。我稍微修改了puckel/docker-airflow镜像，以便能够安装Kubernetes executor。所有任务现在都在我们的Kubernetes集群上成功执行，但这些任务的日志无处可寻。我要将日志上载到我们的Azure Blob存储帐户。我已经这样配置了我的环境变量：
AIRFLOW__CORE__REMOTE
浏览 46提问于2019-11-29得票数 0
我试图设置远程日志在气流stable/airflow头盔图表上的v1.10.9，我使用库伯奈茨执行器和puckel/docker-airflow图像。这是我的values.yaml文件。AIRFLOW__KUBERNETES__WORKER_CONTAINER_TAG: 1.10.9
浏览 0提问于2020-02-13得票数 1
回答已采纳
1回答
我使用的是与Kubernetes执行器一起的气流，并在本地进行测试(使用minikube)，虽然我能够启动并运行它，但我似乎无法将我的日志存储在S3中。0x7fd00688a650>: Failed to establish a new connection: [Errno -2] Name or service not known')) AIRFLOW__KUBERNETES<
浏览 3提问于2020-03-30得票数 3
回答已采纳
import os from flask.appbuilder.security.manager import AUTH_OAUTH AUTH_USER_REGISTRATION = True log = logging.getLogger(__name__)
log.setLevel(os.getenv("AIRFLOW在/home/airflow/类似于airflow</
浏览 12提问于2022-08-10得票数 0
作为其执行器，我在管理日志方面遇到了一些麻烦 我正在使用elasticsearch进行远程日志记录(logstash+filebeat用于日志聚合) 我可以看到日志显示在我的elasticsearch集群中ui中查看日志 谁能告诉我我做错了什么？附录： 这是我的filebeat.yaml文件，它读取容器日志(使用官方的helm图表在k8s中部署为守护进程) filebeat.autodiscover:
浏览 34提问于2021-08-13得票数 0
在我从Helm stable/airflow代码库安装的Kubernetes上运行airflow命令时遇到困难。例如，我尝试执行调度器pod并运行airflow list，结果得到以下错误： airflow.exceptions.AirflowConfigException: error: cannot usesqlite with the KubernetesExecutor airlow 好的，我切换到芹菜执行器。同样的事情 airflow.excepti
浏览 37提问于2020-08-25得票数 2
回答已采纳
我在Airflow和kubernetes方面是新手。我已经按照这个指南部署了airflow：https://docs.bitnami.com/tutorials/deploy-apache-airflow-azure-postgresql-redis/我读到过celery executor创建静态工作者，kubernetes executor为每个任务创建一个pod。 我不知道的是我的芹菜执行器部署了多少工人，以及如何增加他们。
浏览 13提问于2020-09-05得票数 0
回答已采纳
4回答
我的气流服务是以kubernetes部署方式运行的，它有两个容器，一个用于webserver，一个用于scheduler。我正在使用KubernetesPodOperator运行一个带有in_cluster=True参数的任务，它运行良好，甚至可以显示kubectl logs pod-name和所有日志。但是，airflow-webserver无法获取日志：
*** Log file does not exist: /tmp/logs/dag_name/task_name/
浏览 2提问于2020-05-19得票数 4
回答已采纳
有没有办法不使用celery或kubernetes来运行工作流？Doc只指定了两种方式在多集群模式下运行。我不能再使用多个EC2实例来运行我的工作进程来进行计算吗？(不使用芹菜或kubernetes)。
浏览 39提问于2020-01-24得票数 0
由于执行上的一些限制，我们离开了气流1.10.0中的芹菜执行器，现在我们正在使用KubernetesExecutor。现在，我们无法并行化某些DAG中的所有任务，即使我们直接更改代码中的subdag_operator：
我们的期望是，通过这些修改和使用Kubernetes执行器，我们可以同时扇出所有任务的执行，但是我们有相同的
浏览 2提问于2018-09-03得票数 9
回答已采纳
1回答
我正在用CeleryExecutor运行Airflow，它们被打包并与舵图一起部署。我有一个工作者，我可以通过在yaml文件中指定副本的数量来放大/缩小。此工作线程以StatefulSet身份运行，默认情况下它使用airflow队列。是否可以为另一个worker创建另一个StatefulSet图表并指定队列名称？
浏览 0提问于2020-03-03得票数 0
import datetimefrom airflow.contrib.operators import kubernetes_pod_operator
task_id='my_taskUI的日志和存储存储桶的logs文件夹中收到以下错误消息。/a
浏览 0提问于2020-09-21得票数 0
我已经开始使用KubernetesExecutor，并使用AWS设置了一个PV/PVC来为我的dags存储日志。我还使用s3远程日志记录。当我执行到调度程序pod中时，当执行器pod正在运行时，由于共享的EFS，我能够看到当前正在运行的作业的.log文件。但是，当我cat日志文件时，只要执行器仍在运行，我就不会看到日志。但是，执行
浏览 3提问于2021-01-28得票数 1
我无法查看我在Kubernetes上部署的Airflow实例中记录的任何日志。目前正在使用Airflow 2.0.2发行版，并使用Kubernetes executor通过其最新的Helm图表进行安装。我还必须在helm文件中将"AIRFLOW__KUB
浏览 1提问于2021-07-01得票数 2
与测试Kubernetes env中的情况相同，但当我在那里触发DAG时，它会为DAG中的第一个任务创建pod，并立即从状态中删除该pod。Airflow UI具有该任务的空日志，因此无法检查导致问题的原因，并且依赖任务的其余部分将自动失败。:AIRFLOW__KUBERNETES__DAGS_VOLUME_CLAIM:AIRFLOW__KUBERNETES__LOGS_VOLUME_CLAIM:
air
浏览 22提问于2019-07-16得票数 2
我已经在现有的Airflow 2.0.0安装的基础上安装了Apache Spark provider，安装方法如下： pip install apache-airflow-providers-apache-spark' from 'apache-airflow-providers-apache-spark' package: name 'client' is not defined
[2021-01-19 18:49' from 'apache-airflow</
浏览 16提问于2021-01-20得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
