DAG运行成功，但在Airflow but服务器UI中，DAG不可用/在Google Cloud Composer中无法单击DAG
在Airflow中，DAG（Directed Acyclic Graph）是任务调度的基本单位，用于描述任务之间的依赖关系。当DAG运行成功后，但在Airflow的服务器UI中，DAG不可用或在Google Cloud Composer中无法单击DAG时，可能存在以下几种原因和解决方法：
- DAG状态问题：首先，确保DAG的状态是正常的。在Airflow的服务器UI中，可以查看DAG的状态，如是否处于"paused"（暂停）状态。如果是暂停状态，可以尝试将其恢复为"running"（运行）状态，以使DAG可用。
- DAG调度问题：检查DAG的调度时间是否正确配置。在Airflow中，可以通过修改DAG的调度时间表达式来调整任务的调度时间。确保调度时间表达式正确，并且没有与其他任务冲突。
- DAG依赖问题：确保DAG的依赖关系正确配置。在Airflow中，可以通过设置任务之间的依赖关系来确保它们按正确的顺序执行。检查DAG中任务之间的依赖关系，确保没有循环依赖或缺失的依赖关系。
- Airflow配置问题：检查Airflow的配置文件，确保相关配置正确设置。例如，检查是否正确配置了Airflow的数据库连接、调度器等参数。
- Google Cloud Composer配置问题：如果使用Google Cloud Composer，确保相关配置正确设置。检查Composer的环境配置、权限设置等，确保DAG在Composer中正常运行。
对于以上问题，腾讯云提供了一系列云原生产品和解决方案，可以帮助解决Airflow和DAG相关的问题。其中，腾讯云的Serverless Workflow服务可以用于构建和管理DAG，提供了可视化的工作流设计器和调度器，方便管理和监控任务的执行情况。您可以通过以下链接了解更多信息：
腾讯云Serverless Workflow产品介绍：https://cloud.tencent.com/product/swf
总结：当DAG在Airflow但服务器UI中不可用或在Google Cloud Composer中无法单击DAG时，可以通过检查DAG状态、调度时间、依赖关系以及Airflow或Composer的配置来解决问题。腾讯云的Serverless Workflow服务可以作为替代方案，提供更便捷的工作流管理和调度功能。
相关·内容
我正在尝试通过Google Cloud Composer的KubernetesPodOperator在从私有Google Container Registry中的图像构建的环境中运行任务。Container Registry和Cloud Composer实例在同一个项目下。我的代码如下。
import datetime
import airflow
from airflow.contrib.operators import kubernetes_pod_operator
YESTERDAY = datetime.datetime.now() - datetime.timedelta(day
浏览 0提问于2020-09-21得票数 0
我正在上使用气流(版本: composer-1.10.2- airflow -1.10.6)。
我意识到，当有许多任务要处理时，调度程序不会调度任务(参见下面的甘特视图)
(不要注意颜色，红色的任务是"createTable操作符“，如果表已经存在，就会失败，所以在下一部分(重要的部分)运行之前，它们必须失败5次)
任务之间有时间间隔！(例如，上午10时至下午15时5小时，什么也没有发生)
正常情况下，它可以很好地工作~40个DAG，每个任务约100到200个任务(有时更多)。但是最近我增加了两个DAG，它有很多任务(每个任务大约5000)，调度程序非常慢，或者没有调度任务。在屏
浏览 3提问于2020-06-04得票数 3
我使用来转换一些运行在AWS上的oozie工作流。成功地获得了第一个版本，但是当我试图上传DAG时，气流抛出一个错误：
坏掉的DAG:没有名为'o2a'的模块
我尝试过部署pypi包o2a，两者都使用命令
gcloud composer environments update composer-name --update-pypi-packages-from-file requirements.txt --location location
来自谷歌云控制台。都失败了。
requirements.txt
o2a==1.0.1
这是代码
from airflow impo
浏览 0提问于2020-04-30得票数 0
回答已采纳
我已经制作了一个DAG，它通过安装在MySQL上的Cloud SQL代理连接到Cloud SQL (SQL)。它读取表的列表并基于这些表生成多个任务。我已经成功地在本地计算机上的Airflow中运行了此DAG，但一旦我尝试将其部署为Cloud Composer实例，DAG似乎无法正确加载到Airflow Web UI中。DAG的唯一可用选项是刷新和删除，而不是所有其他选项。 调度器发现了DAG，我可以在日志中看到建立了到Cloud SQL的连接，正在检索表，但由于某种原因，Airflow web UI不喜欢它。日志中没有错误。 我知道这里描述的Composer的架构：https://clou
浏览 21提问于2019-09-21得票数 2
回答已采纳
我正在尝试使用Cloud Composer来运行我的工作流。我想使用Airflow v1.10提供的"GoogleCloudStorageToGoogleCloudStorageOperator“operator，但当前的cloud composer不支持它(它目前只支持Airflow v1.9 (2019/01/16))。 在Google's blog post的指导下，我自己将operator添加到了一个cloud composer环境中，直到几天前它还运行得很好。 然而，就目前而言，当我尝试创建一个新的cloud composer环境并部署以前工作良好的同一DAG时，我
浏览 65提问于2019-01-16得票数 1
我们在集成slack和Cloud composer时遇到了问题。SlackAPIPostOperator具有slackclient依赖项，我们使用以下命令将其直接安装在工作节点上： sudo python3 -m pip install apache-airflow[slack] 这将安装slack 1.3.2。 我们必须在工作节点上安装，因为Cloud composer UI上的pypi包安装选项反复超时。 模块导入语句在工作节点上工作得很好。但是，composer仍会报告损坏的DAG并显示错误消息：Broken DAG: [/home/airflow/gcs/dags/composer-
浏览 17提问于2021-04-16得票数 0
当我深入研究Composer、Airflow、引擎和Kubernetes的世界时，我还没有找到一个很好的答案来解释到底是什么使Cloud Composer比Helm和GKE更好。
以下是一些我发现的东西，可能是独特的作曲家，但似乎大部分似乎可以由GKE处理。
关于他们的
与Google产品的端到端集成，包括BigQuery、Dataflow、Dataproc、Datastore、Cloud、Pub/Sub和AI平台，使用户可以自由地完全编排他们的管道。
在页面上：
身份感知代理保护接口。
云编写器将云存储桶与环境关联起来。关联的桶存储环境的DAG、日志、自定义插件和数据。
浏览 2提问于2020-12-09得票数 0
我已经创建了一个dag，该dag在Airflow UI中可用，并将其打开以运行它。运行dag后，状态显示为可重试。在那之后，我去了服务器，使用了命令"Airflow scheduler“，然后dag就成功了。
在运行dag之前，调度程序已经启动并运行，我不确定为什么会发生这种情况。当我们创建一个新的dag时，我们需要运行气流调度器吗？想知道调度器是如何工作的。
谢谢
浏览 0提问于2020-05-20得票数 1
根据Cloud Composer文档，不支持Airflow RBAC功能。
我想知道是否有其他方法可以为访问Cloud Composer中的Airflow UI的用户启用DAG级别访问控制。
谢谢!
马可
浏览 4提问于2020-04-02得票数 1
1回答
云存储库导入错误
、、
我想创建一个气流DAG来将文件传输到云存储，但是我在导入Google库时遇到了问题。我想使用的库：
from airflow.providers.google.cloud.operators.gcs import GCSCreateBucketOperator, GCSDeleteBucketOperator
from airflow.providers.google.cloud.operators.gcs import GCSCreateBucketOperator
from airflow.providers.google.cloud.transfers.gcs_to_local impo
浏览 9提问于2022-11-09得票数 0
回答已采纳
我正在使用Composer来调度多个DAG。这些DAG是使用动态构建的，它们使用自定义插件。
我想知道如何在添加/修改涉及所有DAG的插件时继续(假设它为每个DAG添加了一个新任务)。
在这样做时，我们是否需要暂停所有正在运行的DAG？
到目前为止，我在添加/modifying插件时所做的是：
将插件上载到Composer集群的plugins桶中(使用gcloud命令)
在气流配置->中执行虚拟更新，向airflow.cfg添加一个虚拟值(使用gcloud命令)
我这样做是为了迫使DAG暂停，一旦更新完成，DAG就会被恢复，但是使用新的插件和新的任务(或者如果它不在这个d
浏览 3提问于2020-08-24得票数 0
我目前正在使用Airflow来运行一个有几个任务的DAG (比如dag.py)，然后，它有一个要执行的python脚本(通过bash_operator完成)。python脚本(比如report.py)基本上是从云(s3)位置获取数据作为数据帧，执行一些转换，然后通过电子邮件将它们作为报告发送出去。 但我遇到的问题是，每当airflow扫描存储库的更改时(即每隔2分钟)，Airflow基本上都在运行这个python脚本report.py。因此，脚本每2分钟运行一次(因此电子邮件每两分钟发送一次！)。 有没有解决这个问题的办法？除了bash运算符之外，我们还能使用其他东西吗(请记住，在发送报告之
浏览 19提问于2021-01-06得票数 0
我正在尝试通过Google Cloud Composer和KubernetesPodOperator在一个环境中运行一个Airflow任务，该环境是从一个私有的Google Container Registry中的图像构建的。Container Registry和Cloud Composer实例在同一个项目下，一切工作正常，直到我更新了DAG引用的镜像。 当我更新Container Registry中的镜像时，Cloud Composer继续使用过时的镜像。 具体地说，在以下代码中 import datetime
import airflow
from airflow.contrib.ope
浏览 21提问于2020-10-09得票数 0
我正在学习Apache气流，并尝试编写hello world版本的它。
我已经用python版本3.8和下面的包含dag和任务的代码安装了airflow版本2.0
import datetime
import logging
from airflow import DAG
from airflow.operators.python import PythonOperator
def greet_hello():
logging.info("Hello World")
dag = DAG("FirstDag", start_date=dateti
浏览 7提问于2021-02-07得票数 2
回答已采纳
我正在尝试设置一个DAG，它将响应云发布/订阅消息。它需要我在我的DAG代码中添加以下导入语句： from airflow.providers.google.cloud.operators.pubsub import (
PubSubCreateSubscriptionOperator, PubSubCreateTopicOperator, PubSubDeleteSubscriptionOperator,
PubSubDeleteTopicOperator, PubSubPublishMessageOperator,
)
from airflow.providers.google.clou
浏览 28提问于2020-01-30得票数 1
回答已采纳
import airflow
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from datetime import datetime, timedelta
from workflow.task import some_task
default_args = {
'owner': 'airflow',
'depends_on_past': False,
'email': ['
浏览 0提问于2018-11-05得票数 1
回答已采纳
1回答
我正在尝试创建一个DAG，它基于存储中的JSON文件动态地生成任务。我一步一步地遵循这个指南：
但是DAG会被以下消息卡住：
是否可以读取外部文件并使用它在Composer中动态创建任务？当我只从一个气流变量读取数据时，我可以这样做，但是当我读取一个外部文件时，守护进程会陷入isn't available in the web server's DagBag object状态。我需要从外部文件中读取，因为JSON的内容在每次执行时都会发生变化。
我正在使用composer-1.8.2-airflow-1.10.2。
我读到了一个类似问题的答案：
但是，我并不试图根
浏览 1提问于2020-01-10得票数 1
我在Google Cloud上使用Cloud Composer (Apache Airflow)。我们的一些进程需要比Composer的默认节点池更多的资源，因此我在集群中创建了一个额外的节点池。资源密集型DAG使用KubernetesPodOperator，并通过affinity={ nodeAffinity...}属性专门针对特殊节点池。 我的问题是，自从创建新的节点池以来，我已经注意到我的所有工作负载都安排在这个新的池上。如何保持正常工作负载在默认池上运行，同时为特殊使用情形保留新节点池？ 下面是一个针对特殊池的KubernetesPodOperator定义示例。常规Kubernete
浏览 10提问于2020-01-04得票数 0
3回答
关于“动态任务”的其他问题似乎解决了在计划或设计时动态构建DAG的问题。我对在执行过程中将任务动态添加到DAG很感兴趣。
from airflow import DAG
from airflow.operators.dummy_operator import DummyOperator
from airflow.operators.python_operator import PythonOperator
from datetime import datetime
dag = DAG('test_dag', description='a test',
浏览 2提问于2018-02-03得票数 21
回答已采纳
我想知道airflow backfill到底是如何工作的，因为它可以帮助解释我在气流方面遇到的一些问题。它是否只是启动了某种调度器进程，而不考虑其余的DAG，并覆盖了start_date和end_date？或者不仅仅是这样？ 我的用例:有时我想为一个DAG重新运行一周，通常是当我向其添加一些新功能时。为此，我使用CLI (airflow clear)清除所需日期的任务实例。但有时，我可能会改变主意，认为这周不是重新运行的合适时机。因此，我暂停了DAG，并使用命令airflow backfill -m将清除的任务实例设置为成功。 当我这样做的时候，相关的任务实例会处于关于catchup=Tru
浏览 16提问于2019-06-22得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
