下面是我的默认参数以及开始日期和计划间隔，后面是dag定义。如果手动触发，一切都会正常工作。但是我的Dag脚本都没有按照预定的时间运行。default_args = { 'start_date': datetime(2019,8,31), 'email&#
浏览 10提问于2019-09-02得票数 0
2回答
在google环境中，有选项卡监控，它包含环境概述部分，第一个度量标准是环境健康。环境健康--显示编写器部署的运行状态的时间线。绿色状态并不意味着所有气流部件都可以运行，DAG也可以运行--它只反映了作曲家部署的状态。
但不确定环境有什么问题，以及当它发生时如何修复它。即使我的环境健康显示不健康，所有其他指标都是健康的，甚至气流也在<e
浏览 0提问于2021-04-02得票数 2
回答已采纳
我有一个Google Cloud Composer1环境(Airflow 2.1.2)，我想在其中运行一个利用KubernetesPodOperator的Airflow DAG。目录中的文件驻留在由Composer管理的Google Cloud Storage存储桶中。Composer使用FUSE将目录映射到其所有Airflow worker pods上<
浏览 20提问于2021-11-04得票数 2
我正在尝试使用Cloud Composer来运行我的工作流。我想使用Airflow v1.10提供的"GoogleCloudStorageToGoogleCloudStorageOperator“operator，但当前的cloud composer不支持它(它目前只支持在Google's blog post的指导下，我自己将operator添加到了一个cloud composer环境中，直到几天
浏览 65提问于2019-01-16得票数 1
我是google cloud composer的新手。我在谷歌云计算引擎中有一些代码，例如: test.py 目前，我使用Jenkins作为我的调度器--我运行的代码如下 echo "cd /home/user/src/digital_platform &&/home/user/venvs/bdp/bin/python -m test.test.test"
浏览 29提问于2019-06-19得票数 0
我正在尝试通过Google Cloud Composer和KubernetesPodOperator在一个环境中运行一个Airflow任务，该环境是从一个私有的Google Container RegistryContainer Registry和Cloud Composer实例在同一个项目下，一切工作正常，直到我更新了DAG引用的镜像。当我更新Container Registry中的镜像时，Cloud Composer</e
浏览 21提问于2020-10-09得票数 0
我有一个运行在Google Cloud Composer上的DAG。这个DAG在我们的BigQuery之上执行一些操作(我们使用的是airflow.contrib.operators.bigquery_operator.BigQueryOperator)如果DAG中有故障
浏览 34提问于2021-06-21得票数 0
回答已采纳
我正在尝试在GCP cloud composer airflow实例上的DAG中运行单个任务，并将dag中的所有其他任务都标记为成功。然而，下面的airflow命令似乎对我在cloud composer上不起作用。task_id
浏览 0提问于2020-07-04得票数 0
我有一个cloud composer环境： resource "google_composer_environment" "default" { regionresource "google_cloudfunctions_function" "trigger_dag" {
浏览 22提问于2020-12-12得票数 0
回答已采纳
1回答
我试图在环境中运行气流测试cli，但是它不起作用。这是我运行的命令：输出：
ERROR: (gcloud.beta.compos
浏览 0提问于2018-05-08得票数 1
回答已采纳
有没有办法将现有的Airflow实例迁移到Google Cloud Composer上？
我们目前正在使用postgres for the db运行我们自己的Airflow实例。理想情况下，我们能够保留DAG的现有历史，我认为这需要复制整个数据库。这个是可能的吗？
浏览 1提问于2018-06-16得票数 5
我正要写一篇关于Google Cloud Composer的论文，我遇到了一些不确定因素。 在Google Cloud Composer中，DAG是用python编写的。那么，这是否意味着我只能运行python函数，或者我也可以调用保存在google云中的java函数？ 如果我继续使用python，是否所有内容都必须放在一个文件中？我猜这是一个微不足道的问题，但在所有来自GCC的例
浏览 12提问于2021-05-11得票数 0
1回答
我正在尝试创建一个DAG，它基于存储中的JSON文件动态地生成任务。我一步一步地遵循这个指南：
是否可以读取外部文件并使用它在Composer中动态创建任务？我需要从外部文件中读取，因为JSON的内容在每次执行时都会发生变化。
但是，我并不试图根据一个单独的任务创建任务，而只是基于外部文件。这
浏览 1提问于2020-01-10得票数 1
2回答
我创建了一个DAG，它每周运行一次。下面是我尝试过的内容，它正在如预期的那样工作。from datetime import datetime, timedeltafrom airflow.operators.bash_operator，它运行在27(即脚本中的20 )上。由于需求有变化，现在我将开始日期更新为30 (即脚本中的23 )，而不是27(我
浏览 2提问于2020-12-30得票数 3
回答已采纳
我刚刚在Python3和Composer image版本composer-1.4.0-airflow-1.10.0上设置了一个Cloud Composer Environment。否则，所有设置都是“常用的”；即没有配置覆盖。
我正在尝试测试一个非常简单的DAG。它在我的本地Airflow服务器上运行没有问题，但在Cloud Composer上，
浏览 19提问于2018-12-20得票数 3
下面是airflow DAG代码。无论是在本地托管airflow时，还是在cloud composer上，它都能完美运行。但是，无法在Composer UI中单击DAG本身。我找到了一个类似的问题，并尝试了中链接的被接受的答案。我的问题与此类似。import airflow
from ai
浏览 13提问于2019-03-28得票数 1
回答已采纳
肯定是遗漏了什么，需要一些快速的帮助！
简单地说，如何将Docker镜像部署到Airflow DAG以运行作业？有没有人有部署Google容器并通过Airflow/Composer运行它的简单示例？
浏览 0提问于2018-06-02得票数 3
我在google composer (airflow)中有一个导入的DAG："ImportError:没有名为sensors.base_sensor_operator的模块“
基本上，我想在执行其他操作之前检查存储桶中是否存在文件。下面
浏览 5提问于2018-08-23得票数 1
2回答
我喜欢从composer中重新运行或运行DAG，下面的命令是我所使用的，但是也有一些类似的例外。Executing within the following Kubernetes cluster namespace: composer-1-7-7-airflow-1-10-1-db7ea92fusage: airflow [-h]
{backfill,l
浏览 13提问于2020-07-14得票数 0
回答已采纳
我正在尝试通过Google Cloud Composer的KubernetesPodOperator在从私有Google Container Registry中的图像构建的环境中运行任务。Container Registry和Cloud Composer实例在同一个项目下。我的代码如下。= datetime.datetime.now() - datetime.timedelta(days=1)
# Create Airfl
浏览 0提问于2020-09-21得票数 0
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
