我是google cloud composer的新手。我在谷歌云计算引擎中有一些代码，例如: test.py 目前，我使用Jenkins作为我的调度器--我运行的代码如下 echo "cd /home/user/src/digital_platform &&/home/user/venvs/bdp/bin/python -m test.test.test" | ssh u
浏览 29提问于2019-06-19得票数 0
我正在尝试使用Cloud Composer来运行我的工作流。我想使用Airflow v1.10提供的"GoogleCloudStorageToGoogleCloudStorageOperator“operator，但当前的cloud composer不支持它(它目前只支持在Google's blog post的指导下，我自己将operator添加到了一个cloud composer环境中<
浏览 65提问于2019-01-16得票数 1
运行几天后，Google Cloud Composer web UI无限期地返回502服务器错误：The server encountered a temporary修复它的唯一方法是重新创建Composer环境。不过，在运行了几天之后，新的环境崩溃了，并出现了相同的错误。Image version: composer-1.4.0-airflow-1.10.0
Python
浏览 3提问于2018-12-16得票数 4
我刚刚在Python3和Composer image版本composer-1.4.0-airflow-1.10.0上设置了一个Cloud Composer Environment。它在我的本地Airflow服务器上运行没有问题，但在Cloud Composer上，web服务器的任务信息视图显示消息Dependencies Blocking Task From Getting Sch
浏览 19提问于2018-12-20得票数 3
下面是airflow DAG代码。无论是在本地托管airflow时，还是在cloud composer上，它都能完美运行。但是，无法在Composer UI中单击DAG本身。我找到了一个类似的问题，并尝试了中链接的被接受的答案。我的问题与此类似。(task_id= "stop", d
浏览 13提问于2019-03-28得票数 1
回答已采纳
我有一个Google Cloud Composer1环境(Airflow 2.1.2)，我想在其中运行一个利用KubernetesPodOperator的Airflow DAG。Cloud Composer makes available到所有DAG一个用于存储应用程序数据的共享文件目录。目录中的文件驻留在由Composer管理的Google Cloud<
浏览 20提问于2021-11-04得票数 2
同一DAG中的多个文件。当文件到达时，我需要触发一个转换作业。我在考虑使用云函数。但是在我的DAG中有很多依赖的工作。
任何帮助我们都将不胜感激
浏览 0提问于2020-04-30得票数 2
2回答
在google环境中，有选项卡监控，它包含环境概述部分，第一个度量标准是环境健康。环境健康--显示编写器部署的运行状态的时间线。绿色状态并不意味着所有气流部件都可以运行，DAG也可以运行--它只反映了作曲家部署的状态。
但不确定环境有什么问题，以及当它发生时如何修复它。即使我的环境健康显示不健康，所有其他指标都是健康的，甚至气流也在运行。那么，请您解释一下，这种不健康的状
浏览 0提问于2021-04-02得票数 2
回答已采纳
我正在尝试在GCP cloud composer airflow实例上的DAG中运行单个任务，并将dag中的所有其他任务都标记为成功。然而，下面的airflow命令似乎对我在cloud composer上不起作用。
有人知道下面的gcloud cli命令出了什么问题吗？dag_id: "airflow
浏览 0提问于2020-07-04得票数 0
1回答
我正在尝试创建一个DAG，它基于存储中的JSON文件动态地生成任务。我一步一步地遵循这个指南：
是否可以读取外部文件并使用它在Composer中动态创建任务？我需要从外部文件中读取，因为JSON的内容在每次执行时都会发生变化。import datetime
import airf
浏览 1提问于2020-01-10得票数 1
我试图将一个新的DAG添加到我们的Google Cloud Composer实例中-我们目前有32+ DAG-在中执行常规操作似乎没有任何效果-我们在we服务器/UI中看不到这些DAG，也看不到它们必须被加载我确实看到它们被复制到日志中适当的存储桶中，但除此之外什么也没有。
我甚至尝试设置一个虚拟环境变量来启动Composer<
浏览 9提问于2020-03-11得票数 1
回答已采纳
我正要写一篇关于Google Cloud Composer的论文，我遇到了一些不确定因素。 在Google Cloud Composer中，DAG是用python编写的。那么，这是否意味着我只能运行python函数，或者我也可以调用保存在google云中的java函数？ 如果我继续使用python，是否所有内容都必须放在一个文件中？我猜这是一个微不足道的问题，但在
浏览 12提问于2021-05-11得票数 0
我正在尝试设置一个DAG，它将响应云发布/订阅消息。它需要我在我的DAG代码中添加以下导入语句： from airflow.providers.google.cloud.operators.pubsub import (PubSubDeleteTopicOperator, PubSubPublishMessageOperat
浏览 28提问于2020-01-30得票数 1
回答已采纳
我已经制作了一个DAG，它通过安装在MySQL上的Cloud SQL代理连接到Cloud SQL (SQL)。它读取表的列表并基于这些表生成多个任务。我已经成功地在本地计算机上的Airflow中运行了此DAG，但一旦我尝试将其部署为Cloud Composer实例，DAG似乎无法正确加载到Airflow Web UI中<
浏览 21提问于2019-09-21得票数 2
回答已采纳
我在datastore_export_operator.DatastoreExportOperator任务下运行airflow DAG时收到权限错误。airflow环境是使用google composer创建的，并具有默认的google_cloud_datastore_default连接，但我仍然收到这个错误：
[2019-07-19 01:08:36,618alt=json returned "The caller doe
浏览 10提问于2019-07-19得票数 0
我有一个cloud composer环境： resource "google_composer_environment" "default" { region= { }
浏览 22提问于2020-12-12得票数 0
回答已采纳
当调度器执行DAG时，它进入running状态，但DAG中的所有任务都没有任何状态。但是，如果手动执行相同的queued->running->success (单击Trigger Dag按钮)，则任务将变为DAG。我试图检查"Cloud Composer Environment“的Stackdriver日志-但没有发现任何可疑的日志条目。我还检查了airflow UI中的任务日
浏览 10提问于2020-02-23得票数 1
回答已采纳
我正在尝试通过Google Cloud Composer和KubernetesPodOperator在一个环境中运行一个Airflow任务，该环境是从一个私有的Google Container RegistryContainer Registry和Cloud Composer实例在同一个项目下，一切工作正常，直到我更新了DAG引用的镜像。当我更新Container Registry
浏览 21提问于2020-10-09得票数 0
我正在尝试读取google云存储桶中的所有文件夹。我有一个GCS存储桶/根文件夹路径。我正在尝试读取根文件夹中的所有子文件夹，并为每个文件夹执行一项任务。from google.cloud import storage
BUCKET = 'bucket-name'
PROJECT = 'project-nameUI不会显示图形。如果我尝试单击某个dag名称，
浏览 43提问于2021-01-07得票数 0
我正在尝试通过Google Cloud Composer的KubernetesPodOperator在从私有Google Container Registry中的图像构建的环境中运行任务。Container Registry和Cloud Composer实例在同一个项目下。我的代码如下。airflow.DAG(
'my_dag'
浏览 0提问于2020-09-21得票数 0
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
