我正在尝试设置一个DAG，它将响应云发布/订阅消息。它需要我在我的DAG代码中添加以下导入语句： from airflow.providers.google.cloud.operators.pubsub import (PubSubDeleteTopicOperator, PubSubPu
浏览 28提问于2020-01-30得票数 1
回答已采纳
我正在尝试使用Cloud Composer来运行我的工作流。我想使用Airflow v1.10提供的"GoogleCloudStorageToGoogleCloudStorageOperator“operator，但当前的cloud composer不支持它(它目前只支持在Google's blog post的指导下，我自己将operator添加到了一个cloud</em
浏览 65提问于2019-01-16得票数 1
我正在尝试通过Google Cloud Composer和KubernetesPodOperator在一个环境中运行一个Airflow任务，该环境是从一个私有的Google Container RegistryContainer Registry和Cloud Composer实例在同一个项目下，一切工作正常，直到我更新了DAG引用的镜像。当我更新Container Registry
浏览 21提问于2020-10-09得票数 0
我是google cloud composer的新手。我在谷歌云计算引擎中有一些代码，例如: test.py 目前，我使用Jenkins作为我的调度器--我运行的代码如下 echo "cd /home/user/src/digital_platform &&/home/user/venvs/bdp/bin/python -m test.test.
浏览 29提问于2019-06-19得票数 0
我们在集成slack和Cloud composer时遇到了问题。SlackAPIPostOperator具有slackclient依赖项，我们使用以下命令将其直接安装在工作节点上： sudo python3 -m pip install apache-airflow我们必须在工作节点上安装，因为Cloud composer UI上的pypi包安装选项反复超时。 模块导入语句在工作节点上工作得很好。但是，composer</em
浏览 17提问于2021-04-16得票数 0
我有一个Google Cloud Composer1环境(Airflow 2.1.2)，我想在其中运行一个利用KubernetesPodOperator的Airflow DAG。Cloud Composer makes available到所有DAG一个用于存储应用程序数据的共享文件目录。目录中的文件驻留在由Composer管理的</em
浏览 20提问于2021-11-04得票数 2
我在google composer (airflow)中有一个导入的DAG："ImportError:没有名为sensors.base_sensor_operator的模块“
基本上，我想在执行其他操
浏览 5提问于2018-08-23得票数 1
我试图从GCS中的CSV文件中加载数据，但是在气流中没有预定义的操作符。我使用PSQL钩子和GCS文件读取器构建了一个简单的操作符，但我想知道是否有更好的解决方案，因为现在自定义操作符的工作方式是在一个循环中逐行运行，一个接一个地使用打开的GCS文件的一系列“插入”语句。
浏览 12提问于2022-08-11得票数 1
回答已采纳
1回答
我需要使用存储库文件夹名运行DAG，并且需要从部署的另一个路径存储库中调用另一个目录中的其他模块。因此，我有一个cloudbuild.yaml，它可以将脚本部署到DAG文件夹和Plugins文件夹中，但我仍然不知道如何从上的另一个路径获取其他模块。，我得到了一个错误，显示如下
Broken DAG: [/home/airflow/gcs/da
浏览 7提问于2022-11-16得票数 0
我想从airflow.providers.google.cloud.sensors.bigquery导入BigQueryTableExistenceAsyncSensorfrom airflowwith other DAGBigQueryTableExistenceAsyncS
浏览 12提问于2022-10-25得票数 0
回答已采纳
1回答
作曲家版本作曲家-2.0.25-气流-2.2.5
“来自服务器的错误(禁止)：事件被禁止:用户"xxxxx.iam.gserviceaccount.com‘不能在API组”2-2-5-11111111“中列出资源" events”：GKEAutopilot authz:在启用策略执行之前发送请求“时间戳：'2022-10-07T15:48:08.834865950Z”编写器
浏览 7提问于2022-10-07得票数 0
我正在尝试通过Google Cloud Composer的KubernetesPodOperator在从私有Google Container Registry中的图像构建的环境中运行任务。Container Registry和Cloud Composer实例在同一个项目下。我的代码如下。airflow.DAG(
浏览 0提问于2020-09-21得票数 0
我在datastore_export_operator.DatastoreExportOperator任务下运行airflow DAG时收到权限错误。airflow环境是使用google composer创建的，并具有默认的google_cloud_datastore_default连接，但我仍然收到这个错误：
[2019-07-19 01:08:36,618=json retur
浏览 10提问于2019-07-19得票数 0
我正在尝试在GCP cloud composer airflow实例上的DAG中运行单个任务，并将dag中的所有其他任务都标记为成功。然而，下面的airflow命令似乎对我在cloud composer上不起作用。
有人知道下面的gcloud cli命令出了什么问题吗？dag_id: "airflow
浏览 0提问于2020-07-04得票数 0
我有一个cloud composer环境： resource "google_composer_environment" "default" { regionresource "google_cloudfunctions_function" "trigger_dag" {
name = "trigger_dag</e
浏览 22提问于2020-12-12得票数 0
回答已采纳
1回答
云存储库导入错误
、、
我想创建一个气流DAG来将文件传输到云存储，但是我在导入Google库时遇到了问题。我想使用的库：
from airflow.providers.google.cloud.operators.gcs import GCSCreateBucketOperator, GCSDeleteBucketOperatorfrom airflow.providers.google.cloud.operators.
浏览 9提问于2022-11-09得票数 0
回答已采纳
我无法导入语句，因为- from airflow.contrib.operators.gcp_sql_operator import CloudSqlQueryOperator 我想将其导入我的DAG文件中，该文件将在版本为1.10.0而不是1.9.0的cloud composer airflow中运行。这里，我尝试将gcs_to_gcs导入为- from airflow<
浏览 23提问于2019-04-09得票数 0
运行几天后，Google Cloud Composer web UI无限期地返回502服务器错误：The server encountered a temporary修复它的唯一方法是重新创建Composer环境。不过，在运行了几天之后，新的环境崩溃了，并出现了相同的错误。Image version: composer-1.4.0-airflow-1.10.
浏览 3提问于2018-12-16得票数 4
1回答
至于文档，气流工作节点来自一个专门的kubernetes集群：我有一个码头包含ETL步骤，我想运行使用气流，最好在相同的Kubernetes，是托管的工人或在一个专门的集群。从Composer气流环境启动Docker Operation的最佳实践是什么？
务实的解决方案是❤️
浏览 0提问于2018-07-05得票数 8
回答已采纳
我正要写一篇关于Google Cloud Composer的论文，我遇到了一些不确定因素。 在Google Cloud Composer中，DAG是用python编写的。那么，这是否意味着我只能运行python函数，或者我也可以调用保存在google云中的java函数？ 如果我继续使用python，是否所有内容都必须放在一个文件中？我猜这是一个微
浏览 12提问于2021-05-11得票数 0
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
