我刚刚在Python3和Composer image版本composer-1.4.0-airflow-1.10.0上设置了一个Cloud Composer Environment。它在我的本地Airflow服务器上运行没有问题，但在Cloud Composer上，web服务器的任务信息视图显示消息Dependencies Blocking <em
浏览 19提问于2018-12-20得票数 3
我正在尝试通过Google Cloud Composer和KubernetesPodOperator在一个环境中运行一个Airflow任务，该环境是从一个私有的Google Container RegistryContainer Registry和Cloud Composer实例在同一个项目下，一切工作正常，直到我更新了DAG引用的镜像。当我更新Container Registry中的镜像时，Cloud Co
浏览 21提问于2020-10-09得票数 0
我有一个Google Cloud Composer1环境(Airflow 2.1.2)，我想在其中运行一个利用KubernetesPodOperator的Airflow DAG。Cloud Composer makes available到所有DAG一个用于存储应用程序数据的共享文件目录。目录中的文件驻留在由Composer管理的Google Cloud Stor
浏览 20提问于2021-11-04得票数 2
1回答
至于文档，气流工作节点来自一个专门的kubernetes集群：我有一个码头包含ETL步骤，我想运行使用气流，最好在相同的Kubernetes，是托管的工人或在一个专门的集群。从Composer气流环境启动Docker Operation的最佳实践是什么？
务实的解决方案是❤️
浏览 0提问于2018-07-05得票数 8
回答已采纳
基本上我的问题是这样的。我有一些文件到达谷歌云存储。同一DAG中的多个文件。当文件到达时，我需要触发一个转换作业。我在考虑使用云函数。但是在我的DAG中有很多依赖的工作。
任何帮助我们都将不胜感激
浏览 0提问于2020-04-30得票数 2
我使用PSQL钩子和GCS文件读取器构建了一个简单的操作符，但我想知道是否有更好的解决方案，因为现在自定义操作符的工作方式是在一个循环中逐行运行，一个接一个地使用打开的GCS文件的一系列“插入”语句。
浏览 12提问于2022-08-11得票数 1
回答已采纳
我正在尝试通过Google Cloud Composer的KubernetesPodOperator在从私有Google Container Registry中的图像构建的环境中运行任务。Container Registry和Cloud Composer实例在同一个项目下。我的代码如下。import datetimefrom airflow.contrib.operators impo
浏览 0提问于2020-09-21得票数 0
我在google composer (airflow)中有一个导入的DAG："ImportError:没有名为sensors.base_sensor_operator的模块“
浏览 5提问于2018-08-23得票数 1
我正在尝试在GCP cloud composer airflow实例上的DAG中运行单个任务，并将dag中的所有其他任务都标记为成功。然而，下面的airflow命令似乎对我在cloud composer上不起作用。tas
浏览 0提问于2020-07-04得票数 0
下面的Airflow DAG(Cloud Composer)被消息卡住：{gcp_dataflow_hook.py:121} INFO - Running command /home/airflow/gcs/dags/dataflow/pyfile.py --runner DataflowR
浏览 0提问于2020-12-29得票数 0
下面是airflow DAG代码。无论是在本地托管airflow时，还是在cloud composer上，它都能完美运行。但是，无法在Composer UI中单击DAG本身。import airflow
from airflow.operators.dummy_operator
浏览 13提问于2019-03-28得票数 1
回答已采纳
我从SP中提取了相同的SQL，并将其放入文件中，运行良好。 task_id
浏览 10提问于2022-06-30得票数 0
回答已采纳
我在datastore_export_operator.DatastoreExportOperator任务下运行airflow DAG时收到权限错误。airflow环境是使用google composer创建的，并具有默认的google_cloud_datastore_default连接，但我仍然收到这个错误：
[2019-07-19 01:08:36,618from airflow import DAG</
浏览 10提问于2019-07-19得票数 0
我正在使用Google Cloud Composer开发Airflow。下面是dag文件： from airflow import DAGfrom datetime='hello_world',
bash_command='python3
浏览 17提问于2019-01-11得票数 0
回答已采纳
我正在尝试使用Cloud Composer来运行我的工作流。我想使用Airflow v1.10提供的"GoogleCloudStorageToGoogleCloudStorageOperator“operator，但当前的cloud composer不支持它(它目前只支持在Google's blog post的指导下，我自己将operator添加到了一个cloud composer环境中，直到几天前它还运行
浏览 65提问于2019-01-16得票数 1
from google.cloud import storage
BUCKET = 'bucket-name'
from datetime import dateti
浏览 43提问于2021-01-07得票数 0
当我尝试使用GoogleCloudStorageToBigQueryOperator从cloud composer运行DAG时，我得到一个错误。连接器Id My_Cloud_Storage Conn类型Google云平台 项目Id xxxxxx 密钥文件路径/home/airflow/gcs/data/xxx.json 密钥文件JSON 作用域datetime
from airflow</em
浏览 110提问于2019-03-20得票数 0
例如GCS中的，file1: gs://landing-gcp-cloud-12gd45/file1/file1.csvfile2: gs://landing-gcp-cloud-12gd45/file2.csv
file3: gs://landing-gcp-cloud-12gd45/file3/file3.txt
浏览 28提问于2022-06-13得票数 0
1回答
我发现是非常有希望的托管Airflow服务，但我不知道如何使用Composer使用PySpark代码执行管道。我能够安装其他Python软件包，例如Pandas，并使用Composer。
浏览 1提问于2021-07-03得票数 1
回答已采纳
我需要使用Composer (气流)这样做，到目前为止，我使用的是一个不工作的脚本，如：import airflowfromairflow.operators.dummy import DummyOperator
from airflow.providers.google.cloud.transfers.sheets
浏览 7提问于2022-03-30得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
