我正在尝试挂载dags文件夹,以便能够在Aiflow上的KubernetesPodOperator中运行python脚本,但我不知道怎么做。在生产中,我想在谷歌作曲家。这是我的任务: task_id='pod-ex-minimum', arguments=["cd /usr/local/tmp"], ima
我正在使用官方的舵机图表。因此,问题是,我使用气流UI定义了一个连接ID,连接ID适用于每次运行时成功执行的任务。但是,没有将日志写入GCS。alt=media: Caller does not have storage.objects.get access to the Google Cloud Storage object.: ('Request= False
remote_base_log_folder = gs://airflow_logs_marin/airflow/logs
尝试使用Python来获取和迭代我拥有的云存储桶中的所有文件。我正在使用官方图书馆,google-cloud-storage。使用gsutil,我可以运行像gsutil ls gs://my-composer-bucket/dags/composer_utils/这样的命令。google-cloud-storage库是否提供了与gsutil ls等效的方法?我想使用P