腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
我
可以
在
cloud
composer
DAG
中
执行
python
脚本
吗
?
python
、
directed-acyclic-graphs
、
google-cloud-composer
(
cloud
composer
的第一次用户)
我
见过的所有示例都在
DAG
中
定义了非常简单的
python
函数。
我
有多个冗长的
python
脚本
要运行。
我
可以
将这些放入任务
中
吗
?例如像这样的 default_
dag
-args ={} with models.
DAG
('jobname', schedule_inte
浏览 17
提问于2021-07-24
得票数 2
回答已采纳
1
回答
如何从GCP
Cloud
shell连接到
composer
dag
文件夹
google-cloud-platform
、
cloud
、
google-cloud-composer
我
是GCP的新手。浏览了gcp、
composer
和
cloud
shell上的不同文档,但找不到
可以
将
cloud
shell环境连接到
composer
DAG
文件夹的位置。现在,
我
正在云shell (本地系统)之外创建
python
脚本
,手动上传到
DAG
文件夹,但我只想在云shell上
执行
此操作。有谁能告诉
我
上面的方向
吗
?此外,当我尝试
在</
浏览 0
提问于2021-04-20
得票数 0
1
回答
云编写器bashoperator的
python
脚本
路径计算引擎
google-cloud-platform
、
airflow
、
google-compute-engine
、
google-cloud-composer
我
第一次
在
GCP上工作,
我
试图使用bashoperator
在
计算引擎上
执行
python
脚本
。
我
将
python
脚本
存储
在
composer
脚本
所在的桶
中
,但是当我试图运行bashoperator时,它会抛出一个错误文件,找不到。
我
能知道应该把
python
脚本
放在哪里,以便在计算引擎上
执行<
浏览 1
提问于2022-10-31
得票数 0
回答已采纳
1
回答
Google
Cloud
Composer
:关于语言和工作流程的问题
google-cloud-platform
、
workflow
、
google-cloud-composer
我
正要写一篇关于Google
Cloud
Composer
的论文,
我
遇到了一些不确定因素。
在
Google
Cloud
Composer
中
,
DAG
是用
python
编写的。那么,这是否意味着
我
只能运行
python
函数,或者
我
也
可以
调用保存在google云中的java函数? 如果
我
继续使用
python
,是否所有内容
浏览 12
提问于2021-05-11
得票数 0
1
回答
用存储路径云编写器
DAG
构造文件夹路径
python
、
google-cloud-storage
、
airflow
、
google-cloud-composer
我
需要使用存储库文件夹名运行
DAG
,并且需要从部署的另一个路径存储库
中
调用另一个目录
中
的其他模块。因此,
我
有一个cloudbuild.yaml,它
可以
将
脚本
部署到
DAG
文件夹和Plugins文件夹
中
,但我仍然不知道如何从上的另一个路径获取其他模块。这是
我
的桶存储路径 dags/ github_
浏览 7
提问于2022-11-16
得票数 0
1
回答
在
Google
Cloud
Composer
airflow环境
中
执行
R
脚本
google-cloud-platform
、
airflow-scheduler
、
google-cloud-composer
我
想在Google
Cloud
Composer
环境
中
从
dag
执行
R
脚本
。如何在
Composer
中
安装R并运行R
脚本
?
浏览 17
提问于2018-09-04
得票数 1
1
回答
Cloud
composer
rosbag BashOperator
airflow
、
etl
、
google-cloud-composer
我
有一个
在
虚拟机
中
运行的airflow
dag
,但是为了促进事件驱动触发,
我
正在尝试
在
GCP
中
设置
cloud
composer
。然而,
我
只
在
cloud
composer
中看到了安装pypi包的选项。
我
需要rosbag包来运行
我
的bash
脚本
,
在
cloud
compo
浏览 28
提问于2021-09-21
得票数 1
1
回答
设置
Cloud
Function
在
Terraform
中
触发
Cloud
Composer
DAG
google-cloud-functions
、
terraform
、
google-cloud-composer
、
terraform-provider-gcp
我
有一个
cloud
composer
环境: resource "google_
composer
_environment" "default" { regionresource "google_cloudfunctions_function" "trigger_
dag
" {
浏览 22
提问于2020-12-12
得票数 0
回答已采纳
1
回答
使用Terraform
中
的
python
将csv数据加载到bigquery
google-cloud-platform
、
terraform
、
terraform-provider-gcp
读取csv文件并通过数据流将其加载到bigquery -为此使用
python
编码,而不是模板-如何使用terraform(GCP)帮助
执行
此任务
我
试着去做,但不知道
我
应该为它写什么地形
脚本
。
浏览 14
提问于2022-11-13
得票数 0
2
回答
在
composer
中
运行gcs_to_bq时,获取*任务实例在数据库
中
不存在时出错
airflow
、
google-cloud-composer
在
使用
cloud
-
composer
执行
以下
python
脚本
时,
我
在
Airflow代码
中
的gcs2bq任务日志下获得了*** Task instance did not exist in the DB:
Cloud
Storage bucket.] '
composer
_agg_quickstart',
浏览 0
提问于2018-11-19
得票数 0
2
回答
客户端:如何列出云存储桶
中
的文件?
python
、
google-cloud-platform
、
google-cloud-storage
尝试使用
Python
来获取和迭代
我
拥有的云存储桶
中
的所有文件。
我
正在使用官方图书馆,google-
cloud
-storage。使用gsutil,
我
可以
运行像gsutil ls gs://my-
composer
-bucket/dags/
composer
_utils/这样的命令。google-
cloud
-storage库是否提供了与gsutil ls等效的方法?
我
浏览 0
提问于2019-04-11
得票数 0
回答已采纳
2
回答
Kubernetes google
cloud
composer
with gitlab ci yaml文件
gitlab-ci-runner
、
google-kubernetes-engine
、
google-cloud-composer
我
正在部署gitlab CI管道,以触发google
cloud
composer
DAG
。下面是
我
写的.yaml:- deploy stage: deploy script: - apt-getenvironments run ${
COMPOSER
_ENVIRONMENT} --location ${ENVIRONMENT_LOCATION} tri
浏览 0
提问于2018-10-05
得票数 1
1
回答
Airflow
DAG
未在Google
Cloud
Composer
上运行:"Dependencies Blocking Task From not“
google-cloud-platform
、
airflow
、
airflow-scheduler
、
google-cloud-composer
我
刚刚在
Python
3和
Composer
image版本
composer
-1.4.0-airflow-1.10.0上设置了一个
Cloud
Composer
Environment。它在
我
的本地Airflow服务器上运行没有问题,但在
Cloud
Composer
上,web服务器的任务信息视图显示消息Dependencies Blocking Task From Getting Scheduled无论任务是按计划运行,还是
在</e
浏览 19
提问于2018-12-20
得票数 3
3
回答
从
Cloud
Function的文件到达事件触发
composer
DAG
上的任务
google-cloud-functions
、
airflow
、
google-cloud-composer
云函数是否
可以
触发气流任务?任何帮助我们都将不胜感激
浏览 0
提问于2020-04-30
得票数 2
1
回答
如何获得存储
在
DAG
文件夹
中
的
python
脚本
中
运行的
composer
气流的
DAG
列表?
google-cloud-platform
、
airflow
、
airflow-scheduler
、
google-cloud-composer
全, 我们有几个带有
DAG
信息的JSON文件。
我
创建了一个
python
脚本
来读取那些JSON文件,以便为
Composer
气流动态生成
DAG
。现在,
我
面临的挑战是如何在
python
脚本
中
获得运行
DAG
的列表,并从本地系统触发单个
DAG
。
在
我
的本地,
我
设置了私有SSH键,所以我
可以
使用下面的命令获得
在</e
浏览 2
提问于2019-12-18
得票数 0
回答已采纳
2
回答
对于GCP
Composer
,如何在GCP计算引擎
中
删除带有"gcloud“命令的
DAG
google-cloud-platform
、
airflow
、
gcloud
、
google-cloud-composer
我
想运行一个"gcloud“命令:
在
计算实例
中
。到目前为止,运行"delete_
dag
“命令将返回以下错误消息: 错误:(gcloud.
composer
.environments.run)无效选择:'de
浏览 2
提问于2020-12-16
得票数 1
1
回答
如何在云日志中找到我的
Composer
的日志?
google-cloud-platform
、
google-cloud-composer
、
google-cloud-logging
我
知道这是一个简单的问题,但我发现每次都要想清楚,所以:
我
应该在云日志记录中使用什么查询来快速找到我
在
Composer
中
运行的
DAG
的日志?
浏览 10
提问于2022-06-01
得票数 1
回答已采纳
1
回答
如何在Google
Cloud
中计划网站爬行?
python
、
google-cloud-platform
、
google-compute-engine
我
想在谷歌云中存储一个网络爬行软件尖叫青蛙的副本。这将位于Compute引擎实例或Kubernetes容器
中
。
我
可以
使用linux shell
在
我
的计算机上本地运行尖叫青蛙爬行:
在
Google
Cloud
中有
浏览 2
提问于2020-04-04
得票数 0
1
回答
如何从App应用程序连接到元数据DB (气流元数据DB )
google-app-engine
、
google-cloud-sql
、
google-cloud-composer
我
有一个应用程序引擎应用程序是用FlaskPython3.7编写的
我
的用法是从
Composer
元数据DB (
dag
运行、
dag
成功、
dag
故障等)
中
获取信息,并在App应用程序
中
显示为仪表板(很少有图表到目前为止已经完成的作业- - i能够
在
登录到其中一个工作节点之后对
Composer
元数据运行查询(因为工作节点已经运行了
Cloud
代理,该代理连接到运行在其他容器
中
的
Cl
浏览 1
提问于2019-12-09
得票数 1
1
回答
Cloud
Composer
:如何在通过gcloud CLI运行的
DAG
中
运行单个任务
airflow
、
google-cloud-composer
我
正在尝试
在
GCP
cloud
composer
airflow实例上的
DAG
中
运行单个任务,并将
dag
中
的所有其他任务都标记为成功。然而,下面的airflow命令似乎对
我
在
cloud
composer
上不起作用。 有人知道下面的gcloud cli命令出了什么问题
吗
?
dag
_id: "airflow_monitoring"
浏览 0
提问于2020-07-04
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
airflow 实战系列:基于 python 的调度和监控工作流的平台
自学14天后,我毁掉了自己的数据工程师面试
使用 Python 和 Scrapy 半小时爬了10 个在线商店的网页
使用Java部署训练好的Keras深度学习模型
调度工具Airflow
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券