腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
您
可以
在
Google
Cloud
Composer
中
访问
Airflow
CLI
吗
?
google-cloud-platform
、
airflow
、
airflow-scheduler
、
google-cloud-composer
我知道许多常见的气流管理命令都是通过gcloud
CLI
提供的。但是,我正在对一些DAG调度进行故障排除,并希望直接在集群上使用schedule and next_execution命令。有什么简单的方法
可以
做到这一点
吗
?
浏览 11
提问于2020-06-27
得票数 0
回答已采纳
1
回答
Cloud
Composer
:如何在通过gcloud
CLI
运行的DAG
中
运行单个任务
airflow
、
google-cloud-composer
我正在尝试
在
GCP
cloud
composer
airflow
实例上的DAG
中
运行单个任务,并将dag
中
的所有其他任务都标记为成功。然而,下面的
airflow
命令似乎对我
在
cloud
composer
上不起作用。 有人知道下面的gcloud
cli
命令出了什么问题
吗
?dag_id: "
airflow
_monitoring" <br>
浏览 0
提问于2020-07-04
得票数 0
1
回答
通过Terraform创建V2实例
terraform
、
google-cloud-composer
、
terraform-provider-gcp
network =
google
_compute_network.foo_uat_
composer
.id secrets-backend = "
airflow
.providers.
google
.
cloud
.secrets.secret_manager.CloudSecretManagerBa
浏览 5
提问于2022-01-19
得票数 1
2
回答
如何在GCP编写器环境(1.10.6)中使用SFTPToGCSOperator?
google-cloud-platform
、
google-cloud-composer
、
airflow
我知道有一个限制,因为操作员只存在于最新版本的
airflow
中
,而不存在于
composer
最新版本1.10.6
中
。SFTPToGCSOperator( sftp_conn_id="test_sftp_conn", gcp_conn_id="
google
_
cloud
_default= "destination_bucket"
浏览 4
提问于2020-05-13
得票数 2
1
回答
如何将
airflow
[docker]连接到GCP?
python
、
google-cloud-platform
、
airflow
首先,我连接了气流PostgresOperator并创建了数据集,现在我想将它发送到GCS操作符连接,但是总是看到我无效的dsn:无效连接选项"extra__
google
_
cloud
_platform_postgres_to_gcs_task', sql = 'SELECT * FROM game;',
浏览 6
提问于2022-09-08
得票数 0
1
回答
Google
Cloud
Composer
:
访问
StatsD指标
google-cloud-platform
、
airflow
我正在使用
Airflow
v1.10.3运行
Google
Cloud
Composer
。gsutil cat gs://mycomposerbucket/
airflow
.cfg >>.
浏览 0
提问于2020-05-13
得票数 1
1
回答
如何从命令行设置/获取json格式的气流变量
google-cloud-platform
、
google-cloud-composer
我不能通过
cloud
shell编辑json格式的气流变量的值。我正在使用
cloud
shell
访问
我的
airflow
变量参数( json格式),当我使用以下命令时,它会给出完整的json:--get params 但是,我想要编辑json
中
的一个值,我如何
访问
它?我参考了
google
浏览 21
提问于2019-07-19
得票数 1
回答已采纳
2
回答
利用秘密管理器实现GCP气流连接
google-cloud-platform
、
airflow
、
google-cloud-composer
我试图为GCP云添加气流连接(应该从秘密管理器获取SA键),但是
在
我的气流UI(版本2.1.4)
中
,我无法通过使用秘密管理器找到添加的选项。是因为版本问题
吗
?如果是这样,我们
可以
通过命令行(Gcloud)或通过编程方式添加气流连接(通过使用秘密管理器)来添加它
吗
?=
google
_
cloud
_platform -conn--额外的{“extra__
google
_
cloud
_platform__project”:"proejct
浏览 10
提问于2022-02-10
得票数 0
回答已采纳
1
回答
如何在云编写器集群
中
拆分云代理
kubernetes
、
google-cloud-platform
、
google-cloud-composer
、
cloud-sql-proxy
为此,编写了一个单独的Dag来检查PostgreSQL
中
现有规则的数据库表&如果PostgreSQL
中
的规则是活动的/不活动的,那么我们
在
Airflow
.Now
中
手动设置为off/on动态Dag,我们将使用
Google
的自管理云编写器,但问题是我们无法
访问
云编写器的db。
浏览 3
提问于2019-04-03
得票数 1
回答已采纳
1
回答
如何从使用KubernetesPodOperator启动的pod
访问
Google
Cloud
Composer
的数据文件夹?
kubernetes
、
google-cloud-platform
、
airflow
、
google-cloud-composer
我有一个
Google
Cloud
Composer
1环境(
Airflow
2.1.2),我想在其中运行一个利用KubernetesPodOperator的
Airflow
DAG。目录
中
的文件驻留在由
Composer
管理的
Google
Cloud
Storage存储桶
中
。
在
我的DAG
中
,我运行了几个Kubernetes pod,如下所示: from
airflow</
浏览 20
提问于2021-11-04
得票数 2
6
回答
在哪里保存
Google
Cloud
Composer
连接设置的服务帐户密钥文件?
google-cloud-platform
、
airflow
、
google-cloud-composer
我正在尝试使用服务帐户密钥
在
Google
Cloud
Composer
中
设置
Google
Cloud
Platform连接。因此,我创建了一个GCS存储桶,并将服务帐户密钥文件放入该存储桶
中
。密钥存储
在
JSON
中
。
在
keyfile path字段
中
,我指定了一个GCS bucket,
在
keyfile JSON字段
中
,我指定了文件名。作用域是。<em
浏览 2
提问于2018-06-06
得票数 6
1
回答
在
Google
的气流实例上安装apache-
airflow
-backport-providers-
google
模块
airflow
、
google-cloud-composer
、
google-cloud-data-fusion
我需要从
Composer
中
执行数据融合管道,为此使用Data: 当我试图在编写器(如PyPi包)上安装pythonFor detailed instructions see https:
浏览 6
提问于2021-10-15
得票数 0
回答已采纳
1
回答
无法
在
GCP
Composer
上安装pypi包(
Google
Bigquery)
google-cloud-composer
我正试图
在
GCP上安装
google
-
cloud
-bigquery==1.5.0 PyPI软件包,因为最近已经创建了一个新的环境。我知道这个错误: Successfully installed
google
-
cloud
-bigquery-1.5.0
google
-
cloud
-core-0.28.1 pypd-1.1.0 strict-rfc3339新的环境映像版本是
composer
-1.12.2-
airflow
-1.10.6。问题1:我
浏览 2
提问于2020-10-24
得票数 0
2
回答
获得气流webserver_id
python
、
rest
、
google-cloud-platform
、
airflow
、
google-cloud-composer
我有一个GCP项目my_project_id,其中包含一个
composer
实例my_project_id_cmpsr_id。
在
马鹿
中
,为了获得空气流量rest,我需要检索所谓的webserver_id。因此,GCP气流web服务器url的格式为{webserver-id}.appspot.com,如此处在中指定的那样。tenant-project-id}.appspot.com是否有可能检索fg8348538536e2df34-fd projec
浏览 0
提问于2020-03-18
得票数 2
回答已采纳
2
回答
使用gcloud
CLI
在
Cloud
Composer
上创建气流连接
airflow
、
gcloud
、
google-cloud-composer
我正在尝试使用gcloud
CLI
在
Cloud
Composer
上创建气流连接。我遵循文档并运行以下注释。https://
cloud
.
google
.com/
composer
/docs/how-to/managing/connections#creating_new_
airflow
_connections gcloud
google
\_
cloud
\_p
浏览 7
提问于2019-05-25
得票数 0
回答已采纳
2
回答
Cloud
Composer
DAG级别
访问
控制
airflow
、
google-cloud-composer
根据
Cloud
Composer
文档,不支持
Airflow
RBAC功能。谢谢!
浏览 4
提问于2020-04-02
得票数 1
2
回答
有气流缺失的BigQuery projectId
google-bigquery
、
airflow
、
apache-airflow
尝试下面的示例:
airflow
test bigquery_github_trends_v1 bq_check_githubarchive_day 2017-06-02Traceback (most recent call last):result = task_
浏览 9
提问于2017-09-12
得票数 2
回答已采纳
2
回答
如何使用
Cloud
Composer
选择
Airflow
或Python版本?
google-cloud-platform
、
airflow
、
google-cloud-composer
我想使用不同版本的
Airflow
和/或Python。我怎样才能改变这一点?
浏览 5
提问于2018-05-02
得票数 8
1
回答
尝试
在
Google
Composer
中发送电子邮件通知时出现HTTP 401错误
google-cloud-composer
我正在尝试
在
Composer
中
设置电子邮件通知,但对于一个Private
Composer
实例,请遵循此处的说明: “how- to”页面上确实注明了“注意:如果
您
的
Cloud
Composer
环境是为私有IP配置的,请确保它
可以
连接到
您
的外部电子邮件服务(例如或
您
首选的SMTP服务器)的API端点。”为了进行测试,我
在
Google
Cloud
中
浏览 1
提问于2021-06-08
得票数 1
1
回答
Cloud
Composer
缺少变量文件
google-cloud-composer
我一直
在
尝试使用
airflow
CLI
将环境变量的JSON文件导入到新创建的
Cloud
Composer
实例
中
,但在运行下面的代码时出现错误:Missing variables file. gcloud
composer
environments run ${
COMPOSER
_NAME} \ variables --\ -i ${VARIABLE
浏览 11
提问于2019-01-09
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
自学14天后,我毁掉了自己的数据工程师面试
AWS Serverless应用模型添加对Step Functions状态机的支持
谷歌发布Compute Engine安全新特性:资源级别的IAM和IAM条件
PKS将Kubernetes带到企业客户的捷径-六大主要功能你一定要知道
您可能想要检查哪些应用可以访问您的Gmail
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券