腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(771)
视频
沙龙
1
回答
如何
从
GCP
composer
(
DAG
)
执行
Bash
脚本
(
存在于
Compute
engine
VM
中
)?
bash
、
ssh
、
google-cloud-platform
、
google-compute-engine
、
google-cloud-composer
我有一个sh文件,它
存在于
GCP
计算引擎
VM
实例
中
。在同一服务帐户或同一项目中,我希望
从
GCP
composer
DAG
执行
该
bash
脚本
。我们
如何
执行
? 我找到了一个解决方案,我不确定它是否正确。当
composer
和
VM
使用相同的服务帐户运行shell
脚本
时,我们还需要KeyFile吗?
浏览 20
提问于2019-10-18
得票数 1
1
回答
云编写器bashoperator的python
脚本
路径计算引擎
google-cloud-platform
、
airflow
、
google-compute-engine
、
google-cloud-composer
我第一次在
GCP
上工作,我试图使用bashoperator在计算引擎上
执行
python
脚本
。我将python
脚本
存储在
composer
脚本
所在的桶
中
,但是当我试图运行bashoperator时,它会抛出一个错误文件,找不到。我能知道应该把python
脚本
放在哪里,以便在计算引擎上
执行
python
脚本
吗?`
bash
_task =
bash
_operator.BashOperato
浏览 1
提问于2022-10-31
得票数 0
回答已采纳
1
回答
Cloud
composer
rosbag BashOperator
airflow
、
etl
、
google-cloud-composer
我有一个在虚拟机
中
运行的airflow
dag
,但是为了促进事件驱动触发,我正在尝试在
GCP
中
设置cloud
composer
。然而,我只在cloud
composer
中看到了安装pypi包的选项。 我需要rosbag包来运行我的
bash
脚本
,在cloud
composer
中有什么方法可以做到这一点吗?或者在
VM
或容器中使用Kubernetes运行Airflow更好?
浏览 28
提问于2021-09-21
得票数 1
1
回答
如何
在Google Cloud中计划网站爬行?
python
、
google-cloud-platform
、
google-compute-engine
这将位于
Compute
引擎实例或Kubernetes容器
中
。理想情况下,我想安排一些cron任务,使上面的shell命令运行,导致网站被抓取;抓取的结果保存到Google Cloud存储
中
的存储桶
中
。 我该怎么做呢?另外,是否可以使用Python等编程语言在
GCP
中
设置和调度cron任务?我的想法是让我的组织
中
的人能够登录到UI (可能是在Flask
中
构建的),并自己计划爬行。
浏览 2
提问于2020-04-04
得票数 0
1
回答
如何
从
App应用程序连接到元数据DB (气流元数据DB )
google-app-engine
、
google-cloud-sql
、
google-cloud-composer
我有一个应用程序引擎应用程序是用FlaskPython3.7编写的 我的用法是
从
Composer
元数据DB (
dag
运行、
dag
成功、
dag
故障等)
中
获取信息,并在App应用程序
中
显示为仪表板(很少有图表到目前为止已经完成的作业- - i能够在登录到其中一个工作节点之后对
Composer
元数据运行查询(因为工作节点已经运行了Cloud代理,该代理连接到运行在其他容器
中
的Cloud )。这是在创建与
Composer
相同
浏览 1
提问于2019-12-09
得票数 1
1
回答
带参数的触发器
dag
post
、
python-requests
、
airflow
、
google-cloud-composer
我正在使用
Composer
进行ETL过程。我希望
从
Google
中
的
VM
中
触发一个守护进程,并使用
VM
中
运行的进程的结果作为我的守护进程的参数。我一直在遵循谷歌官方指南,
如何
做到这一点: t
浏览 1
提问于2020-01-10
得票数 0
回答已采纳
2
回答
从
python创建
GCP
实例时复制文件
google-cloud-platform
、
google-compute-engine
、
google-api-python-client
我正在使用python
中
的googleapiclient启动
VM
实例。作为其中的一部分,我将使用该工具运行启动
脚本
来安装docker和其他python包。
浏览 14
提问于2019-11-11
得票数 0
回答已采纳
1
回答
GCP
:
从
Cloud Function启动
Compute
Engine
实例时无法设置元数据
google-cloud-platform
、
google-cloud-functions
、
google-compute-engine
我正在尝试
从
另一个
GCP
项目中托管的Cloud Function启动
GCP
项目中的
Compute
Engine
实例。) => { let
vm
= zone.
vm
('myVmInstance'); }); await
vm
.start().then(() =
浏览 18
提问于2020-04-18
得票数 0
回答已采纳
2
回答
以编程方式在
GCP
实例上运行
bash
脚本
bash
、
go
、
google-cloud-platform
我读过多篇关于在
GCP
上运行
脚本
的文章,但不幸的是,我找不到一个能够满足我需求的答案。 有一个设置启动
脚本
的选项,该
脚本
将在每次重新启动实例时
浏览 1
提问于2021-04-06
得票数 0
回答已采纳
1
回答
如何
使用Apache气流在
GCP
计算引擎实例
中
运行码头映像
docker
、
google-cloud-platform
、
airflow
、
google-cloud-composer
、
google-container-registry
我正在尝试创建一个气流
DAG
,我想从其中派生一个
Compute
引擎实例,其中包含存储在
中
的停靠器映像。 换句话说,我想使用gcloud操作符用airflow dags复制airflow dags。
浏览 2
提问于2022-08-28
得票数 2
3
回答
-
如何
在
VM
上修剪停靠图像?
google-cloud-platform
、
google-cloud-build
目标
VM
始终具有(COS)。 args: ['
compute
','instances','update-container','my-
vm
-id','--zone','europe-west3-c','--container-res
浏览 0
提问于2019-09-16
得票数 6
回答已采纳
1
回答
在上添加自定义操作符
python
、
airflow
、
google-cloud-composer
我试图在(气流)
中
添加一个自定义操作符,但是它似乎找不到操作符。我在这方面花了相当长的时间,并尝试过: 达格/我的爸爸。"project"INSTANCE = "instance"# [END
dag
_parameters]
dag
1=
DAG</e
浏览 2
提问于2020-03-24
得票数 1
1
回答
GCP
计算引擎WS 2012。启动
脚本
启动后不要运行我的.exe文件
google-cloud-platform
、
virtual-machine
、
google-compute-engine
、
startupscript
运行WS 2012的
GCP
Compute
Engine
实例在使用启动
脚本
时不会
执行
可
执行
命令。 我在任务管理器中看到"1.exe“进程正在运行,但是它没有做任何事情。
浏览 1
提问于2018-03-14
得票数 1
2
回答
在
composer
中
运行gcs_to_bq时,获取*任务实例在数据库
中
不存在时出错
airflow
、
google-cloud-composer
在使用cloud-
composer
执行
以下python
脚本
时,我在Airflow代码
中
的gcs2bq任务日志下获得了*** Task instance did not exist in the DB:retry_delay': datetime.timedelta(minutes=5), #models.Variable.get('
gcp
_project')
浏览 0
提问于2018-11-19
得票数 0
1
回答
云编写器无法连接到安装在Azure
VM
中
的Server数据库
sql-server
、
python-3.x
、
azure
、
google-cloud-composer
我在Azure
VM
实例
中
安装了一个源Server数据库,我希望将数据同步到Bigquery。我选择了Apache气流来创建一个
DAG
来完成这项工作。源系统只能通过VPN网络连接。我能够连接到它并
执行
查询。我已经开发了一个
DAG
管道,并在我的本地环境中进行了测试。现在,我想在
GCP
环境中部署
DAG
管道。在创建
composer
环境之前,我已经成功地在
GCP
到Azure之间创建了一个VPC网络。为了确认连接成功,我创建了一个
VM<
浏览 9
提问于2021-12-21
得票数 1
1
回答
如何
使用Cloud
Composer
在
Compute
Engine
VM
上调度Jupyter笔记本电脑?
google-cloud-platform
、
jupyter-notebook
、
virtual-machine
、
google-compute-engine
、
google-cloud-composer
我每个工作日都要
执行
一系列笔记本,每个笔记本都依赖于前一个笔记本,我希望使用Cloud
Composer
自动
执行
整个过程。感谢您的帮助,谢谢!
浏览 0
提问于2020-03-12
得票数 0
1
回答
没有在实例
中
运行的启动
脚本
google-cloud-platform
为了使应用程序在启动
VM
时启动,我包含了一个启动
脚本
:cd documentai_webappsudo python3 server.py 但是,这根本不是
执行
,任何人都可以帮助我PD:当我在
VM
内手动
执行
这个
脚本
时,它运行得非常好。
浏览 2
提问于2022-09-13
得票数 0
回答已采纳
2
回答
是否可以在特定时间关闭托管google-cloud-
composer
的虚拟机?
airflow
、
google-cloud-composer
为了减少与运行google-cloud-
composer
相关的费用,我想知道是否可以在特定时间关闭运行Virtual Environment的
VM
实例。例如:我们的大多数
DAG
要么在上午运行,要么在下午运行,所以我们希望在晚上关闭虚拟机,如果可能的话,甚至在中午关闭。我知道我们可以
从
Google云控制台手动禁用环境,但如果能找到一种自动
执行
此操作的方法,那就太好了 谢谢!
浏览 46
提问于2018-10-22
得票数 1
回答已采纳
1
回答
在Google Cloud
Composer
airflow环境
中
执行
R
脚本
google-cloud-platform
、
airflow-scheduler
、
google-cloud-composer
我想在Google Cloud
Composer
环境
中
从
dag
执行
R
脚本
。
如何
在
Composer
中
安装R并运行R
脚本
?
浏览 17
提问于2018-09-04
得票数 1
2
回答
失去对的ssh访问
ssh
、
google-cloud-platform
、
google-compute-engine
、
ssh-keys
我有一个
VM
(Debian)运行在Google平台上,但我无法通过ssh或串行控制台进行连接(由于某种原因无法通过启动
脚本
创建用户)。为了修复它,已经尝试了一堆故障排除指南。gcloud
compute
ssh another-username@$PROB_INSTANCE#!启动
脚本
不工作或无法创建我的用户。5-增加内存(升级
VM
实例类型)。6-
从
VM
详细信息和元数据选项卡
中</
浏览 0
提问于2020-11-05
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
用Python/Keras/Flask/Docker在Kubernetes上部署深度学习模型
使用 Python 和 Scrapy 半小时爬了10 个在线商店的网页
我在云上试了下流行的十二要素开发方法论
使用Docker和Kubernetes托管机器学习模型
如何使用Hyperledger Fabric和Composer构建区块链网络(上)
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券