腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
GCP
Composer
中
运行
命令
airflow
、
gcloud
、
google-cloud-composer
我无法
在
GCP
Composer
中
运行
gcloud
命令
。这里有一个问题: ERROR: (gcloud.
composer
.environments.run) The subcommand "variables" is not supported for
Composer
下面是
命令
: gcloud
composer
environments run
composer
\ --l
浏览 24
提问于2021-10-03
得票数 0
回答已采纳
1
回答
如何在Google Cloud中计划网站爬行?
python
、
google-cloud-platform
、
google-compute-engine
这将位于Compute引擎实例或Kubernetes容器
中
。我可以使用linux shell
在
我的计算机上本地
运行
尖叫青蛙爬行:
在
Google Cloud中有可能做类似的事情吗?理想情况下,我想安排一些cron任务,使上面的shell
命令
运行
,
浏览 2
提问于2020-04-04
得票数 0
1
回答
Cloud
Composer
:如何在通过gcloud CLI
运行
的DAG
中
运行
单个任务
airflow
、
google-cloud-composer
我正在尝试
在
GCP
cloud
composer
airflow实例上的DAG
中
运行
单个任务,并将dag
中
的所有其他任务都标记为成功。然而,下面的airflow
命令
似乎对我
在
cloud
composer
上不起作用。task_id: "echo1"
浏览 0
提问于2020-07-04
得票数 0
3
回答
使用Terraform的Google Cloud
Composer
terraform
、
google-cloud-composer
我刚接触Terraform,有没有什么直接的方法可以使用Terraform来管理和创建Google Cloud
Composer
环境?我检查了
GCP
支持的组件列表,似乎到目前为止Google Cloud
Composer
还没有出现。作为一种变通办法,我正在考虑创建一个包含必需的gcloud
composer
cli
命令
的shell脚本,并使用Terraform
运行
它,这是一种正确的方法吗?请推荐替代方案。
浏览 4
提问于2018-06-06
得票数 1
6
回答
类'BeyondCode\DumpServer\DumpServerServiceProvider‘,当我使编写器安装-优化-autoloader no-dev时找不到。
laravel
、
composer-php
、
laravel-5.8
、
laravel-artisan
我正在部署我的Laravel应用程序,并希望优化autoload,通常我会
运行
以下
命令
这是一个
运行
Laravel5.8我得到了以下错误: Script @php artisan
浏览 2
提问于2019-07-09
得票数 8
回答已采纳
1
回答
如何从Google Cloud
Composer
的KubernetesPodOperator
中
的私有Docker注册表拉取镜像?
kubernetes
、
airflow
、
google-cloud-composer
我正在尝试通过Google Cloud
Composer
的KubernetesPodOperator在从私有Google Container Registry
中
的图像构建的环境
中
运行
任务。Container Registry和Cloud
Composer
实例
在
同一个项目下。我的代码如下。namespace='default', image=f'gcr.io/<my_private_repository>/<
浏览 0
提问于2020-09-21
得票数 0
2
回答
GCP
Cloud
Composer
:带有必需参数的get_client_id.py错误
python
、
google-cloud-composer
我有一个关于
GCP
Cloud
Composer
的问题。当我
运行
程序时,我得到了一个错误。required: project_id, location,
composer
_environment 该错误的含义是参数project_id、location、
composer
_environment下面是我尝试过的
命令
和代码的列表。python3 id.py --project
浏览 8
提问于2021-02-28
得票数 3
回答已采纳
2
回答
GCP
Composer
-如何
运行
Python 3而不是Python 2
google-cloud-platform
、
google-cloud-dataflow
、
airflow
、
google-cloud-composer
我正在使用
GCP
作曲家来编排ETL…。
在
创建实例时,我将Python版本设置为Python 3每当我们部署到
composer
-1.7.9-airflow-1.10.1时,任务都会使用Python2.7…
运行
如果从
Compos
浏览 3
提问于2019-12-16
得票数 1
回答已采纳
1
回答
使用
Composer
和芹菜执行器
在
安全网络
中
运行
远程工作
python
、
celery
、
airflow
、
google-cloud-composer
我们正在
GCP
上
运行
一个
Composer
安装程序,并希望
在
一个安全的环境
中
运行
一个远程ETL作业。
Composer
使用
运行
在K8S集群上的Redis。我们能安全地暴露我们的红宝石吗?
浏览 2
提问于2020-11-16
得票数 0
2
回答
使用Deployment
在
BigQuery
中
创建“外部表”时,
在
获得驱动器凭据时拒绝“403权限”
google-cloud-platform
、
google-bigquery
、
google-drive-api
、
google-deployment-manager
复制步骤: def GenerateConfig(context): name: str = context.env['name']context.properties.get('loc
浏览 6
提问于2021-01-25
得票数 5
2
回答
Cloud
Composer
Airflow任务失败,但功能成功完成
python
、
google-cloud-platform
、
airflow
、
google-cloud-composer
我正在尝试使用Cloud
Composer
编写我的第一个Airflow作业。我的DAG有三个任务,第一个任务成功完成,但第二个任务似乎失败了,并发出任何失败的错误消息。我
在
第二个任务中使用了PythonOperator。被调用的函数执行一个长时间
运行
的查询并轮询,直到查询完成。查询完成后,我收到一条消息,指出数据已输出到正确的表
中
,但是Airflow将该任务视为失败,并再次重试该任务。run_query可调用函数
在
堆栈驱动程序日志中生成输出,并指示实际函数已完成,但任务失败。
浏览 2
提问于2019-02-28
得票数 0
2
回答
我可以重新启动云编写器环境吗?
google-cloud-platform
、
airflow
、
google-cloud-composer
我已经使用Google Cloud
composer
几天了,主要是将数据从MySQL迁移到BigQuery,它
运行
得很好。 我已经清理了所有的DAG
运行
和任务实例使用气流网络用户界面,但仍然不工作是否有一种方法可以
在
不丢失已完成任务的结果的情况下重新启动环境?还有其他办法让气流手动运转
浏览 0
提问于2018-08-08
得票数 3
回答已采纳
2
回答
捕获gcloud
composer
在
变量和测试
运行
中
运行
响应
airflow
、
google-cloud-composer
我目前正在建造一条通过
GCP
的气流管道,我目前正在经历两个路障。 我想捕捉gcloud
composer
run的响应。例如,如果我
运行
gcloud
composer
environments run some_environment\ --location us-west2 \ list_dags -- -sd /home但是,无法
在
变量
中
捕获这些值。我试过使用$()和backticks,但是当我使用echo时,它是空的。我想在/home/airflo
浏览 3
提问于2019-12-04
得票数 1
1
回答
使用gcloud CLI设置
composer
(airflow) bucket
airflow
、
gcloud
、
google-cloud-composer
、
gcloud-cli
我一直
在
使用控制台界面创建
composer
环境,然后使用cli设置三个变量(使用QuickStart文档
中
的示例):gcloud
composer
environments run etl --locationvariables -- --set gce_zone europe-we
浏览 32
提问于2018-12-13
得票数 1
回答已采纳
1
回答
无法
在
Google中使用google.cloud.sql.connector模块
google-cloud-sql
、
google-cloud-composer
当我通过Google
运行
手动数据流作业时,它成功地
运行
。气流版本(使用)失败了,给出了名称错误。“NameError:未定义”名称“连接器” 我启用了保存主会话选项。另外,我已经
在
py_requirements选项中提到了连接器模块,并且正在安装它(按照气流日志)。
浏览 9
提问于2022-11-03
得票数 0
1
回答
尝试从本地气流
运行
DataProcSparkOperator任务时的HttpError 400
airflow
、
google-cloud-dataproc
、
directed-acyclic-graphs
我正在测试一个DAG,我曾经
在
Google
Composer
上没有错误地
运行
在一个本地安装的Airflow上。DAG启动Google Dataproc集群,
运行
Spark作业(位于GS存储桶上的JAR文件),然后关闭集群。所有其他任务的执行都没有错误,唯一的区别是DAG不再在
Composer
上
运行
: default_dag_args = { 'email''retries&
浏览 8
提问于2019-03-05
得票数 1
回答已采纳
1
回答
Cloud
composer
rosbag BashOperator
airflow
、
etl
、
google-cloud-composer
我有一个
在
虚拟机
中
运行
的airflow dag,但是为了促进事件驱动触发,我正在尝试
在
GCP
中
设置cloud
composer
。然而,我只
在
cloud
composer
中看到了安装pypi包的选项。 我需要rosbag包来
运行
我的bash脚本,
在
cloud
composer
中有什么方法可以做到这一点吗?或者
在
VM或容器中使用Kubernetes
运行</em
浏览 28
提问于2021-09-21
得票数 1
1
回答
使用REST并将其存储到BigQuery
中
rest
、
google-cloud-platform
、
google-bigquery
、
zoho
目前,我们正在手动
运行
python脚本,该脚本检索数据并将其转换为AVRO文件。然后,我们调用command
命令
将其作为每个请求的大字符串对象加载到BigQuery
中
。谢谢。
浏览 1
提问于2021-05-13
得票数 0
回答已采纳
1
回答
如何列出PHP桶子目录
中
的所有文件?
php
、
google-cloud-platform
、
google-cloud-storage
在
查看了
GCP
存储API的PHP和图书架教程() 之后,我不知道如何列出位于桶子目录
中
的文件。这两个库都是通过
composer
收录的。为了澄清,我是从一个DigitalOcean液滴,而不是从应用程序引擎远程
运行
这些。
浏览 3
提问于2017-09-29
得票数 1
回答已采纳
1
回答
想要的GKE吊舱找不到,谷歌云作曲家
kubernetes
、
google-cloud-platform
、
airflow
、
google-kubernetes-engine
、
google-cloud-composer
我正在使用environment.
Composer
,并创建了
composer
environment.
Composer
环境(有绿色滴答),现在我正在尝试使用Google来设置DAG代码中使用的变量。
命令
设置变量: --location us-central1 variables-- \ --set
gcp
_project xxx-
gcp</
浏览 0
提问于2019-04-01
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
PHP网站开发中composer包管理器的安装与运行
GCP发布Kaniko:在非特权容器和Kubernetes中构建容器镜像的工具
如何在 Linux 中的特定时间运行命令
在Python中通过Tkinter执行Tcl命令
Houdini中运行Nuke后台命令遇到的问题以及解决方案
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券