我想在Google Cloud Composer环境中从dag执行R脚本。如何在Composer中安装R并运行R脚本？
浏览 17提问于2018-09-04得票数 1
我正试图在GCP上安装google-cloud-bigquery==1.5.0 PyPI软件包，因为最近已经创建了一个新的环境。我知道这个错误：
Successfully installed google-cloud-bigquery-1.5.0 google-cloud-core-0.28.1 pypd-1.1.0 strict-rfc3339新的环境映像版本是composer-1.12.2-airflow
浏览 2提问于2020-10-24得票数 0
不熟悉airflow。尝试运行sql并将结果存储在BigQuery表中。请帮帮我。错误： File "/usr/local/bin/airflow", line 28, in <module> File "/usr/local/
浏览 12提问于2017-08-11得票数 4
回答已采纳
我正在尝试使用Cloud Composer来运行我的工作流。我想使用Airflow v1.10提供的"GoogleCloudStorageToGoogleCloudStorageOperator“operator，但当前的cloud composer不支持它(它目前只支持在Google's blog post的指导下，我自己将operator添加到了一个cloud composer环境中<
浏览 65提问于2019-01-16得票数 1
我有一个cloud composer环境： resource "google_composer_environment" "default" { region" = google_composer_environment.default.config.0.airflow_uri
浏览 22提问于2020-12-12得票数 0
回答已采纳
这里我想在GCP的composer环境(1.10.6)中使用SFTPToGCSOperator。我知道有一个限制，因为操作员只存在于最新版本的airflow中，而不存在于composer最新版本1.10.6中。请参阅以下参考资料-我已经创建了一个插件类，稍后将其导入到我的DAG脚本中。但是当我们使用通配符时，我们在if条件中有游
浏览 4提问于2020-05-13得票数 2
我是google cloud composer的新手。我在谷歌云计算引擎中有一些代码，例如: test.py 目前，我使用Jenkins作为我的调度器--我运行的代码如下 echo "cd /home/user/src/digital_platform &&/home/user/venvs/bdp/bin/python -m test.test.test" | ssh user@insta
浏览 29提问于2019-06-19得票数 0
2回答
我刚刚创建了一个新的Cloud Composer环境，在尝试向该环境(例如google-cloud-pubsub)添加一些PyPI包时出现错误。这是关于环境的数据：
我在尝试添加google-cloud-pubsub时遇到的错误是这样的:安装PyPI包失败。云构建：
+ python3 -m pip install -r requirements
浏览 35提问于2020-02-20得票数 0
回答已采纳
我正在尝试通过Google Cloud Composer和KubernetesPodOperator在一个环境中运行一个Airflow任务，该环境是从一个私有的Google Container RegistryContainer Registry和Cloud Composer实例在同一个项目下，一切工作正常，直到我更新了DAG引用的镜像。当我更新Container Registry
浏览 21提问于2020-10-09得票数 0
我正在尝试在VS代码中设置一个本地开发环境，以便为Composer/Apache气流使用的包获得代码完成。文件如下：在VS代码中激活我的虚拟环境之后，我可以通过运行pip install -r requirements.txt将它安装到虚拟环境中，然后我在VS" could not be resolved Pyl
浏览 12提问于2022-05-19得票数 5
回答已采纳
我需要从Composer中执行数据融合管道，为此使用Data：
当我试图在编写器(如PyPi包)上安装pythonFor detailed instructions see
浏览 6提问于2021-10-15得票数 0
回答已采纳
Cloud Composer不支持在环境中存储SMTP密码，根据我们可以指定一个返回SMTP密码的命令，我尝试了bash命令从airflow.cfg中导出环境变量，但在airflow.cfg中存储密码失败我们的Gsuit凭证存储在LastPass中，因此理想的方式是将composer与lastpass连接以检索LDAP凭证。我现在能想到一些适用的解决方案: 1)将凭证从LastPa
浏览 6提问于2021-10-20得票数 0
我有一个Google Cloud Composer1环境(Airflow 2.1.2)，我想在其中运行一个利用KubernetesPodOperator的Airflow DAG。Cloud Composer makes available到所有DAG一个用于存储应用程序数据的共享文件目录。目录中的文件驻留在由Composer管理的Google Cloud Storage存储桶<em
浏览 20提问于2021-11-04得票数 2
我正在尝试挂载dags文件夹，以便能够在Aiflow上的KubernetesPodOperator中运行python脚本，但我不知道怎么做。在生产中，我想在谷歌作曲家。
浏览 4提问于2021-10-12得票数 1
我正在使用Airflow v1.10.3运行Google Cloud Composer。gsutil cat gs://mycomposerbucket/airflow.cfg
浏览 0提问于2020-05-13得票数 1
它需要我在我的DAG代码中添加以下导入语句： from airflow.providers.google.cloud.operators.pubsub import (PubSubDeleteTopicOperator, PubSubPublishMessageOperator,from airflow.providers.google<
浏览 28提问于2020-01-30得票数 1
回答已采纳
我有一个外部Sheets表，我想通过Airflow中的BigQueryOperator查询它。Conn Id: bigquery_with_gdrive_scopeProjectKeyfile JSON: <none>
Scopes: https://www.
浏览 4提问于2018-08-09得票数 2
回答已采纳
2回答
我试图为GCP云添加气流连接(应该从秘密管理器获取SA键)，但是在我的气流UI(版本2.1.4)中，我无法通过使用秘密管理器找到添加的选项。是因为版本问题吗？我尝试了通过命令行，但它抛出了以下错误：
gcloud composer环境运行project_id --位置欧洲--west2 2 connections add -- edw_test --conn-type=google_cloud_platform -conn--额外的{“extra__google_<em
浏览 10提问于2022-02-10得票数 0
回答已采纳
我刚刚在本地设置了Airflow，封装在一个码头容器中。
我想知道是否有可能将此Airflow本地环境链接到GCP上的实际Airflow/Composer服务？
浏览 0提问于2019-04-01得票数 1
2回答
我试图在带有云功能的composer环境中触发气流DAG。为了做到这一点，我需要获得描述为的客户端id。我试过使用curl命令，但它不返回任何值。使用python脚本，我一直得到以下错误： File "get_client_id.py", line 55, in <modulewith Google Cloud.
# See: https://
浏览 4提问于2021-09-21得票数 3
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
