我正在使用Google Cloud Composer开发Airflow。下面是dag文件： from airflow import DAGfrom datetime/gcs/dags/dependencies/helper.py',) 它基本上是在/dags/dependenci
浏览 17提问于2019-01-11得票数 0
回答已采纳
我正试图在GCP上安装google-cloud-bigquery==1.5.0 PyPI软件包，因为最近已经创建了一个新的环境。: >=1.1.0,<2.0dev, installed: 0.28.1]我尝试了另一个版本(2.2.0)，它与谷歌的其他预装包有冲突。新的环境映像版本是composer-1.12
浏览 2提问于2020-10-24得票数 0
我需要从Composer中执行数据融合管道，为此使用Data：
当我试图在编写器(如PyPi<
浏览 6提问于2021-10-15得票数 0
回答已采纳
我正在尝试安排数据流管道作业，以便从CloudSQL SQLServer实例读取内容并将其写入BigQuery表。我使用google.cloud.sql.connectorpytds设置连接。当我通过Google运行手动数据流作业时，它成功地运行。气流版本(使用)失败了，给出了名称错误。“NameError:未定义”名称“连接器”
我启用了保存主会话选项。另外，我已经在py_requirements选项中提到了连接器模块，并且正在安装它(按照气流日志)。INFO -收集云-sql-pyt
浏览 9提问于2022-11-03得票数 0
当DAG在中的气流中运行失败时，我正在尝试发送通知。使用的气流版本是1.9，所以我不能使用松弛的钩子。但是，当我添加代码时，我会得到一个奇怪的错误:没有名为“松弛客户端”的模块from slackclient import SlackClient
from airflow.
浏览 1提问于2019-09-05得票数 0
我有一个在虚拟机中运行的airflow dag，但是为了促进事件驱动触发，我正在尝试在GCP中设置cloud composer。然而，我只在cloud composer中看到了安装pypi包的选项。 我需要rosbag包来运行我的bash脚本，在cloud composer中有什么方法可以做到这一点吗？或者在VM或容器中使用Kubernetes运
浏览 28提问于2021-09-21得票数 1
1回答
我创建了一个带有图像版本-> composer-2.0.13-airflow-2.2.5的Composer环境Command :
gcloud composer environments update $AIRFLOW --location us-east1 --update-pypi-packages-from-filegoogle-<
浏览 4提问于2022-05-31得票数 0
回答已采纳
这里我想在GCP的composer环境(1.10.6)中使用SFTPToGCSOperator。我知道有一个限制，因为操作员只存在于最新版本的airflow中，而不存在于composer最新版本1.10.6中。SFTPToGCSOperator( sftp_conn_id="test_sftp_conn",
gcp_conn_id="google</e
浏览 4提问于2020-05-13得票数 2
我们在集成slack和Cloud composer时遇到了问题。SlackAPIPostOperator具有slackclient依赖项，我们使用以下命令将其直接安装在工作节点上： sudo python3 -m pip install apache-airflow我们必须在工作节点上安装，因为Cloud composer UI上的pypi包安装选项反复超时。 模块导入语句在工作节点上工作得很好。但
浏览 17提问于2021-04-16得票数 0
我正在使用python3 API google-cloud-language 1.3.0中的composer-1.8.3-airflow-1.10.3。它过去很好，但从过去两周开始，它报道了ImportError:无法从grpc.experimental导入名称'aio‘
我已经检查了软件包的文档，看起来google-cloud-language现在需要然而，根据Composer版本列表，
浏览 5提问于2020-09-02得票数 0
我正在尝试使用下面的命令从Scrapy中安装PyPi。gcloud composer environments update $(AIRFLOW_ENVIRONMENT_NAME) \ --location $(AIRFLOW_LOCATION)
requirements.txt是这样的。google-api-python-client
浏览 0提问于2020-03-16得票数 2
在用PyPi包更新Composer之后不久，我就会收到这个错误--在下面列出的4种配置中都会一致发生forex_python>=1.5.0气流网络服务器错误错误:服务器错误<e
浏览 1提问于2019-12-10得票数 3
from airflow.contrib.operators import bigquery_operator
client = bigquery.Client(project = 'is-flagship-data-api-sandpython_operator.PythonOperator(task_id='call_api&#
浏览 0提问于2018-07-30得票数 2
2回答
我刚刚创建了一个新的Cloud Composer环境，在尝试向该环境(例如google-cloud-pubsub)添加一些PyPI包时出现错误。这是关于环境的数据：
我在尝试添加google-cloud-pubsub时遇到的错误是这样的:安装PyPI包失败。
有人知道这件事吗？.py3-none-any.whl (70kB
浏览 35提问于2020-02-20得票数 0
回答已采纳
我正在尝试在VS代码中设置一个本地开发环境，以便为Composer/Apache气流使用的包获得代码完成。" could not be resolved Pylance(reportMissingImports)
所以我的
浏览 12提问于2022-05-19得票数 5
回答已采纳
我正在使用Cloud Composer环境在GCP项目中运行工作流。我的一个工作流使用DataprocClusterCreateOperator在不同的项目中创建了一个Dataproc集群，然后尝试使用来自airflow.contrib.operators.dataproc_operator模块的DataProcPySparkOperator向该集群提交PySpark作业。例如，我希望能够传递一个project_id，但当任务运行时，我最终得到了一个404错误： fro
浏览 22提问于2020-08-13得票数 0
回答已采纳
我在一个环境中遵循从Google Cloud Composer到install Python dependencies from PyPI的文档。我使用以下命令从需求文件安装库： $ gcloud composer environments update $ENV_NAME \ --location us-east4 这只是一个测试，这
浏览 24提问于2019-06-08得票数 5
我有一个在Cloud Composer上运行的Airflow环境(3个n1-standard-1节点；镜像版本：composer-1.4.0-airflow-1.10.0；配置覆盖:核心catchup_by_default=False；PyPI包：kubernetes==8.0.1)。其中一个已重新排队并重试。当任务设置为0次重试时，为什么会发生这种情况？为什么只有一个任务会发生这种情况呢？
浏览 2提问于2019-01-14得票数 5
1回答
Future' object has no attribute '_condition' File "/usr/local/lib/airflow/airflow/models/taskinstance.py", line 1046, in _run_raw_tas File, context
浏览 1提问于2021-08-30得票数 0
回答已采纳
我们目前正在为Cloud Composer上的气流(>2.0.1)开发自定义操作符和传感器。我们使用官方Docker镜像进行测试/开发 对于Airflow 2.0，推荐的方式不是将它们放在Airflow的插件目录中，而是将它们构建为单独的Python包。然而，当开发DAG并在Docker Airflow上测试它们时，这种方法似乎相当复杂。要使用气流推荐方法，我们将为DAG和操作器/传感器使用
浏览 20提问于2021-07-16得票数 1
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
