Cloud Composer (Airflow)作业停滞

Cloud Composer是Google Cloud Platform（GCP）提供的一项托管式工作流程编排服务，它基于Apache Airflow开源项目构建而成。Cloud Composer允许开发人员轻松创建、调度和监控复杂的工作流程，以实现数据处理、ETL流程、机器学习模型训练等任务的自动化。

Cloud Composer的主要特点和优势包括：

可扩展性：Cloud Composer可以轻松地扩展以处理大规模的工作负载，并且可以根据需要自动调整资源。
可靠性：Cloud Composer提供高可用性和容错性，确保工作流程的稳定运行。它使用GCP的基础设施来保证任务的可靠性和持久性。
灵活性：Cloud Composer支持多种任务调度器和执行器，可以与各种GCP服务和第三方工具集成，以满足不同的需求。
可视化界面：Cloud Composer提供直观的Web界面，使用户可以轻松地创建、编辑和监控工作流程，同时提供了丰富的可视化工具和日志记录功能。
安全性：Cloud Composer与GCP的安全功能集成，包括身份验证、访问控制和数据加密，以确保数据和工作流程的安全性。

Cloud Composer适用于许多应用场景，包括：

数据处理和ETL：通过Cloud Composer可以轻松地编排和调度数据处理任务，例如数据清洗、转换和加载等。
机器学习工作流：Cloud Composer可以用于自动化机器学习模型的训练、评估和部署过程，提高机器学习工作流的效率和可靠性。
定时任务和调度：Cloud Composer可以用于定时执行任务，例如定期生成报告、备份数据等。
复杂工作流程编排：对于需要多个任务之间有序执行的复杂工作流程，Cloud Composer提供了强大的编排能力。

推荐的腾讯云相关产品和产品介绍链接地址：

腾讯云并没有提供与Cloud Composer直接对应的产品，但可以考虑以下腾讯云产品来实现类似的功能：

云函数（Serverless）：https://cloud.tencent.com/product/scf
数据工厂（DataWorks）：https://cloud.tencent.com/product/dm
云批量计算（BatchCompute）：https://cloud.tencent.com/product/bc

请注意，以上推荐的产品仅供参考，具体选择应根据实际需求和情况进行评估。

Cloud Composer (Airflow)作业停滞

google-cloud-platform、airflow、google-cloud-composer

我的Cloud Composer管理的Airflow卡住了几个小时，因为我取消了一个耗时太长的任务实例(让我们称它为任务A)有没有办法杀死作业或重置调度程序？任何解开作曲家的想法都会受到欢迎。

浏览 7提问于2018-08-15得票数 5

1回答

使用Terraform中的python将csv数据加载到bigquery

google-cloud-platform、terraform、terraform-provider-gcp

读取csv文件并通过数据流将其加载到bigquery -为此使用python编码，而不是模板-如何使用terraform(GCP)帮助执行此任务

浏览 14提问于2022-11-13得票数 0

1回答

云数据流在故障时触发电子邮件

google-cloud-dataflow、apache-beam、dataflow

在Google cloud中运行Dataflow作业时，如何将Dataflow管道配置为在失败(或成功完成)时发送电子邮件？

浏览 0提问于2018-12-19得票数 0

1回答

GCP数据摄取体系结构

google-cloud-platform、google-cloud-dataflow

我将开始研究从CSV和数据湖中获取到BigQuery的GCP数据，我正在寻求您的建议，我可以使用哪些技术或架构。我尝试使用转换成管道的数据流简单地加载BigQuery，然后调度器在特定的时间运行管道。我遇到的问题是如何将已处理的CSV文件移动到其他桶中？我可以调用函数来移动文件吗？提前谢谢你。

浏览 4提问于2022-10-21得票数 1

1回答

我想在数据流作业成功完成后将消息发布到发布/订阅主题。为此，我使用wait_until_finish()，然后在确认管道已完成(当前状态为JOB_STATE_DONE)后发布一条消息。但是，当我将此管道部署到模板，然后从模板创建作业时，p.run()外部的代码不会执行。result.wait_until_finish() publish_job_completion(result, all_pipeline_options) 其中publish_job_completion确认作业已完成并发布消息

浏览 13提问于2019-08-30得票数 0

1回答

从Cloud Composer运行java Google Dataflow作业

airflow、google-cloud-composer

目前我们在Kubernetes上使用的是我们自己安装的Airflow版本，但我们的想法是迁移到Cloud Composer上。我们使用Airflow通过自定义版本的DataFlowJavaOperator (使用插件)来运行数据流作业，因为我们需要执行jar中不是自包含的java应用程序。因此，我们基本上运行了一个bash脚本来启动命令：所有jar依赖项都存储在所有worker之间的共享磁盘中，但Composer

浏览 1提问于2018-06-08得票数 2

2回答

从cloud composer触发本地hadoop集群任务

google-cloud-platform、airflow、google-cloud-composer

我正在尝试设置Google cloud platform Airflow managed service ( cloud composer)，它应该能够在我的本地Hadoop集群的工作流中触发任务，而不是在google Cloud上。Cloud composer文档介绍了如何在Google云中的共享VPC上触发作业，而不是使用本地VPC。任何帮助都将不胜感激。

浏览 1提问于2019-02-06得票数 1

1回答

如何设置我的Airflow DAG以在触发下一个数据流作业之前完成上一个DataFlow任务？

cloud、airflow、dataflow

我正在从Google Cloud Composer的Airflow中调用DataFlow作业， a >> b >> c a、b和c是调用数据流作业的任务。我只想在数据流作业完成后运行b，问题是它们都是同时运行的。如何等到上一个作业完成？

浏览 18提问于2021-02-09得票数 1

3回答

使用数据流与Cloud Composer

google-cloud-dataflow、airflow、apache-beam、google-cloud-composer

我想要澄清一下Cloud Dataflow或Cloud Composer是不是适合这项工作的工具，而我在Google文档中并不清楚。目前，我正在使用Cloud Dataflow读取非标准的csv文件--执行一些基本处理--并将其加载到BigQuery中。我的问题是，Cloud Composer是从哪里来的呢？它可以在上面提供哪些额外的功能？换句话说，为什么要“在”云数据流之上使用它呢？

浏览 2提问于2019-01-12得票数 13

1回答

使用DataProcPySparkOperator时无法配置GCP项目

python-3.x、google-cloud-platform、airflow、google-cloud-composer

我正在使用Cloud Composer环境在GCP项目中运行工作流。我的一个工作流使用DataprocClusterCreateOperator在不同的项目中创建了一个Dataproc集群，然后尝试使用来自airflow.contrib.operators.dataproc_operator模块的DataProcPySparkOperator向该集群提交PySpark作业。例如，我希望能够传递一个project_id，但当任务运行时，我最终得到了一个404错误： from airflow.contrib.

浏览 22提问于2020-08-13得票数 0

回答已采纳

1回答

Google cloud composer:任务未在计划的dag运行中执行，但在手动dag运行中成功执行

airflow、airflow-scheduler、google-cloud-composer

我试图检查"Cloud Composer Environment“的Stackdriver日志-但没有发现任何可疑的日志条目。我还检查了airflow UI中的任务日志-它们是空的。为什么计划的dag运行停滞？如何找出预定DAG出现问题的原因？

浏览 10提问于2020-02-23得票数 1

回答已采纳

1回答

来自cloud composer的Python数据流作业在运行时遇到问题

python、google-cloud-platform、airflow、dataflow

下面的Airflow DAG(Cloud Composer)被消息卡住：{gcp_dataflow_hook.py:121} INFO - Running command /home/airflow/gcs/dags/dataflow/pyfile.py --runner DataflowRunner......"我在数据流中看不到提

浏览 0提问于2020-12-29得票数 0

1回答

同一GKE群集上的多个气流设置

airflow、google-kubernetes-engine、google-cloud-composer、dbt

我们目前正在考虑在相同的GKE集群上设置多个Airflow堆栈，但在不同的命名空间中(以节省成本)来运行DBT作业。其命名空间中的每个Airflow堆栈将使用RBAC身份验证来授权最终用户运行或观察作业。我知道这不是一个典型的用例，但另一种选择是为每个服务线都有一个单独的Cloud Composer，这将是相当昂贵的。任何帮助都是非常感谢的:)

浏览 1提问于2021-05-05得票数 0

1回答

在Google Composer/Airflow上使用KubernetesPodOperator挂载文件夹

kubernetes、airflow、google-cloud-composer

我正在尝试挂载dags文件夹，以便能够在Aiflow上的KubernetesPodOperator中运行python脚本，但我不知道怎么做。在生产中，我想在谷歌作曲家。这是我的任务： task_id='pod-ex-minimum', arguments=["cd /usr/local/tmp"], ima

浏览 4提问于2021-10-12得票数 1

2回答

如何在GCP编写器环境(1.10.6)中使用SFTPToGCSOperator？

google-cloud-platform、google-cloud-composer、airflow

这里我想在GCP的composer环境(1.10.6)中使用SFTPToGCSOperator。我知道有一个限制，因为操作员只存在于最新版本的airflow中，而不存在于composer最新版本1.10.6中。task_id="t_sftp_to_gcs", gcp_conn_id="google_cloud_defaultdestination_bucket",

浏览 4提问于2020-05-13得票数 2

1回答

Cloud Composer:如何在通过gcloud CLI运行的DAG中运行单个任务

airflow、google-cloud-composer

我正在尝试在GCP cloud composer airflow实例上的DAG中运行单个任务，并将dag中的所有其他任务都标记为成功。然而，下面的airflow命令似乎对我在cloud composer上不起作用。task_id: "echo1" <br> execution_date

浏览 0提问于2020-07-04得票数 0

2回答

如何使用Cloud Composer选择Airflow或Python版本？

google-cloud-platform、airflow、google-cloud-composer

我想使用不同版本的Airflow和/或Python。我怎样才能改变这一点？

浏览 5提问于2018-05-02得票数 8

1回答

无法在GCP Composer上安装pypi包(Google Bigquery)

google-cloud-composer

我知道这个错误： Successfully installed google-cloud-bigquery-1.5.0 google-cloud-core-0.28.1 pypd-1.1.0 strict-rfc3339新的环境映像版本是composer-1.12.2-airflow-1.10.6。几个月前创建了另一个环境，所有的pypi软件包都已成功安装，气流达格运行平稳，其映像版本为composer-1.10.0-airflow-1.10.6。问题2:为了创建新的环境，我只有三个图像

浏览 2提问于2020-10-24得票数 0

2回答

Cloud Composer DAG级别访问控制

airflow、google-cloud-composer

根据Cloud Composer文档，不支持Airflow RBAC功能。谢谢!

浏览 4提问于2020-04-02得票数 1

2回答

无法在Cloud Composer中使用插件模块

airflow、google-cloud-composer

我正在尝试使用Cloud Composer来运行我的工作流。我想使用Airflow v1.10提供的"GoogleCloudStorageToGoogleCloudStorageOperator“operator，但当前的cloud composer不支持它(它目前只支持在Google's blog post的指导下，我自己将operator添加到了一个cloud composer环境中，直到几天前它还运行得很好。然而，就目前而言，当我尝试创建一个新

浏览 65提问于2019-01-16得票数 1

点击加载更多