需要一些关于在airflow上运行数据流作业的建议，.I可以使用Python sdk在本地和数据流运行器上运行光束作业。但无法使用DataflowPythonOperator通过airflow编排作业(不确定它是否已被弃用)。我使用Dataflowjavaoperator编排jar文件没有任何问题。_operator = DataFlowPythonOperator( gc
浏览 23提问于2021-07-29得票数 0
我正在使用GCP作曲家来编排ETL…。在创建实例时，我将Python版本设置为Python 3每当我们部署到composer-1.7.9-airflow-1.10.1时，任务都会使用Python2.7…运行
如果从Composer启动，它还总是
浏览 3提问于2019-12-16得票数 1
回答已采纳
我试图在气流中运行一个作业，它执行数据流作业。我意识到有两个操作符，即BeamRunPythonPipelineOperator和DataFlowPythonOperator，这两个操作符都可以将作业提交给数据流，但我担心它们之间的区别。
浏览 17提问于2021-12-20得票数 0
回答已采纳
1回答
需要更改超过1000个dataflow作业的网络。现在，它们运行在默认网络中，我们需要更改作业以使用custom/shared VPC。我想使用下面的gcloud dataflow，它支持--network parameter来改变网络，但它可能并不适用于所有的作业。region us-central1 --subnetwork regions/us-east1/subnetworks/newkube --disable-public-ips
我主要关心的是，如果我
浏览 4提问于2020-07-23得票数 0
回答已采纳
我想了解一下spring云数据流的体系结构。特别是使用它来编排纯粹的批处理管道。我已经在k8s中部署了所有组件，并且注意到我可以在没有中间件(Kafka / RabbitMQ)的情况下部署skipper组件，并通过服务器组件成功地运行批处理作业。根据我可以看到的文档，skipper用于编排流作业。当纯粹用于批处理作业或任务时，skipper (以及随后的Kafka/RabbitMQ中间件)是否是春季云数据流的必要部分？
浏览 0提问于2020-04-23得票数 0
回答已采纳
我正在使用composer为到达到BigQuery的GCS文件编排ETL。我有一个云函数，它在文件到达时触发进程，云函数将文件名/位置传递给DAG。在我的DAG中，我有两个任务：
1)使用DataflowPythonOperator运行数据流作业，该作业读取GCS中的文本中的数据，并将其转换为BQ，2)根据作业失败或成功与否将文件移动到失败/成功桶我查看了其他气流操作符，但在运行数据流作业之前，我
浏览 0提问于2019-01-09得票数 3
回答已采纳
背景：jobExplorer.findRunningJobExecutions("job_A")
然后，对于job_A的每次执行，它调用：因此，即使在"JobRepository“中找到了JobRepository，因为存储库在数据库中查找，但是在"JobRegistry”中没有找到它，它是在其运行时环境中创建的作业bean的本地缓存，因为我搜索了这个问题，只找到了关于如何停止作业的一般答案，但是我没有找到任何人解释如何停
浏览 2提问于2017-10-19得票数 1
回答已采纳
1回答
我有一个在python3.7中用apache创建的数据流，在这里我处理了一个文件，然后我不得不删除它。该文件来自google桶，问题是当我使用DataflowRunner运行程序时，我的工作无法工作，因为Google python3.7环境中没有安装Google云存储API。你们知道吗，不使用这个API，我怎么才能删除数据流中的文件呢？我见过apache_beam模块，如，但我不知道如何使用它，也没有找到关于如何使用该模块的教程或示例。
浏览 4提问于2020-07-15得票数 1
回答已采纳
我想使用composer数据流操作符编排数据流作业。我的数据流jar需要另外两个jar，它不能作为maven依赖项添加。目前，我正在使用以下命令手动运行我的工作：
java -cp Mainprocess.jar com.sample.class com.auth.dependency --tmp -staging
浏览 2提问于2020-09-21得票数 0
回答已采纳
我想使用spring- complex -task来执行我的应用程序，并且我已经构建了复杂的spring-batch Flow Job，它可以很好地执行。
浏览 0提问于2017-06-06得票数 5
我正在通过Airflow并行编排多个数据流作业。流水线执行中的任务之一是推送唯一的xcom键来存储每个流水线的临时值，该临时值用于向Bigquery表中插入一个值。我不想删除仍在并行运行的其他数据流作业可能生成的其他xcom键。它们是清除特定xcom密钥的方法吗？
浏览 3提问于2021-09-05得票数 0
我在数据流中看不到提交的作业。你知道这里缺少什么吗？task1 = DataFlowPythonOperator(py_file = '/home/airflow/gcs/dags/dataflow/pyfile.py
浏览 0提问于2020-12-29得票数 0
ADF管道和ADF数据流有什么区别？为什么管道和数据流支持的汇/源是不同的？是否有可能创建一个管道来读取来自源的数据、筛选、使用连接并将数据存储到没有数据流的接收器中？请让我知道。
浏览 0提问于2020-05-14得票数 8
回答已采纳
我正在尝试编排一个GCP工作流，以便首先在Big query中运行一个查询，以获得一些元数据(name & id)，然后将其传递到工作流中的另一个步骤，该步骤将这些参数作为输入启动数据流作业。所以我一步一步地想要这样的东西：这是可能的，还是有更好的解决办法？
浏览 5提问于2022-09-19得票数 0
我想在数据流作业成功完成后将消息发布到发布/订阅主题。 为此，我使用wait_until_finish()，然后在确认管道已完成(当前状态为JOB_STATE_DONE)后发布一条消息。当我在本地执行管道(使用DirectRunner或DataflowRunner)时，我得到了所需的结果。但是，当我将此管道部署到模板，然后从模板创建作业时，p.run()外部的代码不会执行。result.wait_until_finish()
publish_job_completion(result,
浏览 13提问于2019-08-30得票数 0
1回答
Spring数据流支持批处理吗？
、、、、
我们遇到了Spring /XD/cloud数据流。从对文档的快速回顾来看，我们无法评估Spring是否也具有spring将提供的所有批处理功能。例如，这里是SPring批处理文档()所说的："Spring提供了处理大量记录所必需的可重用函数，包括日志/跟踪、事务管理、作业处理统计、作业重新启动、跳过和资源管理。“
如果有人对春云数据流中的批处理功能有任何了解，请在这里发帖。非常感谢！
浏览 4提问于2016-05-18得票数 4
回答已采纳
我对Spring Cloud数据流非常陌生，并且对Spring Batch有足够的经验。有人可以分享一些Spring Batch和Spring Cloud数据流的教程链接吗？我正在寻找编排来按顺序运行Job1，Job2和Job3，在某些情况下它是同一Jar的一部分，在某些情况下这些是独立的Jar。我也在寻找作业重新启动，应该能够看到有关作业的所有细节。
浏览 20提问于2021-09-28得票数 0
我们正在研究在本地系统环境中实现spring云数据流，以便为日常事务处理流和任务作业。不使用PCF、Kubernetes、纱线或Mesos，我们正在考虑使用本地服务器进行编排。在生产中使用它会有什么问题吗？
浏览 3提问于2016-11-12得票数 2
回答已采纳
我正在寻找流GCP数据流作业的编排软件-可以提供警报，状态，作业启动等类似于在Kubernetes上所做的事情。答案建议使用Airflow，因为他们有一些钩子连接到GCP -这将是很好的，因为我们有一些其他的基础设施在Airflow上运行。然而，我不确定这是否能够处理流式作业-我的理解是，Airflow是为将要完成的任务而设计的，而流式作业不是这样的。气流对此合适吗？或者我应该使用不同的软件？
浏览 0提问于2017-06-20得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
腾讯会议活动推荐
腾讯云开发者
