我是Python和Airflow的新手，我已经使用pythonoperator在Python脚本中创建了4个任务。现在我需要再创建一个任务，这个任务可以用Dataproc Cluster来创建。提前感谢！
浏览 28提问于2019-08-05得票数 2
1回答
你好，我需要帮助的是Airflow.We使用气流1.10。如果任务fails.We在气流2.0中确实有重试参数，我们需要重新尝试创建和删除dataproc集群的任务，但是我们没有任何这样的参数来重新尝试创建和删除气流1.1中的集群。如果创建或删除dataproc集群失败，那么我们可以尝试重新创建它。
浏览 8提问于2022-04-25得票数 1
回答已采纳
我们正在GKE上运行一个名为Airflow ()的开源产品。在这个吊舱中运行的进程需要与GCP的Dataproc服务进行交互，以便创建Dataproc集群。我们使用运行我们的GKE应用程序。MEMBERS
roles/iam.workloadIdentityUser serviceAccount:mygcpproject.svc.id.goog[static11-dsp-dp-airflow/d
浏览 3提问于2020-09-17得票数 1
回答已采纳
我们使用Airflow的DataprocCreateClusterOperator在GCP(Dataproc)上创建星火集群，并希望启用Spark接口。在创建使用终端时，我们在create集群命令中传递--enable-component-gateway。我们如何使用DataprocCreateClusterOperator实现这一目标？我们尝试
浏览 7提问于2022-03-27得票数 3
回答已采纳
2回答
我可以知道如何使用airflow在DataProc集群上执行HDFS copy命令吗？在使用airflow创建集群之后，我必须将一些jar文件从Google存储复制到HDFS主节点文件夹。
浏览 2提问于2021-05-04得票数 3
我想在使用一个简单的shell脚本创建一个dataproc集群后，将jars添加到该集群的特定位置。一旦创建了dataproc集群，下一步就是执行bash脚本，该脚本将把jar添加到data proc集群中。 您能建议使用哪个airflow操作符在dataproc集群上执行bash脚本吗？
浏览 21提问于2019-05-08得票数 2
我的一个工作流使用DataprocClusterCreateOperator在不同的项目中创建了一个Dataproc集群，然后尝试使用来自airflow.contrib.operators.dataproc_operator模块的DataProcPySparkOperator向该集群提交PySpark作业。要创建集群，我可以指定一个project_id参数来在另一个项目中创建它，但是DataProc
浏览 22提问于2020-08-13得票数 0
回答已采纳
我正在使用Gcloud Composer，试图创建一个创建DataProc集群的DAG，运行一个简单的Spark作业，然后拆卸集群。我正在尝试运行Spark PI示例作业。JAR; please specify one with --class
Run with --help for usage help or --verbose for debug output 我对如何解决这个问题感到有点困惑，因为我对Spark和DataProc都是新手。我的DA
浏览 37提问于2019-02-20得票数 1
回答已采纳
1回答
在Python语言编写的Airflow operator (DataprocWorkflowTemplateInstantiateInlineOperator)的帮助下，我使用Dataproc工作流模板提交了一个由于我无法获取jobId，所以我尝试将jobId作为参数从REST API传递，但这并不起作用。 我可以获取jobId吗?或者，如果不可能，我可以将jobId作为参数传递吗？
浏览 17提问于2019-02-06得票数 2
回答已采纳
1回答
我发现是非常有希望的托管Airflow服务，但我不知道如何使用Composer使用PySpark代码执行管道。我能够安装其他Python软件包，例如Pandas，并使用Composer。
浏览 1提问于2021-07-03得票数 1
回答已采纳
我在Google dataproc集群版本1.4和spark版本2.4.5中运行spark作业，它从GS存储桶中读取路径中具有正则表达式的文件，并获取以下错误。Exception in thread "main" org.apache.spark.sql.AnalysisException: Path does not exist: gs://<gs_path>/<file_name>_\d*.dat;
at org.apache.spark
浏览 219提问于2020-08-07得票数 1
使用DataprocCreateClusterOperator在Dataproc集群中安装软件包时，我面临一些问题，我正在尝试升级到气流2.0ValueError: metadata was', 'gl-python/3.8.12 grpc/1.39.0 gax/1.31.1 gccl/airflow_v2.1.2+composer')] from
浏览 6提问于2021-12-21得票数 1
回答已采纳
在我们的项目中，我们使用的是DataprocClusterCreateOperator，它是在from airflow.contrib.operators import dataproc_operator我们正在升级到气流2.1.2，当测试或测试需要旋转DataProc集群时，我们发现错误为airflow.exceptions.AirflowException: Invalid arguments were我
浏览 16提问于2021-12-15得票数 1
回答已采纳
我正在尝试使用Dataproc of Airflow从一个Cloud Composer DAG创建一个DataprocCreateClusterOperator集群。我需要从我的Cloud SQL集群访问Dataproc，因此也需要在集群上安装Cloud SQL proxy。additional-cloud-sql-instances" : "<<PROJECT_ID>>:<<REGION>
浏览 1提问于2022-07-09得票数 2
我试图通过Apache气流版本:1.10.15Composer版本: 1.16.4通过DataprocClusterCreateOperator创建dataproc集群，我希望将项目使用的临时存储桶分配给集群，而不是谷歌在运行时创建的存储桶。当我们通过命令行使用option创建集群时，这个选项是可用的，但是这个变量不能通过ClusterCreateOperator传递。Dataproc</e
浏览 13提问于2022-03-04得票数 2
回答已采纳
谁能告诉我如何在本地气流部署中配置kuberenetes执行器。我创建了一个名为airflow-cluster的集群，并创建了pod_template.yaml，并在airflow.cfg中进行了以下更改。/logs/yamls/pod_template.yamlworker_container_tag = 2.2.3，但
浏览 4提问于2022-01-21得票数 1
我是python的新手，这里我想使用http请求创建dataproc集群。我遵循下面的dataproc文档，它们在REST API部分中提到。请参阅下面的Endpoint_URL = "https://dataproc.googleapis.com/v1/projects/*******/regions/us-central1url=Endpoint_URL,
浏览 20提问于2019-08-09得票数 2
Dataproc是一种基于GCP的Apache-Hadoop。我需要一些关于集群配置的术语的明确性。假设我使用本地Hadoop集群配置了1个namenode和n个数据节点。我是否需要在Dataproc上有1个主节点和n个工作节点与之对应。我还想利用Dataproc的自动缩放功能。在将本地Hadoop基础架构迁移到GCP Dataproc时，我们是否有任何需要遵循的标准检查清单？
浏览 13提问于2019-12-03得票数 2
回答已采纳
创建dataproc集群的操作符似乎无法启用可选组件来启用jupyter、记事本和anaconda。在创建集群时，操作符工作得很好，但它不使用可选组件创建以启用jupyter记事本。有人想办法帮我吗？from airflow.contrib.sensors.gcs_sensor import GoogleCloudStoragePrefixSensor
from airflow import DAGfrom datetime impo
浏览 6提问于2022-02-22得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
