到目前为止，我已经将以下内容包含在运行在运算符集群中的pyspark脚本的顶部：logging.info('Test bare logger')默认情况下，气流是否在集群中设置</
浏览 2提问于2020-12-08得票数 2
回答已采纳
我想创建一个工作流模板，以便启动群集、运行作业和删除群集。在作业中，我希望传入可以动态设置的属性。例如，将属性设置为当前日期。 下面是一个简单的例子。我正确地使用了数据函数，但这是在创建时处理的，所以如果我今天设置工作流，它看起来总是12/31/2020。我知道我可以删除作业并将其添加回每次运行的模板中，但我希望有一种更简单的方法。gcloud
浏览 18提问于2020-12-31得票数 2
我试图使用气流的在Dataproc上执行Spark。jar位于GCS上，我动态地创建Dataproc集群，然后在新创建的Dataproc集群上执行此jar。我可以使用默认设置的DataProcSparkOperator来执行这一操作，但是我无法配置火花作业属性(例如--master、--deploy-mode、--driver-memory等)。从空气流动的文件中没有得到任何帮助。也尝试过很多事情，但都没有成功。我们
浏览 0提问于2019-01-01得票数 4
回答已采纳
假设我有一个包含100个工作节点的Dataproc集群，这些节点具有特定的规范。当我向dataproc提交作业时，每个作业是否有使用分配限制 例如，作业A运行的节点不能超过所有节点总数的50% 我们有这样的限制吗？或者任何作业都可以分配集群的所有资源
浏览 22提问于2020-06-26得票数 1
回答已采纳
1回答
我在Dataproc中运行了一个pyspark作业。目前，我们正在登录控制台/纱线日志。根据我们的要求，我们需要将日志存储在GCS桶中。有没有一种方法可以直接登录到GCS中带有python日志模块的文件？
我尝试用下面的配置设置日志模块。
浏览 4提问于2022-10-14得票数 2
回答已采纳
我们正尝试在集群模式下运行Dataproc集群，但失败了。我们已经尝试了属性--properties spark.submit.deployMode=cluster，但失败了。有没有人能提供更多关于如何设置的信息？
提前谢谢。
浏览 18提问于2020-02-24得票数 2
我在dataproc中以作业的形式运行以下代码。在“群集”模式下运行时，无法在控制台中找到日志。total_seconds()如果使用deployMode作为cluster属性触发作业但是，如果作业是在默认模式(即client模式)中触发的，
浏览 23提问于2021-12-07得票数 3
回答已采纳
在GCP中，我们希望在一个data[proc集群]上以集群模式运行一个spark作业。目前，我们使用以下命令：-
gcloud dataproc jobs submit spark --cluster xxxx-xxxx-dataproc-cluster01 --region us-west2spark.submit.deployMode=cluster --properties=spark.driver.extraClassPath=/xxxx/xxxx/
浏览 14提问于2020-03-16得票数 2
2回答
Dataproc作业中应该有succeeded/failed/pending状态，我当然可以在云控制台上Dataproc下的Jobs部分看到这一点。但是，如何在云监控/堆栈驱动程序中可视化所有这些状态？我<
浏览 5提问于2021-02-02得票数 2
我想知道哪些信任会影响火花驱动程序和执行器日志存储在Dataproc上的位置，以及默认行为是什么。
浏览 4提问于2022-06-08得票数 0
1回答
我希望在给定集群上提交作业，所有作业都应该按顺序运行(如AWS EMR)，也就是说，如果第一个作业处于运行状态，那么接下来的作业将进入待定状态，完成第一个作业后，第二个作业开始运行。我试着在集群上提交作业，但它并行运行所有作业--没有作业进入待定状态。
是否可以在Dataproc集群中设置任何配置，以便所有作业都按顺序运行？qu
浏览 0提问于2018-12-19得票数 1
回答已采纳
我需要在Dataproc集群中运行数百个并发作业，每个作业都是非常轻量级的(例如，获取表元数据的Hive查询)，不需要占用太多资源。但是似乎有一些未知的因素限制了最大并发作业数。
浏览 22提问于2021-09-09得票数 0
2回答
我有一个GCP DataProc集群，我使用它来运行大量的星火作业，每次5个。
集群为1+ 16，每节点8核/40 16 mem / 1TB存储。现在，我可能误解了一些事情，或者没有正确地做一些事情，但是我现在有5个作业一次运行，而Spark显示只有34/128个vcores在使用，而且它们似乎不是均匀分布的(作业是同时执行的，但是分布是2/7/
浏览 1提问于2019-06-25得票数 2
回答已采纳
我需要一个关于在Dataproc上设置Zookeeper集成的建议。手头的场景是一个项目，它将有3个长期运行的Dataproc集群，以及每个作业动态创建的许多临时集群。我知道我可以将Zookeeper组件添加到每个Dataproc集群，但是如何创建由多个集群组成的集成呢？
浏览 15提问于2020-07-29得票数 0
1回答
我将作业提交到Dataproc中的星火集群(使用Hadoop )。我看到，无论我为spark.master和部署模式设置了哪些属性，当我进入Spark时，作业的环境选项卡总是显示spark.master的本地属性，而且作业的不同阶段总是使用相同的executor id例如：
gcloud dataproc jobs submit spark --cluster mycluster --regionmyregion --class My
浏览 1提问于2019-10-12得票数 2
我希望在我的dataproc集群的每个节点上设置一个环境变量，以便它可以用于将运行在该集群上的pyspark作业。做这件事最好的方法是什么？除此之外，除了在dataproc初始化脚本中发出export命令之外，我想不出有什么方法可以做到这一点。
有人能提出其他选择吗？
浏览 1提问于2020-04-14得票数 4
回答已采纳
我注意到当我使用gcloud dataproc jobs submit pyspark时，作业是与spark.submit.deployMode=client一起提交的。
浏览 0提问于2018-04-05得票数 3
回答已采纳
我有一个带有映像版本- 2.0.39-ubuntu18 18的Dataproc集群，它似乎将所有日志都放入了云日志记录中，这大大增加了我们的成本。=gs://dataproc-spark-logs/joblogs --enable-component-gateway \
--bucket:dataproc</em
浏览 16提问于2022-05-30得票数 1
回答已采纳
在纱线上运行spark作业后，作业在大约9小时后失败，并显示at org.apache.spark.sql.execution.datasources.DynamicPartitionWriterContainer.writeRowsorg.apache.spark.util.Utils$.tryWithSafeFinallyAndFailureCallbacks(Utils.scala:135
浏览 1提问于2017-06-13得票数 2
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
