下面是我用于spark-submit的参数。--num-executors 8\ --executor-cores 50 \ --driver-memory 20G \ --executor-memory 60G \正如上面的executor-memory
浏览 4提问于2017-06-16得票数 1
在执行spark-submit作业时，更改默认并行度的语法是什么？在提交spark作业时，我可以通过以下命令指定executor、executor内核和executor内存的数量： spark-submit --num-executors 9 --executor-cores5 --executor-memory 48g 在conf文件中指定并行度为： spark.conf.set("spark.default.parallelism&quo
浏览 41提问于2020-09-27得票数 0
回答已采纳
1回答
当我提交这个命令时，我的作业失败了，错误是“容器正在超越物理内存限制运行”。spark-submit --master yarn --deploy-mode cluster --executor-memory 5G --total-executor-cores 30 --num-executorsspark-submit --master yarn --deploy-mode cluster --executor-memory 5G --total executor-c
浏览 0提问于2018-11-09得票数 2
回答已采纳
conf.set("spark.yarn.am.cores", "1");conf.set("spark.executor.cores", "3");
conf.set("spark.executor</em
浏览 2提问于2017-05-04得票数 5
回答已采纳
虽然上述问题有许多答案，但在大多数情况下，他们的作业没有运行，但在我的例子中，它是在成功执行之前的一些作业后失败的。我的数据大小仅小于20MB。我的集群配置是：
因此，我的问题是我应该在服务器配置中进行哪些更改。如果问题来自我的代码，那么为什么它在大多数情况下都是成功的。请给我建议和建议解决方案。
浏览 2提问于2019-10-31得票数 3
该函数解决了一个优化问题，每个数据行都需要大约半秒钟的时间来解决。然而，如果我的数据集只有10个样本，星火将处理所有的一切就像预期的一样好。ResultTask.scala:87) at org.apache.spark.executor.ExecutorResultTask.scala:87)
浏览 3提问于2018-06-24得票数 1
回答已采纳
我正在使用以下运行时火花配置值
我有一个pairRDD，它有8362269460行，分区大小是128个.It，当pairRDD.groupByKey.saveAsTextFile .Any提示时会引发这个错误org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66) at org.apache.spark.scheduler.Task.run(Task.scala:88) at org.apac
浏览 1提问于2016-01-21得票数 3
火花提交命令中使用的executor-cores和spark.executor.cores之间有什么区别吗？
由于GC开销内存错误，我的工作失败了，所以我试图增加内核和内存设置。
浏览 2提问于2016-02-01得票数 0
回答已采纳
config("spark.dynamicAllocation.enabled", "false") .config("spark.executor.memory","471859200") //.master(&qu
浏览 2提问于2017-02-04得票数 0
回答已采纳
我们目前遇到一个问题，Spark显示我们的每个节点只有4 4GB的内存。但是，我们通过设置spark-worker.jvmOptions = -Xmx10g分配了10 by的内存。我们找不出是什么导致了这种不寻常的限制/不正确的内存分配。 当我们运行spark作业时，它会运行，就好像每个worker只有4 4GB的内存。 任何帮助都是最好的！谢谢!
浏览 38提问于2021-02-09得票数 0
YarnSchedulerBackends$YarnSchedulerEndpoint:超过内存限制被YarnSchedulerEndpoint杀死的容器。使用了2.5 of物理内存中的2.6 of。考虑提升spark.yarn.executor.memoryOverhead。
我在创建SparkSession时在程序中设置了spark.yarn.executor.memoryOverhead。我的问题是-在创建SparkSession时设置"spark.yarn.executor</e
浏览 18提问于2018-07-28得票数 1
回答已采纳
但当我尝试使用以下命令运行应用程序时-它在控制台中给出警告消息-
TaskSchedulerImpl: Initial job
浏览 0提问于2016-02-10得票数 0
如果我在worker pid中使用ps命令，它看起来像是设置为1G的内存spark.serializer org.apache.spark.serializer.KryoSerializerspark.executor.cores 1expor
浏览 0提问于2016-01-13得票数 0
SparkConf不读取传递给spark-submit的配置参数。sc.stop()PYSPARK_PYTHON="/opt/anaconda/bin/python" spark-submit foo.py \但是没有应用任何配置参数。也就是说，应用程序的缺省值为: local* (主)、1g (驱动
浏览 2提问于2015-11-19得票数 3
回答已采纳
1回答
我在通过Oozie运行Spark作业时遇到了一个问题，因为有依赖作业，比如第一个作业将触发第二个作业，第二个作业将触发第三个作业，在某些情况下，我会得到超时错误，因为SparkContext没有创建，最终数据无法加载到配置单元
浏览 4提问于2016-08-23得票数 0
我有Cloudera集群，其纱线容量为600 Vcore和3600 GiB内存。但是Admin已经将纱线容器的最大内存配置为6GB。我的用户拥有尽可能多的权限分配尽可能多的容器。当我试图在大小为50 Gb的数据集上运行火花作业时，由于执行器内存开销的错误，作业会失败。
当一个容器内存不够的时候，为什么不能尝试新的容器呢？
浏览 4提问于2017-06-05得票数 1
火花版本: 1.6spark-submit --master yarn-client --num-executors 10 --executor-memory 4G--executor-cores 4
错误: ExecutorLostFailure4.5GB的3GB物理内存使用限制。考虑提高spark.yarn.executor.memoryOv
浏览 1提问于2017-06-14得票数 0
使用此方法提交本地群集模式：
22/05/16 17:45:25 ERROR TaskSchedulerImpl: Lost executorCheck driver logs for WARN messages. at java.lang.Thread.run(Thread.java:74
浏览 20提问于2022-05-16得票数 1
这个问题适用于一些Spark从服务器也运行其他应用程序的用例。有没有办法告诉Spark Master服务器只使用从服务器的特定数量的CPU核心或内存？
谢谢。
浏览 18提问于2017-06-23得票数 2
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
