腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
0
回答
Spark-submit
executor
内存
问题
、
、
下面是我用于
spark-submit
的参数。--num-executors 8\ --
executor
-cores 50 \ --driver-memory 20G \ --
executor
-memory 60G \正如上面的
executor
-memory
浏览 4
提问于2017-06-16
得票数 1
1
回答
在
spark-submit
命令中设置default.parallelism
、
、
在执行
spark-submit
作业时,更改默认并行度的语法是什么?在提交spark作业时,我可以通过以下命令指定
executor
、
executor
内核和
executor
内存
的数量:
spark-submit
--num-executors 9 --
executor
-cores5 --
executor
-memory 48g 在conf文件中指定并行度为: spark.conf.set("spark.default.parallelism&quo
浏览 41
提问于2020-09-27
得票数 0
回答已采纳
1
回答
火花:驱动
内存
参数的使用
、
当我提交这个命令时,我的作业失败了,错误是“容器正在超越物理
内存
限制运行”。
spark-submit
--master yarn --deploy-mode cluster --
executor
-memory 5G --total-
executor
-cores 30 --num-executors
spark-submit
--master yarn --deploy-mode cluster --
executor
-memory 5G --total
executor
-c
浏览 0
提问于2018-11-09
得票数 2
回答已采纳
1
回答
EMR Spark作业使用的执行器少于群集中的节点
、
在不向
spark-submit
添加任何额外的配置参数的情况下,我想测试这个集群配置。
浏览 8
提问于2018-01-29
得票数 1
回答已采纳
2
回答
在纱线上以群集模式运行Spark时不使用SparkConf设置
、
、
、
conf.set("spark.yarn.am.cores", "1");conf.set("spark.
executor
.cores", "3"); conf.set("spark.
executor</em
浏览 2
提问于2017-05-04
得票数 5
回答已采纳
2
回答
数据库Spark: java.lang.OutOfMemoryError:超出了GC开销限制
、
、
虽然上述
问题
有许多答案,但在大多数情况下,他们的作业没有运行,但在我的例子中,它是在成功执行之前的一些作业后失败的。我的数据大小仅小于20MB。我的集群配置是: 因此,我的
问题
是我应该在服务器配置中进行哪些更改。如果
问题
来自我的代码,那么为什么它在大多数情况下都是成功的。请给我建议和建议解决方案。
浏览 2
提问于2019-10-31
得票数 3
1
回答
处理更大的数据集时,火花作业失败。
、
该函数解决了一个优化
问题
,每个数据行都需要大约半秒钟的时间来解决。然而,如果我的数据集只有10个样本,星火将处理所有的一切就像预期的一样好。ResultTask.scala:87) at org.apache.spark.
executor
.
Executor
ResultTask.scala:87)
浏览 3
提问于2018-06-24
得票数 1
回答已采纳
1
回答
火花应用程序java.lang.OutOfMemoryError:直接缓冲存储器
、
、
我正在使用以下运行时火花配置值 我有一个pairRDD,它有8362269460行,分区大小是128个.It,当pairRDD.groupByKey.saveAsTextFile .Any提示时会引发这个错误org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66) at org.apache.spark.scheduler.Task.run(Task.scala:88) at org.apac
浏览 1
提问于2016-01-21
得票数 3
1
回答
火花提交命令中的spark.
executor
.cores和
executor
核之间有什么区别?
、
火花提交命令中使用的
executor
-cores和spark.
executor
.cores之间有什么区别吗? 由于GC开销
内存
错误,我的工作失败了,所以我试图增加内核和
内存
设置。
浏览 2
提问于2016-02-01
得票数 0
回答已采纳
1
回答
无法从星星之火中的java代码启动作业;初始作业未接受任何资源
、
、
config("spark.dynamicAllocation.enabled", "false") .config("spark.
executor
.memory","471859200") //.master(&qu
浏览 2
提问于2017-02-04
得票数 0
回答已采纳
2
回答
Spark UI显示错误的
内存
分配
我们目前遇到一个
问题
,Spark显示我们的每个节点只有4 4GB的
内存
。但是,我们通过设置spark-worker.jvmOptions = -Xmx10g分配了10 by的
内存
。我们找不出是什么导致了这种不寻常的限制/不正确的
内存
分配。 当我们运行spark作业时,它会运行,就好像每个worker只有4 4GB的
内存
。 任何帮助都是最好的!谢谢!
浏览 38
提问于2021-02-09
得票数 0
1
回答
在哪里设置"spark.yarn.
executor
.memoryOverhead“
、
YarnSchedulerBackends$YarnSchedulerEndpoint:超过
内存
限制被YarnSchedulerEndpoint杀死的容器。使用了2.5 of物理
内存
中的2.6 of。考虑提升spark.yarn.
executor
.memoryOverhead。 我在创建SparkSession时在程序中设置了spark.yarn.
executor
.memoryOverhead。我的
问题
是-在创建SparkSession时设置"spark.yarn.
executor</e
浏览 18
提问于2018-07-28
得票数 1
回答已采纳
1
回答
在Apache Spark中使用
spark-submit
运行应用程序时,给出了警告消息
、
、
、
、
但当我尝试使用以下命令运行应用程序时-它在控制台中给出警告消息- TaskSchedulerImpl: Initial job
浏览 0
提问于2016-02-10
得票数 0
4
回答
Spark忽略了SPARK_WORKER_MEMORY?
如果我在worker pid中使用ps命令,它看起来像是设置为1G的
内存
spark.serializer org.apache.spark.serializer.KryoSerializerspark.
executor
.cores 1expor
浏览 0
提问于2016-01-13
得票数 0
2
回答
SparkConf不读火花提交论点
、
SparkConf不读取传递给
spark-submit
的配置参数。sc.stop()PYSPARK_PYTHON="/opt/anaconda/bin/python"
spark-submit
foo.py \但是没有应用任何配置参数。也就是说,应用程序的缺省值为: local* (主)、1g (驱动
浏览 2
提问于2015-11-19
得票数 3
回答已采纳
1
回答
Oozie作业调度导致超时错误
、
、
我在通过Oozie运行Spark作业时遇到了一个
问题
,因为有依赖作业,比如第一个作业将触发第二个作业,第二个作业将触发第三个作业,在某些情况下,我会得到超时错误,因为SparkContext没有创建,最终数据无法加载到配置单元
浏览 4
提问于2016-08-23
得票数 0
1
回答
为什么在
内存
不足的情况下,火花不分配新的纱线容器?
、
我有Cloudera集群,其纱线容量为600 Vcore和3600 GiB
内存
。但是Admin已经将纱线容器的最大
内存
配置为6GB。我的用户拥有尽可能多的权限分配尽可能多的容器。当我试图在大小为50 Gb的数据集上运行火花作业时,由于执行器
内存
开销的错误,作业会失败。 当一个容器
内存
不够的时候,为什么不能尝试新的容器呢?
浏览 4
提问于2017-06-05
得票数 1
1
回答
纱线火花HBase - ExecutorLostFailure容器因超过记忆限制而被纱线杀死
、
、
、
火花版本: 1.6
spark-submit
--master yarn-client --num-executors 10 --
executor
-memory 4G--
executor
-cores 4 错误: ExecutorLostFailure4.5GB的3GB物理
内存
使用限制。考虑提高spark.yarn.
executor
.memoryOv
浏览 1
提问于2017-06-14
得票数 0
1
回答
在Apache中运行“本地集群”模型时,如何防止执行器过早分离?
、
、
使用此方法提交本地群集模式: 22/05/16 17:45:25 ERROR TaskSchedulerImpl: Lost
executor
Check driver logs for WARN messages. at java.lang.Thread.run(Thread.java:74
浏览 20
提问于2022-05-16
得票数 1
1
回答
Spark -上限从服务器的CPU核心或
内存
数量
这个
问题
适用于一些Spark从服务器也运行其他应用程序的用例。有没有办法告诉Spark Master服务器只使用从服务器的特定数量的CPU核心或
内存
? 谢谢。
浏览 18
提问于2017-06-23
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
热门
标签
更多标签
云服务器
ICP备案
对象存储
云直播
腾讯会议
活动推荐
运营活动
广告
关闭
领券