腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Spark
限制
每个
服务
的
执行器
数量
apache-spark
、
spark-streaming
我们使用
Spark
streaming (java)进行实时计算。Deployment有6个节点
的
spark
集群(配置设置用于跨节点
的
200个
执行器
)。目前有一个
服务
在Rabbitmq队列中发布事件。现在我们计划再添加两个
服务
。在我为
每个
队列创建
spark
接收器
的
情况下,是否可以
限制
在负载情况下为一个
服务
提供
服务
的
最大
执行器
<e
浏览 14
提问于2019-10-18
得票数 0
1
回答
在火花中,
spark
.executor.pyspark.memory配置选项
的
含义是什么?
apache-spark
、
pyspark
文件说明如下: 除非另有规定,否则在
每个
执行器
中分配给PySpark
的
内存量,在MiB中分配。如果设置了,
执行器
的
PySpark内存将被
限制
在此
数量
之内。如果没有设置,
Spark
将不会
限制
Python
的
内存使用,这取决于应用程序避免超过与其他非JVM进程共享
的
开销内存空间。当PySpark在YARN或Kubernetes中运行时,此内存将添加到
执行器
资源请求中。注意:此特性依赖于
浏览 5
提问于2021-07-04
得票数 6
回答已采纳
1
回答
Apache
Spark
:
限制
Spark
App使用
的
执行器
数量
apache-spark
、
pyspark
、
hadoop-yarn
是否可以在
Spark
上
限制
应用程序使用
的
executors
数量
?我可以用
spark
.executor.instances设置
执行器
的
初始
数量
,但后来在我
的
应用程序中,似乎
Spark
会自己添加所有可用
的
执行器
。 这使得群集上不能同时运行任何其他作业。谷歌搜索让我知道了解决方案,但
spark
.cores.max似乎不能
限制
执行者
的
总
浏览 1
提问于2017-11-07
得票数 0
1
回答
如何
限制
每个
执行器
的
并发map任务数?
mapreduce
、
apache-spark
我
的
Spark
应用程序中
的
映射操作将RDD[A]作为输入,并使用自定义映射函数func(x:A):B将RDD[A]中
的
每个
元素映射到B类型
的
另一个对象。由于func()在计算
每个
输入x时需要大量内存,因此我希望
限制
每个
执行器
的
并发映射任务
的
数量
,以便同一
执行器
上
的
所有任务所需
的
内存总量不会超过节点上可用
浏览 1
提问于2015-01-02
得票数 5
1
回答
Dataproc对
每个
作业是否有资源分配
限制
google-cloud-dataproc
假设我有一个包含100个工作节点
的
Dataproc集群,这些节点具有特定
的
规范。当我向dataproc提交作业时,
每个
作业是否有使用分配
限制
例如,作业A运行
的
节点不能超过所有节点总数
的
50% 我们有这样
的
限制
吗?或者任何作业都可以分配集群
的
所有资源
浏览 22
提问于2020-06-26
得票数 1
回答已采纳
1
回答
使用mesos,我可以在火花提交中
每个
节点启动一个
执行器
,这是真的吗?
apache-spark
、
mesos
、
spark-submit
我想知道在mesos上
每个
节点只有一个
执行器
是否是真的?
spark
.executor.cores将给出执行者
的
数量
。我已经玩了一个星期
的
火花提交设置,并且我能够在我
的
集群上得到
的
执行者
的
最大
数量
是5 (1用于驱动程序,4用于实际工作)。这是基于
Spark
中
的
Executors选项卡。在Mesos部分
的
调度程序中,它说 在粗粒度模式下,
每个
Mes
浏览 1
提问于2018-01-31
得票数 2
回答已采纳
1
回答
如何让
spark
kafka流中
的
消费群体,将消费者分配到消费群体中
java
、
apache-spark
、
apache-kafka
我有一个名为topic_1
的
主题,并创建了4个分区。我需要在Kafka
spark
stream中并行阅读。所以我需要创建一个消费者组和消费者。 你能帮帮我吗?我该怎么做?现在Kafka星火流,一次接受来自Kafka
的
一个请求。
浏览 0
提问于2020-10-15
得票数 0
1
回答
如果
spark
.executor.instances和
spark
.cores.max不工作,如何在
Spark
独立模式下增加
执行器
的
数量
apache-spark
、
pyspark
我到处找都找不到我需要
的
答案。我在独立模式下运行
Spark
1.5.2,
SPARK
_WORKER_INSTANCES=1,因为我只想在
每个
主机上
每个
worker上运行一个executor。我想要
的
是为我
的
工作增加主机
数量
,从而增加
执行器
的
数量
。我尝试更改
spark
-defaults.conf中
的
spark
.executor.instances和<e
浏览 0
提问于2016-05-19
得票数 0
1
回答
Spark
-上限从
服务
器
的
CPU核心或内存
数量
apache-spark
我使用
的
是
Spark
2.1。这个问题适用于一些
Spark
从
服务
器也运行其他应用程序
的
用例。有没有办法告诉
Spark
Master
服务
器只使用从
服务
器
的
特定
数量
的
CPU核心或内存? 谢谢。
浏览 18
提问于2017-06-23
得票数 2
1
回答
Oozie作业调度导致超时错误
apache-spark
、
ssh
、
oozie
我在通过Oozie运行
Spark
作业时遇到了一个问题,因为有依赖作业,比如第一个作业将触发第二个作业,第二个作业将触发第三个作业,在某些情况下,我会得到超时错误,因为SparkContext没有创建,最终数据无法加载到配置单元我通过oozie-Ssh Action在Oozie中调度了5个相互依赖
的
作业。 如果我
的
描述没有意义,让我知道我会粘贴错误
浏览 4
提问于2016-08-23
得票数 0
1
回答
Spark
:最优使用
执行器
apache-spark
、
pyspark
我正在运行一个有5个
执行器
的
Spark
应用程序,
每个
执行器
有5个核心。然而,我注意到只有一个
执行器
完成了大部分工作(也就是说,大多数任务都是在那里完成
的
)。我正在运行
的
作业是高度并行
的
(20个分区或更多)。你如何解释这种行为? 即使我减少了
每个
执行器
的
核心
数量
,也会导致同时在单个
执行器
上运行更少
的
任务。我是否应该
限制</
浏览 0
提问于2016-06-09
得票数 0
2
回答
使用火花-提交,
multithreading
、
hadoop
、
apache-spark
、
pyspark
、
cpu-cores
该集群目前由10个奴隶组成,
每个
核心有4个。怎么才能
限制
这个号码?更新: 但是,
每个
工作人员都可以并行地运行多个任务。要
限制
每个
工作人员使
浏览 6
提问于2015-05-04
得票数 14
1
回答
Jenkins全局
限制
并发运行
的
作业总数
jenkins
有没有办法全局
限制
并发运行
的
作业总数?我知道我可以
限制
每个
作业/节点
的
并发运行次数,但我需要一种全局设置方法来将其应用于所有作业,而无需通过
每个
作业并对其进行修改 例如:总运行次数: 100这意味着并发运行
的
作业/构建不能超过100个
浏览 5
提问于2021-07-08
得票数 0
1
回答
为不同
的
工作节点设置不同
的
执行器
内存
限制
apache-spark
我在独立部署模式下使用
spark
1.5.2,并使用脚本启动。
执行器
内存是通过conf/
spark
-defaults.conf中
的
'
spark
.executor.memory‘设置
的
。这将为所有工作节点设置相同
的
内存
限制
。我想让它可以为不同
的
节点设置不同
的
限制
。我该怎么做呢?谢谢,
浏览 1
提问于2016-01-19
得票数 3
1
回答
Apache
Spark
执行器
数量
apache-spark
、
apache-spark-sql
、
spark-dataframe
、
databricks
我在databricks上有
Spark
应用程序,在32个节点
的
集群上运行它,
每个
节点有16个核心和30 16内存。我想更改一些会话配置,但无论我做什么更改,我都不能创建超过32个
的
executors (如executors页面
spark
ui所示)?我已经更改了以下配置:
spark
.executor.memory 在我阅读时,并发任务
的
最大
浏览 0
提问于2017-10-20
得票数 0
1
回答
星星之火在细粒度模式下保存资源,即使它是空闲
的
,并且不执行任何操作。
apache-spark
、
mesos
spark
-shell.sh --conf '
spark
.mesos.coarse=false' --executor-memory 20g --driver-memory 5g 我可以在Mesos上看到它不使用任何资源,这是很好
的
。为什么火花仍然需要一些资源,如果它是空闲
的
,它不执行任何行动,我如何释放所有的资源,如果它是空闲
的
?
浏览 1
提问于2016-06-02
得票数 1
回答已采纳
1
回答
spark
.cores.max是如何工作
的
?
apache-spark
我搞不懂
spark
.cores.max
的
定义
spark
.cores.max represents the total number of CPU cores for the wholeapplication它是指
每个
工作节点
的
核心总数还是全部8个工作节点中
的
核心数? 如果我将
spark
.cores.max设置为12,而
浏览 1
提问于2020-12-09
得票数 3
1
回答
为什么在EMR上使用自定义设置来减少火花
执行器
的
数量
?
amazon-web-services
、
apache-spark
、
emr
我在EMR 4.3.0上运行SMAR1.6,集群模式,设置如下: { "properties": {"
spark
.executor.cores" : "16" }, "classification": "
spark
", "properties":
浏览 3
提问于2016-04-05
得票数 2
回答已采纳
1
回答
spark
streaming中
限制
Kafka消费数据
apache-kafka
、
spark-streaming
、
kafka-consumer-api
Spark
从kafka获取数据。我想通过
spark
-streaming
限制
记录消耗。关于卡夫卡
的
数据非常庞大。我使用
spark
.streaming.kafka.maxRatePerPartition=1属性来
限制
spark
中
的
记录。但是仍然在5分钟内,我收到了13400条消息。我
的
spark
程序每5分钟不能处理超过1000条消息。Kafka topic有3个分区。我
的
spark
驱动
浏览 17
提问于2018-02-06
得票数 0
1
回答
星火显示不同
数量
的
核心,而不是使用火花提交传递给它。
apache-spark
TL;DR更多详情: 我在独立模式下运行
Spark
1.6。当我运行火花提交时,我传递给它一个
执行器
实例,其中一个是执行程序
的
核心,另一个是驱动程序
的
核心。我希望发生
的
是,我
的
应用程序将运行2个核心总数。当我检查UI上
的
环境选项卡时,我发现它收到了我给它
的
正确参数,但是它似乎仍然使用了不同
数量</
浏览 3
提问于2016-06-13
得票数 5
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
每天读一本:Spark快速大数据分析
将sklearn训练速度提升100多倍,美国“返利网”开源sk-dist框架
美国“返利网”开源sk-dist框架将sklearn训练速度提升数倍
将sklearn训练速度提升100多倍,美国「返利网」开源sk-dist框架
开源sk-dist,超参数调优仅需3.4秒,sk-learn训练速度提升100倍
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券