腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Spark
和
Executor
在
本地
模式
下
的
行为
apache-spark
在
StackOverflow中有几个关于
Spark
的
本地
模式
的
问题得到了很好
的
回答,但我找不到我
的
问题
的
答案,那就是; 我知道
在
本地
模式
下
,
spark
为驱动程序
和
executor
创建了一个JVM,所以这意味着我们有一个
executor
,它
的
内核数量与我们
的
计
浏览 38
提问于2021-01-18
得票数 1
1
回答
火花-提交:“-主local[n]”
和
“--主
本地
-执行器-核m”之间
的
区别
multithreading
、
apache-spark
我使用两个不同
的
spark
-submit参数运行了一个火花作业。
spark
-submit --master local[4] 这两个例子真的有什么区别吗?我试图让火花使用4个总线程
的
火花“任务”,2个线程
在
每个物理核心。
浏览 2
提问于2016-10-09
得票数 1
回答已采纳
1
回答
在
纱线集群上分配sparkContext错误
scala
、
apache-spark
我
的
代码
在
本地
模式
下工作,但在yarn (客户端或集群
模式
)
下
,它停止了,并显示以下错误: Exception in thread "main" org.apache.
spark
.SparkExceptionin stage 0.0 failed 4 times, most recent failure: Lost task 1.3 in stage 0.0 (TID 6, hadoopdatanode,
executor
:70)
浏览 27
提问于2019-02-27
得票数 0
回答已采纳
1
回答
增加
spark
实例
的
执行器数量
apache-spark
我正在通过pyspark启动一个
spark
实例。我使用
的
系统是EC2上
的
r3.8x,内存为244gb,vCPU为32。文件设置了一些参数,如下所示
spark
.
executor
.cores 2
spark
.
executor
.memory220g
spark
.memory.fraction 0.07
浏览 1
提问于2017-07-24
得票数 1
3
回答
限制Apache火花CPU
的
使用
apache-spark
我使用
的
是Apache (独立
模式
) ALS推荐算法
和
60 GB
的
数据,问题是当算法启动时CPU Spike为100%,我如何设置限制CPU使用
的
火花?例如,只需使用50%
的
CPU。我尝试过用较少
的
CPU核心,但它不会改变任何有关CPU
的
使用。我
在
服务器上以独立
模式
运行
spark
,配置如下:OS Name: Micro
浏览 1
提问于2019-07-21
得票数 4
3
回答
使用单个开发/测试机器并发地处理
Spark
进程分区
scala
、
apache-spark
我天真地
在
本地
模式
下
测试并发性,使用以下
spark
上下文 .builder .master但是,我希望看到我
的
应用程序将在生产
和
测试期间压缩所有可用
的
机器资源,以便发现更多并发错误
的
机会将会提高。到目前为止,我
的
机器显然不是这种情况:
在
inpu
浏览 0
提问于2019-08-25
得票数 4
1
回答
参数化
的
pytest fixture,
在
本地
和
Yarn
模式
下
运行PySpark
python
、
pyspark
、
pytest
我有一个我认为是相当常见
的
用例。我有一些为PySpark编写
的
函数,我想在
本地
和
Yarn
模式
下
进行测试。pytest fixtures在这方面工作得很好--您可以简单地编写一个
在
两种
模式
下
运行
的
参数化fixture。setMaster("yarn-client") .setAppName("pytest-pyspark-yarn-testing"
浏览 0
提问于2015-11-13
得票数 2
1
回答
pyspark local[*] vs
spark
.
executor
.cores“
python
、
apache-spark
、
pyspark
我使用python pyspark
在
本地
模式
下
运行
spark
集群。其中一个
spark
配置选项设置为:"
spark
.
executor
.cores": "8" "
spark
.cores.max": "8" 设置完所有选项后: SparkSession.builder.config(conf=
spark
_configuration) 我构建了<
浏览 51
提问于2021-08-12
得票数 0
1
回答
在
单个机器上设置带有火花放电
的
任务槽
apache-spark
、
pyspark
、
hyperopt
我试图使用SparkTrials从hyperopt库中运行ML模型
的
优化。我
在
一台有16个核
的
机器上运行这个程序,但是当我运行下面的代码(将核数设置为8个)时,我会得到一个警告,似乎只使用了一个核心。接受
spark
_session作为一个论点,理论上它是我设置核数目的地方。谢谢!= SparkSession.builder.master("local").config('
spark
.local.dir', './').
浏览 5
提问于2020-11-02
得票数 0
回答已采纳
1
回答
如何在“
本地
集群”
模式
下
测试星火程序?
apache-spark
、
classpath
我有一个
Spark
程序,它在
本地
模式
下
拥有非常完整
的
测试套件,但是当部署
在
Spark
集群上时,它演示了几个序列化
和
同步问题,测试套件无法检测到这些问题。.set("
spark
.
executor
.classpath", sys.props("java
浏览 1
提问于2015-10-09
得票数 0
回答已采纳
1
回答
在
kubernetes集群中使用
spark
_sklearn
apache-spark
、
kubernetes
、
scikit-learn
、
pyspark
我最初使用
的
是scikit-learn (sklearn)库。
在
模型优化
的
过程中,我使用了sklearn中
的
经典GridSearchCV类。集群
的
资源(pyspark
和
spark
_sklearn库)。我设法设置了一个
spark
集群,其中有一个master
和
2个worker。下面的代码运行与前面相同
的
任务,但是使用
spark
集群资源。使用
spark
集群中
的
所有可用资
浏览 0
提问于2019-11-07
得票数 0
1
回答
火花局部
模式
下
执行者
的
数量
scala
、
apache-spark
所以我
在
本地
模式
下
运行一个火花作业。scala-2.10/
spark
_proj-assembly-1.0.jar 0 large.csv 100 outputFolder2 10val conf = new SparkConf().setMaster("local[*]").setAppName(&qu
浏览 0
提问于2017-06-16
得票数 12
回答已采纳
2
回答
具有多个执行器
的
火花独立配置
apache-spark
、
pyspark
我正在尝试设置一个独立
的
Spark
2.0服务器,以并行处理分析功能。要做到这一点,我希望有一个具有多个执行者
的
单个工作人员。我在用: 我
的
配置如下:
s
浏览 6
提问于2016-10-11
得票数 8
回答已采纳
1
回答
火花提交参数是否
在
本地
模式
下工作?
apache-spark
当我运行
spark
-submit --master local[10] --num-executors 8 --
executor
-cores 5 --
executor
-memory 5g foo.jar(这意味着我
在
本地
模式
下
运行一个应用程序)时,--num-executors 8 --
executor
-cores 5 --
executor
-memory会与local[10]一起工作吗?换句话说,--num-executors 8 -
浏览 2
提问于2021-04-06
得票数 0
回答已采纳
1
回答
为什么即使
spark
.
executor
.memory配置大于节点
的
内存大小,也没有IllegalArgumentException
apache-spark
我
在
本地
模式
下
使用了
spark
2.0.1
和
测试。.config("
spark
.
executor
.memory", "2000g") .master("local[*]") .config("
spark
.app.name
浏览 0
提问于2016-11-28
得票数 0
1
回答
sparklyr
的
Spark
内存问题
apache-spark
、
jvm
、
sparklyr
我
在
Spark
running
和
sparklyr上有一些奇怪
的
问题。我目前
在
一台R生产服务器上,通过
spark
://<my server>:7077以客户端
模式
连接到my
Spark
Cluster,然后从MS SQL server拉取数据。我最近可以做到这一点,没有任何问题,但我最近得到了一个更大
的
集群,现在有内存问题。 首先,我
在
处理过程中遇到了莫名其妙
的
“内存不
浏览 19
提问于2018-06-01
得票数 0
回答已采纳
2
回答
在
纱线上以群集
模式
运行
Spark
时不使用SparkConf设置
apache-spark
、
memory-management
、
hadoop-yarn
、
executor
", "1");conf.set("
spark
.
executor
.cores", "3"); conf.set("
spark
.
executor</
浏览 2
提问于2017-05-04
得票数 5
回答已采纳
1
回答
在
Dataproc中将
spark
.master更改为纱线
apache-spark
、
cluster-computing
、
hadoop-yarn
、
google-cloud-dataproc
、
executor
我将作业提交到Dataproc中
的
星火集群(使用Hadoop )。我看到,无论我为
spark
.master
和
部署
模式
设置了哪些属性,当我进入
Spark
时,作业
的
环境选项卡总是显示
spark
.master
的
本地
属性,而且作业
的
不同阶段总是使用相同
的
executor
id,即使有更多
的
空间。'
spark
.
executor
.
浏览 1
提问于2019-10-12
得票数 2
3
回答
如何在
本地
模式
下
更改执行程序
的
数量?
scala
、
apache-spark
、
spark-streaming
是否可以使用某些
Spark
设置
在
本地
模式
下为
Spark
流应用程序设置多个执行器?目前,当我将
spark
.
executor
.instances参数更改为4时,我无法看到
Spark
在
性能或执行器数量上有任何变化。
浏览 3
提问于2018-09-05
得票数 8
回答已采纳
4
回答
如何在独立集群
模式
下为每个工作人员分配更多
的
执行器?
apache-spark
我
在
一个由5个工作节点组成
的
集群中使用
Spark
1.3.0,每个节点有36个核心
和
58 36内存。我想配置
Spark
的
独立集群,每个工作人员拥有许多执行者。我已经看到了合并
的
,但是还不清楚如何实际配置多个执行程序。下面是集群
的
最新配置:
spark
.
executor
.instances = "10
浏览 4
提问于2015-04-29
得票数 12
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大数据技术,Spark任务调度原理 四种集群部署模式介绍
Dubbo在集群模式下的容错机制和负载均衡策略
spark安装和提交程序测试,占用大数据最多的节点他的魔力展现在哪里?
Spark:必知必会的基本概念
Spark提交参数说明和常见优化
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券