Spark/Yarn:在一段时间内缓慢增加执行者的数量
Spark和Yarn是云计算领域中常用的两个技术框架，用于大规模数据处理和集群资源管理。
Spark是一个快速、通用的大数据处理引擎，提供了高级API（如Spark SQL、Spark Streaming、MLlib和GraphX）和用于分布式数据处理的执行引擎。它支持在内存中进行数据处理，从而大大提高了处理速度。Spark可以用于批处理、交互式查询、流处理和机器学习等各种数据处理任务。
Yarn（Yet Another Resource Negotiator）是Apache Hadoop生态系统的一个关键组件，用于集群资源的管理和调度。它允许多个应用程序共享集群资源，并根据需求动态分配和管理资源。Yarn提供了一个可扩展的资源管理器和应用程序管理器，可以有效地管理集群中的计算资源。
在一段时间内缓慢增加执行者的数量是指在Spark集群中逐渐增加执行任务的节点数量。这种增加执行者的方式可以有效地利用集群资源，并提高任务的并行度和处理速度。通过逐渐增加执行者的数量，可以根据任务的需求动态调整集群资源的分配，从而更好地满足任务的处理需求。
对于这个问题，腾讯云提供了一系列与Spark和Yarn相关的产品和服务：
- 腾讯云EMR（Elastic MapReduce）：是一种大数据处理服务，基于Hadoop和Spark生态系统构建，提供了完全托管的集群环境。EMR支持Spark和Yarn，并提供了易于使用的控制台和API，用于创建、管理和监控集群。
- 腾讯云CVM（Cloud Virtual Machine）：是一种弹性计算服务，提供了可扩展的虚拟机实例，可以用于部署Spark和Yarn集群。CVM提供了多种规格和配置选项，以满足不同任务的需求。
- 腾讯云COS（Cloud Object Storage）：是一种高可靠、低成本的对象存储服务，适用于大规模数据存储和处理。Spark和Yarn可以与COS集成，实现数据的高效读取和写入。
- 腾讯云VPC（Virtual Private Cloud）：是一种安全、灵活的云网络服务，用于构建和管理私有网络环境。Spark和Yarn集群可以部署在VPC中，实现网络隔离和安全访问控制。
- 腾讯云CLB（Cloud Load Balancer）：是一种负载均衡服务，用于将流量分发到多个Spark和Yarn执行者节点。CLB可以提高集群的可用性和性能，并实现自动扩展和故障恢复。
以上是腾讯云提供的一些与Spark和Yarn相关的产品和服务，可以根据具体需求选择适合的产品和配置。更多详细信息和产品介绍，请访问腾讯云官方网站：https://cloud.tencent.com/
相关·内容
在纱线集群上创建一个火花作业，其工人数量比火花上下文(100)中指定的要小得多(只有4名工人)：下面是我如何创建火花上下文和会话的方法：
config_list = [
('spark.yarn.dist.archives','xxxxxxxxxxx'),
('spark.yarn.appMasterEnv.PYSPARK_PYTHON','xxxxxxxxx'),
('spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON','xxxxxxxxx
浏览 0提问于2020-02-26得票数 2
回答已采纳
2回答
许多死遗嘱执行人
、、、、
我正试图在AWS EMR集群上执行我的scala应用程序，方法是创建一个step应用程序火花。
我的集群包含4 m3.xlarge
我使用以下命令启动应用程序：
spark-submit --deploy-mode cluster --class Main s3://mybucket/myjar_2.11-0.1.jar s3n://oc-mybucket/folder arg1 arg2
我的应用程序有3个参数，第一个参数是文件夹。
不幸的是，在启动应用程序之后，我发现只有一个活动的执行器(+主)和3个执行者已经死了，所以所有的任务都只在第一个任务上工作。见图
我尝试了许多方法来激
浏览 11提问于2020-08-16得票数 2
我正在学习AWS EMR上的星火。在这个过程中，我试图理解执行者(-num- executor )和执行者核心(--executor-core)之间的区别。有谁能告诉我这里吗？
此外，当我试图提交以下工作时，我会出错：
spark-submit --deploy-mode cluster --master yarn --num-executors 1 --executor-cores 5 --executor-memory 1g -–conf spark.yarn.submit.waitAppCompletion=false wordcount.py s3://test/spark-exa
浏览 4提问于2016-04-25得票数 10
嗨，我有一个spark提交作业/步骤，它连续运行，没有失败，但丢失了执行器。数据每天都在增加，起初运行得很好，但现在s3中有400 it的数据(至少我认为没有足够的资源
我使用的是18 r3.8xlarge。
"EMR_MasterInstanceType": "r3.xlarge",
"EMR_CoreInstanceType": "r3.8xlarge",
"EMR_CoreInstanceCount": "
浏览 1提问于2018-04-10得票数 0
1回答
我在Yarn上运行set，但是我的应用程序在尝试加载一个大的RDD时总是走出内存异常，尽管我已经将动态调度设置为true
..。
.set("spark.shuffle.service.enabled", "true")
.set("spark.dynamicAllocation.enabled", "true")
.set("spark.default.parallelism", String.valueOf(cpu * 3))
要解决这个问题，我必须指定执行程序内存。
..。
.set("spark.d
浏览 1提问于2015-09-23得票数 0
回答已采纳
我提交火花作业的规格如下：(相同的程序已用于运行不同大小的数据范围从50 am到400 am)
/usr/hdp/2.6.0.3-8/spark2/bin/spark-submit
--master yarn
--deploy-mode cluster
--driver-memory 5G
--executor-memory 10G
--num-executors 60
--conf spark.yarn.executor.memoryOverhead=4096
--conf spark.shuffle.registration.timeout==1500
--e
浏览 0提问于2019-07-04得票数 9
1回答
我是很新的火花，并试图过滤一个RDD的基础上，另一个，如描述的。
我的过滤器数据在S3中的CSV文件中。这个CSV文件是1.7GB，有100 m行。每一行都有一个独特的10个字符长的id。我的计划是将这些is从这个CSV文件中提取到内存集中，然后广播这个集合并使用它过滤另一个RDD。
我的代码如下所示：
val sparkContext: SparkContext = new SparkContext()
val filterSet = sparkContext
.textFile("s3://.../filter.csv") // this is the 1.7GB c
浏览 0提问于2018-09-11得票数 2
1回答
当我提交这个命令时，我的作业失败了，错误是“容器正在超越物理内存限制运行”。
spark-submit --master yarn --deploy-mode cluster --executor-memory 5G --total-executor-cores 30 --num-executors 15 --conf spark.yarn.executor.memoryOverhead=1000
但是，如果将参数：--driver-memory添加到5GB (或更高)，则作业结束时不会出错。
spark-submit --master yarn --deploy-mode cluster -
浏览 0提问于2018-11-09得票数 2
回答已采纳
1回答
我有一个Spark作业，它读取一些TB数据并执行两个窗口函数。这项工作在较小的块中运行得很好，4TB上有50k的洗牌分区，但是当我将数据输入增加到150 k到200 k时，15 4TB节点的洗牌分区就开始失败。
发生这种情况有两个原因：
Executors:Timeout上的OOM洗牌
执行器上的OOM
20/07/01 15:58:14 ERROR YarnClusterScheduler: Lost executor 92 on ip-10-102-125-133.ec2.internal: Container killed by YARN for exceeding memory li
浏览 7提问于2020-07-01得票数 0
回答已采纳
我使用AWSEMR5.2实例m4.2x和10个节点运行我的Spark应用程序，使用Spark2.0.2。我使用了maximizeResourceAllocation=true的属性。我在spark-defaults.conf中看到了以下属性：
spark.executor.instances 10
spark.executor.cores 16
spark.driver.memory 22342M
spark.executor.memory 21527M
spark.default.parallelism
浏览 2提问于2017-01-25得票数 2
我对在Spark-1.5.2中配置执行器和驱动程序内存感到困惑。
我的环境设置如下：
3 Node MAPR Cluster - Each Node: Memory 256G, 16 CPU
Hadoop 2.7.0
Spark 1.5.2 - Spark-on-Yarn
输入数据信息：
460 GB拼图格式表我正在使用spark-sql来查询spark-on-yarn的Hive上下文，但它比Hive慢得多，而且不确定Spark的正确内存配置。
这些是我的配置，
export SPARK_DAEMON_MEMORY=1g
export SPARK_WORKER_MEMORY
浏览 12提问于2017-07-12得票数 0
回答已采纳
1回答
我在调整在Yarn集群上执行的Spark作业时遇到了问题。我有一种感觉，我没有得到我的集群的大部分，此外，我的工作失败(执行者总是被移除)。
我有以下设置：
4台机器
每台机器都有10 of的RAM
每台机器有8个核心。
8GB的RAM分配给纱线工作。
14 ( 16)个虚拟芯被分配给纱线工作。
我使用不同的设置运行了我的火花作业(实际上连接到一个jupyter笔记本)。
pyspark --master yarn --num-executors 7 --executor-cores 4 --executor-memory 3G
pyspark --master
浏览 6提问于2017-01-17得票数 0
2回答
火花动态分配不起作用
、、、
我想为我提交的应用程序使用spark的dynamic-allocation特性，但是应用程序不缩放。
我的集群由3节点组成，每个节点都有：
4芯
8GB RAM
火花: 1.6
纱线+ MapReduce2: 2.7
我使用hdp2.4并按照以下方式设置所有所需的动态分配属性(它们是在hdp中预先配置的，但我用验证它们)：
spark.dynamicAllocation.enabled=true
spark.dynamicAllocation.initialExecutors=5 -spark.dynamicAllocation.maxExecutors=10
浏览 3提问于2016-07-20得票数 0
在向纱线提交火花申请时，获取与容器有关的以下错误。HADOOP(2.7.3)/SPARK (2.1)环境在单个节点集群中运行伪分布式模式。当在本地模型中运行时，应用程序工作得很好，但是在集群模式下，试图以纱线为RM来检查其正确性，并遇到了一些障碍。新的世界，因此寻求帮助。
--应用程序日志
2017-04-11 07:13:28 INFO Client:58 - Submitting application 1 to ResourceManager
2017-04-11 07:13:28 INFO YarnClientImpl:174 - Submitted application app
浏览 3提问于2017-04-11得票数 10
1回答
我正在编写一个星火结构流应用程序，在这个应用程序中，使用Spark处理的数据需要沉到s3桶中。
这是我的开发环境。
Hadoop 2.6.0-cdh5.16.1
火花版本2.3.0.Cloudera 4
我想限制VCores的使用
到目前为止，我已经使用spark2 2-submit将选项指定为--conf spark.cores.max=4。然而，在提交作业后，我注意到作业占用了集群中最大的可用VCores (我的集群有12 VCores)。
由于VCores的不可用性，下一个工作还没有开始。
是限制每个作业使用VCores？的最佳方法
到目前为止，我正在做一些解决办法:我在集群中创建了资源
浏览 2提问于2019-06-19得票数 0
我在一个纱线集群上并行运行多个Spark作业。我发现YARN并行启动了许多这样的作业，但只为驱动程序分配了一个容器，而没有分配执行器。这意味着这些Spark作业实际上处于闲置状态，等待executor加入，此时可以通过将executor分配给其他作业来更好地利用这种处理能力。
我希望将YARN配置为至少为一个作业分配两个容器(一个驱动程序+一个执行器)，如果不可用，则将其保留在队列中。如何通过这种方式配置纱线？
(我使用几乎所有默认设置在AWS EMR群集上运行。)
浏览 0提问于2020-05-22得票数 1
我在试着用电子病历来爬行。目标服务器可以识别客户机IP，因此我希望为每个核心节点运行一个executor。目前，我有一个主节点和两个核心节点。核心节点的类型是c4.large，每个节点都有两个vcore。因此，我需要更改设置。(默认设置是在一个核心节点上运行两个执行器。) 这是我的集群的配置。 [{"classification":"spark", "properties":{"maximizeResourceAllocation":"true"}, "configurations":[]},
{
浏览 13提问于2020-04-08得票数 0
3回答
我有一个spark python应用程序，因为超过内存限制而被yarn杀死。我有一个步骤，需要加载一些有点重的资源(500+ MB)，所以我使用mapPartitions。基本上：
def process_and_output(partition):
resources = load_resources()
for record in partition:
yield transform_record(resources, record)
input = sc.textFile(input_location)
processed = input.mapPart
浏览 3提问于2016-06-25得票数 10
1回答
纱线火花作业调度较慢
、、、、
我有两个具有以下配置的mapr集群，
cluster 1: hosted on aws, 3 nodes with 32g of memory/32 cores each
cluster 2: hosted on bare-metal servers, 8 nodes with 128g of memory/32 cores each
我正在两个集群上通过纱线运行下面的电火花代码
df=hc.sql("select * from hive_table")
df.registerTempTable("df")
df.cache().count()
for: 100
浏览 2提问于2017-01-26得票数 3
1回答
当通过sparklyr启动火花集群时，我注意到所有执行者都需要10-60秒才能上线。
现在，我正在使用Sys.sleep(60)让他们有时间上网，但有时需要更长的时间，有时比这更短。我希望有一种编程的方法来调整这个时间差，类似于。所以我想我想通过getExecutorMemoryStatus通过sparklyr，但我不知道如何做到这一点。
要查看我所看到的内容，请运行以下代码以启动纱线-客户端火花连接，并检查Yarn UI。在事件时间线，我们可以看到，在什么时候，每个执行者在线。
spark_config <- spark_config()
spark_config$spark.exec
浏览 1提问于2018-07-11得票数 0
回答已采纳
4回答
纱线容器内存不足
、、、、
我的纱线容器正在耗尽内存:这个特定的容器运行一个Apache驱动节点。
我不明白的部分:我将我的驱动程序的堆大小限制在512 my (您可以在下面的错误消息中看到这一点)。但是纱线容器正在抱怨memory>1GB (也见下面的消息)。您可以验证纱线正在启动，java是用Xmx512m运行的。我的容器是为1GB内存设置的，其中包含.5GB增量。此外，我的物理机器承载的纱线容器有32 my的每个。我去了一台物理机器，发现它有很多自由记忆.
另一件奇怪的事情是，java没有抛出OutOfMemory异常。当我查看驱动程序日志时，我看到它最终从纱线中获得了一个SIGTERM，并很好地关闭了。如果
浏览 5提问于2016-01-22得票数 6
回答已采纳
1回答
我正在运行一个纱线+ spark 2.4.5集群。我正在使用码头作为纱线客户端模式来运行这些作业。我将主客户端和码头客户端配置为：
纱线-site.xml
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>
<property
浏览 3提问于2020-04-02得票数 4
3回答
我已经启动了一个具有以下配置的星火作业：
--master yarn --deploy-mode cluster --conf spark.scheduler.mode=FAIR --conf spark.dynamicAllocation.enabled=true --conf spark.dynamicAllocation.maxExecutors=19 --conf spark.dynamicAllocation.minExecutors=0
它工作得很好，并且成功地完成了任务，但是在检查星火历史用户界面之后，我看到了这样的结果：
我的问题是(我关心的是理解多于解决方案)：
如
浏览 1提问于2019-09-09得票数 1
回答已采纳
1回答
我正在用scala编写一个与kafka进行火花流连接的程序，我得到了以下错误：
18/02/19 12:31:39 ERROR Executor: Exception in task 0.0 in stage 3.0 (TID 39)
org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {prensa4-0=744}
at org.apache.kafka.clients.
浏览 0提问于2018-02-19得票数 2
我想知道：
星火使用spark.yarn.driver.memoryOverhead或spark.yarn.executor.memoryOverhead存储什么样的数据？
在这种情况下，我应该提高spark.yarn.driver.memoryOverhead或spark.yarn.executor.memoryOverhead的价值？
浏览 0提问于2016-04-07得票数 4
回答已采纳
1回答
动态资源分配和排队应用程序
、、、、
根据这个
启用星火动态资源分配时，所有资源都分配给第一个可用的提交作业，从而导致随后的应用程序排队。若要允许应用程序并行获取资源，请将资源分配到池中并运行这些池中的应用程序，并允许抢占在池中运行的应用程序。
我自己也观察到了这种行为，但是我目前正在处理一个小集群，只有两个节点(m3.xlarge在EMR上)和一个主节点(r3.xlarge)。我看到的是，如果我提交多个星火应用程序(对spark-submit的不同调用)，当我在EMR上查找我的资源管理器时，所有的应用程序都会被接受，但一次只运行一个。
现在，这可能是因为我阅读的文件大约是2GB，而且我的资源已经用完了。我还尝试使用Spa
浏览 10提问于2017-10-31得票数 0
2回答
我遇到了一个奇怪的问题:在星火主url上运行一个应用程序，其中UI无限期地报告“等待”的“状态”，因为无论我将核心计数配置为什么，都会在运行的应用程序表下显示0核心。
我已经用以下设置配置了我的应用程序，其中spark.max.cores =2& spark.default.cores =2&内存设置为3GB。该机器是一个企业级服务器，有超过24个核心。
SparkConf conf = new SparkConf()
.setAppName(Properties.getString("SparkAppName"))
浏览 7提问于2016-02-03得票数 4
3回答
我有一个在YARN上运行的spark作业，它似乎只是挂起了，没有做任何计算。
下面是我在做yarn application -status <APPLICATIOM ID>时yarn说的话：
Application Report :
Application-Id : applicationID
Application-Name : test app
Application-Type : SPARK
User : ec2-user
Queue : default
Start-Time : 1491005660004
Finish-Time : 0
Progress : 10%
St
浏览 0提问于2017-04-01得票数 9
我有一个由两个工作人员组成的Spark集群--所有节点都有16 of的RAM。我正在使用带内存= TRUE参数的sparklyr spark_read_csv (下面的代码)从spark_read_csv读取数据，但是尽管内存足够，但大部分数据还是溢出到磁盘上。RStudio服务器安装在与Spark相同的节点上。有任何想法，为什么会发生这种情况，如果这是最优的？我怎么能调音呢？谢谢!
flightsFull <- spark_read_csv(sc, "flights_spark",
path = "/s3f
浏览 2提问于2017-06-01得票数 2
在运行pyspark作业时，随着输入的增加，我注意到我一直收到内存错误，如下所示.
ERROR cluster.YarnScheduler: Lost executor 12 on compute-2-10.local:
Container killed by YARN for exceeding memory limits. 1.5 GB of 1.5 GB
physical memory used. Consider boosting spark.yarn.executor.memoryOverhead.
虽然它将成功地完成一个较小的输入，即使错误是通过执行重复的，但它最终会随着输入大小的
浏览 2提问于2017-10-07得票数 2
回答已采纳
我有一个火花作业，在两个数据帧之间做外部连接。第一个数据帧的大小为260 GB，文件格式为文本文件，分为2200个文件，第二个数据帧的大小为2GB。然后，将大约260GB的数据帧输出写入S3需要很长时间，在此之后，我取消了2个多小时，因为我在EMR上已经做了很大的更改。
这是我的集群信息。
emr-5.9.0
Master: m3.2xlarge
Core: r4.16xlarge 10 machines (each machine has 64 vCore, 488 GiB memory,EBS Storage:100 GiB)
这是我正在设置的群集配置。
capacit
浏览 3提问于2017-10-15得票数 20
1回答
我正尝试在EMR Spark上运行多个yarn应用程序，但我无法同时运行超过5个应用程序。
我正在为Spark Cluster使用以下配置：
Master = r5.2xlarge
Worker = r5.12xlarge 384 GB RAM 48个虚拟核心部署模式=群集
JSON
{
"Classification":"spark-defaults",
"ConfigurationProperties":{
"spark.executor.extraJavaOptions":
浏览 7提问于2019-07-11得票数 0
回答已采纳
自从我升级到EMR 5.13之后，我就在Spark & YARN UI上看到了奇怪的度量标准。
在这种情况下：
YARN显示这一过程已经完成
Ganglia显示，自上次(第118次)作业完成以来，集群一直处于空闲状态。
Spark用户界面还告诉我，我的118个任务已经完成
即使如此，Executor**s UI仍然报告说，所有的Spark在完成最后一项工作后都是活的**，很长(编写时超过1小时)。
这可能是UI故障，还是发生了其他事情？
框架/平台：
EMR 5.13
Spark 2.3.0
Hive 2.3.2
Hado
浏览 0提问于2018-04-16得票数 0
回答已采纳
2回答
我的输入数据集大约是150克。我正在设置
--conf spark.cores.max=100
--conf spark.executor.instances=20
--conf spark.executor.memory=8G
--conf spark.executor.cores=5
--conf spark.driver.memory=4G
但是由于数据在执行者之间的分布并不均匀，所以我一直得到
Container killed by YARN for exceeding memory limits. 9.0 GB of 9 GB physical memory used
以下是
浏览 2提问于2016-10-27得票数 4
回答已采纳
1回答
time ../bin/spark-submit --master yarn --deploy-mode cluster --driver-memory 2g --executor-memory 3G --num-executors 100 /var/tmp/learning/Movie-Similarities-1m-hdfs.py 260
耗时: 6m5.293s
time ../bin/spark-submit --master yarn --deploy-mode cluster --driver-memory 2g --executor-memory 2G --num-exe
浏览 0提问于2016-06-16得票数 0
2回答
有一些参数决定了纱线可以通过容器分配的内存和cpu的最大、最小和总量。
示例：
yarn.nodemanager.resource.memory-mb
yarn.scheduler.maximum-allocation-mb
yarn.scheduler.minimum-allocation-mb
yarn.nodemanager.resource.cpu-vcores
yarn.scheduler.maximum-allocation-vcores
yarn.scheduler.minimum-allocation-vcores
此外，还有一些因素似乎可以控制类似的分配：
spark.exe
浏览 22提问于2022-11-26得票数 0
5回答
我有一个由两个工作节点组成的集群。Worker_Node_1 -64 RAM内存Worker_Node_2 -32 RAM内存
背景总结:我正在尝试执行星火提交，在纱线集群上运行Pregel，以计算从一个源顶点到所有其他顶点的最短路径距离，并在控制台上打印值。专家：
对于具有15个顶点的小图，执行完成应用程序的最终状态:成功
我的代码工作得很好，输出241个顶点的最短距离，单个顶点的图作为源顶点，但存在一个问题。
successfully问题：问题:当我深入日志文件时，任务在4分钟26秒内完成，但仍在终端上继续显示应用程序状态，运行，大约12分钟后，任务执行就停止了。
Appl
浏览 3提问于2015-11-17得票数 15
1回答
无法在纱线模式下启动Shell。当我运行这个./spark-shell --master yarn --deploy-mode client时，它会被困在这里，永远打印相同的消息。
18/03/14 20:11:38 INFO Client:
client token: N/A
diagnostics: N/A
ApplicationMaster host: N/A
ApplicationMaster RPC port: -1
queue: default
start time: 1521058297214
final s
浏览 0提问于2018-03-14得票数 1
我试图运行一个spark代码，它将读取postgres数据库上的一个表，并将其插入到HDFS上的Hive表中。为此，我在属性文件中设置了连接属性，如下所示：
devUserName=usrname
devPassword=pwd
gpDriverClass=org.postgresql.Driver
gpDevUrl=jdbc:postgresql://ip:port/dbname?ssl=true&sslfactory=org.postgresql.ssl.NonValidatingFactory
并将属性文件读取为：
val conFile = "testc
浏览 0提问于2018-09-21得票数 2
回答已采纳
我复制粘贴了一行代码，如下所示
val files = sc.wholeTextFiles("file:///path/to/files/*.csv")
从它运行的Spark shell到它不运行的应用程序。相反，我得到的模式匹配0个文件，即使在shell中我可以看到所有的文件，并且Spark会读取它们。
我遗漏了什么？这是文件权限问题吗？
我正在运行应用程序，如下所示：
spark-submit \
--master yarn \
--deploy-mode cluster \
--files /usr/hdp/current/spark/conf/hive-si
浏览 3提问于2016-04-21得票数 0
我说的是独立的火花模式。。
让我们假设SPARK_WORKER_CORES=200的值，并且在我试图启动工作者的节点上只有4个核心可用。工人会得到4个核心并继续吗?还是工人根本不启动？类似的情况是，如果我设置了SPARK_WORKER_MEMORY=32g，并且该节点上实际上只有2g内存可用呢？
浏览 4提问于2016-02-17得票数 1
我需要清楚的是，当涉及到获取数据外部数据库时，火花如何在引擎盖下工作。我从spark文档中理解到的是，如果我没有提到像"numPartitons"，"lowerBound“和"upperBound”这样的属性，那么通过jdbc读取不是parallel.In，这种情况会发生什么呢？数据是由一个获取所有数据的特定执行器读取的吗？那么如何实现并行性呢？这个执行者以后会把数据分享给其他执行者吗?但我相信执行者不能这样分享数据。
如果你们中有谁探索过这一点，请让我知道。
编辑我的问题-嗨，阿米特，谢谢你的回复，但这不是我想要的。让我详细说明：-参考这个-
请参阅下面的代
浏览 0提问于2020-04-19得票数 3
3回答
在Yarn和EMR上运行Spark 1.3.1。当我运行spark-shell时，一切看起来都很正常，直到我开始看到像INFO yarn.Client: Application report for application_1439330624449_1561 (state: ACCEPTED)这样的消息。这些消息会无休止地生成，每秒生成一次。同时，我无法使用Spark shell。
我不明白为什么会发生这种事。
浏览 0提问于2015-09-19得票数 5
回答已采纳
1回答
我正在尝试使用以下配置在纱线集群中执行星火作业。
/usr/bin/spark-submit
--class com.example.DriverClass
--master yarn-cluster
app.jar
hdfs:///user/spark/file1.parquet
hdfs:///user/spark/file2.parquet
hdfs:///user/spark/output
20151217052915
--num-executors 20
--executor-memory 12288M
--executor-cores 5
--driver-m
浏览 2提问于2015-12-19得票数 2
我正在使用熊猫udf在Dataproc (火花)中训练GCP上的许多ML模型。主要思想是，我有一个分组变量，它表示数据框架中的各种数据集，并运行如下所示：
@pandas_udf(schema, PandasUDFType.GROUPED_MAP)
def test_train(grp_df):
#train model on grp_df
#evaluate model
#return metrics on
return (metrics)
result=df.groupBy('group_id').apply(test_train)
浏览 7提问于2020-09-25得票数 2
在AWS Glue中运行python作业时，我会得到以下错误：
原因:因超过记忆限度而被纱线杀死的容器。使用5.6GB的5.5GB物理内存。考虑提高spark.yarn.executor.memoryOverhead
在脚本开头运行此命令时：
print '--- Before Conf --'
print 'spark.yarn.driver.memory', sc._conf.get('spark.yarn.driver.memory')
print 'spark.yarn.driver.cores', sc._conf.ge
浏览 1提问于2018-08-23得票数 6
当我在Apache Spark 1.2.1 6.5上启动CentOS应用程序时，我会根据“top”输出接收超过100%的执行程序负载，并且负载平均值比内核数量大得多。
因此，我对垃圾收集器的负载很高。
试图用spark.executor.cores=1限制每个执行器的核心。
尝试过spark.cores。没有任何效果。
硬件为2×Intel(R) Xeon(R) CPU E5-2620 v2 @ 2.10GHz，每个节点有6个物理核，每个节点有12个CPU核。
部署模型是纱线客户端。
类似的Ubuntu14.04设置与4个物理核(英特尔i5)没有任何问题，每个执行者一个
浏览 1提问于2015-03-28得票数 2
回答已采纳
2回答
优化部署在Yarn集群上的火花作业的最佳方法是什么？
寻找基于配置的更改，而不是代码级别。我的问题是古典设计级别的问题，应该使用什么样的方法来优化在Spark流或Spark上开发的乔布斯。
浏览 5提问于2017-11-11得票数 0
回答已采纳
我正在学习如何使用spark，我有一个简单的program.When，我运行了jar文件，它给了我正确的结果，但我在stderr file.just中有一些错误，如下所示：
15/05/18 18:19:52 ERROR executor.CoarseGrainedExecutorBackend: Driver Disassociated [akka.tcp://sparkExecutor@localhost:51976] -> [akka.tcp://sparkDriver@172.31.34.148:60060] disassociated! Shutting down.
1
浏览 2提问于2015-05-19得票数 3
2回答
火花执行者
、、
我已经在AWS上建立了一个10节点的HDP平台。下面是我的配置2服务器-名称节点和备用名称节点7个数据节点，每个节点有40 vCPU和160 GB内存。
我试图在提交星火申请时计算执行者的数量，在浏览了不同的博客之后，我对这个参数到底意味着什么感到困惑。
从下面的博客来看，num执行器似乎是跨越所有节点的执行者总数( )。
但是从下面的博客来看，num执行器似乎是每个节点或服务器。
请任何人澄清及检讨以下各点：
是每个节点的num-executors值，或者所有数据节点上的执行器总数。
我使用下面的计算计算出每个执行器的核心计数、执行器计数和内存。
核<= 5的数目(假设5)
浏览 5提问于2016-09-13得票数 8
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
