我很抱歉在这里有点泛泛，但我对spark内部的作业调度是如何工作的感到有点困惑。从文档中，我了解到它是Hadoop公平调度器的某种实现。我无法理解这里的用户到底是谁(是linux用户、hadoop用户还是spark客户端？)。我也无法理解这里的池是如何定义的。例如，在我的hadoop集群中，我将资源分配给了两个不同的池(让我们称它们为team 1和team 2)。但是在spark集群中，不同的池和其中的用户不会实例化自己的spark上下文吗？这再次让我产生了疑问，当我将属性设置为
浏览 2提问于2015-04-24得票数 6
我有3个spark脚本，其中每个脚本都有一个spark来读取一个分区表并存储到某个hdfs位置。每个脚本都有不同的sql语句和要存储数据的不同文件夹位置。我正在使用AWS EMR 5.15，Spark2.4和Oozie 5.0.0。
浏览 1提问于2020-04-21得票数 0
回答已采纳
我已经在Spark中读了相当多关于bucketing的文章，但仍然不能对它有一个清晰的了解。即使在Spark文档中，也找不到足够的解释。
浏览 34提问于2019-05-09得票数 2
回答已采纳
1回答
动态资源分配和排队应用程序
、、、、
根据这个
启用星火动态资源分配时，所有资源都分配给第一个可用的提交作业，从而导致随后的应用程序排队。若要允许应用程序并行获取资源，请将资源分配到池中并运行这些池中的应用程序，并允许抢占在池中运行的应用程序。我看到的是，如果我提交多个星火应用程序(对spark-submit的不同调用)，当我在EMR上查找我的资源管理器时，所有的应用程序都会被接受，但一次只运行一个。现在，这可能是因为我阅读的文件大约是2GB，而且我的资源已经用完了。我
浏览 10提问于2017-10-31得票数 0
我尝试定义几个Yarn队列，这样集群将始终被充分利用，一旦新任务被添加到不同的队列，资源将被划分(第一个队列中的几个工作进程将被抢占)运行应用程序1：
/usr/hdp/current/spark2-client/bin/<em
浏览 12提问于2018-01-22得票数 2
回答已采纳
1回答
我有一个运行Spark的集群，其中有4台服务器，每台服务器都有8个核心。不知何故，主机没有检测到所有可用内核。它使用了32个核心中的18个：我没有设置任何与no有关的内容。任何spark conf文件中的核心数量(至少我不知道)
有没有办法让Spark也检测/使用其他内核？
浏览 2提问于2015-12-11得票数 0
我运行的命令是：在中，我得到的错误是服务我的调度程序配置为排队，优雅抢占，自动调整资源，15秒任务取消宽限期。我在电网上有管理员权限。
浏览 3提问于2012-11-30得票数 0
回答已采纳
1回答
抢占式内核是如何导致竞争条件的？如果进程被抢占，即没有被踢出临界区。根据我的理解，竞争条件是指几个进程试图同时访问和操作资源，对吧。我很难理解这个概念
浏览 4提问于2014-04-06得票数 5
我在重新平衡YARN 队列上的Apache Spark作业资源时遇到了问题。
对于测试，我将Hadoop2.6(也尝试了2.7 )配置为在伪分布式模式下运行，并在MacOS上使用本地HDFS。当使用Hadoop MapReduce作业的基本配置进行测试时，公平调度器按预期工作:当集群的资源超过某个最大值时，将计算公平份额，并根据这些计算抢占和平衡不同队列中作业的资源。对Spark作业运行相同的测试，在这种情况下，YARN对每个作业的公平份额进行了正确的
浏览 70提问于2015-10-12得票数 20
我没有使用以下参数对胶水作业资源进行很好的更新： name = "job_name" role_arn = "${aws_iam_role.service-name.arn}" max_retries =
浏览 3提问于2020-10-21得票数 1
回答已采纳
1回答
我正在构建一个使用Scala/SQL启动用户构建查询(业务规则)的过程。其中一个要求是，如果SQL执行的速度比预期的慢(每条规则都有一个预期的性能(以秒为单位)属性)，我需要为将来的引用将它们标记为这样，并终止长时间运行(缓慢)的进程/作业，
我担心我在摆弄这份工作的分散性。另一个问题是，对于我的“工作”(即运行那个查询)，内火花会在节点间启动数量未知的任务，计时过程将如何工作，什么样的实际性能将报告给我
浏览 1提问于2017-05-01得票数 2
2回答
我在spark中遇到了两个设置。一种是可用的调度模式，如下图所示：其中一个在调度程序中，如下所示
我想了解两个设置和抢占之间的区别。我的要求是，在处理更大的工作时，在两者之间提交的小工作必须获得资源，而不需要等待更长时间。
浏览 2提问于2016-08-10得票数 1
回答已采纳
我尝试启动jobserver.It失败，但没有看到任何错误日志
/usr/share/dse/spark/spark-jserver.
浏览 12提问于2017-02-02得票数 0
1回答
我想知道如何为纱线配置动态队列:假设有两个队列
我注意到，即使其余的70%是空的，B项也只会停留在分配的资源上。我如何重新分配这些资源(如果没有A作业)，以更快地完成B作业？
浏览 1提问于2017-02-17得票数 1
回答已采纳
2回答
在失败或中止时重新运行星火作业
、、、、
/bin/bash
# 1. define name, applicationversion (Spark 1.x vs.before failing job (Default: 4)` \
--conf spark.ui.killEnabled=true `# Prevent killing of stages andcorresponding j
浏览 0提问于2017-10-29得票数 9
1回答
我试图保证某个应用程序不会缺少我们的纱线集群上的资源，而不管在那里运行的是什么。<?xml version="1.0"?时设置了spark.scheduler.pool。are backlogged (new desired total will be 1)
17/04/04 11:40:05 WARN cluster.Ya
浏览 1提问于2017-04-05得票数 5
回答已采纳
我想通过堆栈、图表或时间堆栈来表示抢占中的资源数量。什么类型的输入应该添加到“价值”中？
可能是seize.contains
浏览 0提问于2017-06-02得票数 0
我在google dataproc上运行apache spark java作业。该作业创建spark上下文，分析日志，最后关闭spark上下文。然后为另一组分析创建另一个spark上下文。有时我会反复收到错误Initial job has not accepted any resources; check your cluster UI to ensure that workers are根据对SO的回答，当启动作业时没有足够的可用资源时，就会发生这种情况。但这通常发生
浏览 21提问于2021-04-09得票数 4
我正在与spark和Yarn合作，作为我的资源经理。我正在尝试在运行后找到一种方法来收集分配给作业的资源。资源管理器只报告当前的使用情况，所以在它完成之后，它会被清零。如果我不能在事后得到它们，有没有办法让Spark Job在输出/存储结束时累积统计数据？
浏览 2提问于2017-10-19得票数 0
2回答
我正在研究使用spark作为我的REST API后端的适用性。其中一个问题似乎是Spark的FIFO调度方法。这意味着如果一个大任务正在执行中，那么在那个重任务完成之前，任何小任务都不能完成。=FAIR --conf spark.scheduler.allocation.file=/home/hadoop/scheduler.xml>>> sc.setLocalProperty("spark.schedu
浏览 1提问于2018-03-16得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
