1回答
我在yarn上的2.3.0集群上运行pyspark作业。我发现所有的阶段都有很长的调度延迟。但是-这只是最大的时间，第75个百分位数是28ms ...所有其他时间指标都非常低(GC时间、任务期望等)几乎没有随机写入大小。局部性在大部分节点本地、进程本地和机架本地之间变化。调度器延迟时间如此之长的原因是什么？它是纱线，还是仅仅是缺少资源来运行任务？增加/减少分区对这个问题有帮助吗？
浏览 20提问于2019-07-01得票数 1
1回答
我的环境:我正在尝试通过Spark Thrift服务器连接Cassandra。然后，我在Hive Metastore中创建一个Meta-Table，其中包含Cassandra表数据。在web应用程序中，我通过JDBC驱动程序连接到元表。我已经为Spark Thrift服务器启用了公平调度。当我检查Spark UI时，所有作业的执行时间都不到100毫秒。我还注意到，当收到请求时，作业和任务处于挂起阶段
浏览 10提问于2018-08-16得票数 0
1回答
pagecounts.checkpoint场景#2pagecounts.count
在这两种情况下，Spark应用程序UI中显示的总时间是不同的。在场景1中，检查点命令什么也不做，它既不是转换，也不是操作。据说，一旦RDD在操作后变为现实，就继续保存到磁盘中。我是不是漏掉了什么？Spark应
浏览 3提问于2015-09-30得票数 3
回答已采纳
这里有一些关于参数的信息：
cpu.cfs_period_us:用于带宽决定的每个调度程序周期的持续时间(以微秒为单位)。这默认为1000000 to或100 to。更长的周期将以牺牲延迟为代价来提高吞吐量，因为调度程序将能够在更长的时间内支持cpu绑定的工作负载。对于较小的周期则相反。请注意，这只会影响由CFS调度程序调度的非RT任务。cpu.cfs_quot
浏览 0提问于2018-12-17得票数 4
回答已采纳
我目前正在对我的Spark流媒体应用程序进行性能测试。总而言之，我通过套接字连接接收JSON消息，每秒一条消息。然后，我使用Spark Streaming方法将消息作为RDDs处理，最后将生成的RDDs打印到数据库。这是我的问题:每当我想要检查块处理时间或调度延迟等时，我需要转到端口4040上的Spark UI。
我想做的是在程序运行时使用这些值创建一个Log，并将其作为txt文件存储在某个目录<e
浏览 0提问于2016-05-06得票数 1
我正在运行一个虚拟的spark作业，它在每次迭代中执行完全相同的一组操作。下图显示了30次迭代，其中每个作业对应于一个迭代。可以看到，除了作业0、4、16和28之外，持续时间始终在70ms左右。第一次加载数据时，作业0的行为是预期的。
我想知道Spark把(2000 - 64)毫秒花在工作16上了吗？
浏览 2提问于2017-06-26得票数 1
当做spark-submit需要30秒才能做任何事情时，我相信它绑定到sparkmaster上的一个端口，创建sparkcontext，分配执行器，jvm startup.etc我尝试使用local:/读取jar，这似乎可以节省几秒钟的时间
浏览 0提问于2019-08-22得票数 4
当我在Apache Spark上运行作业时，web UI给出了一个类似于以下内容的视图：虽然这对我作为开发人员来说非常有用，但我认为阶段描述中的行号对我的支持团队并不是很有用。为了让他们的工作更轻松，我希望能够为我工作的每个阶段以及工作本身提供一个定制的名称，如下所示：这是可以在Spark中完成的事情吗？如果是这样，我该怎么做呢？
浏览 0提问于2017-01-28得票数 25
回答已采纳
我使用的是Spark streaming 1.6，它使用kafka作为源num-executors 5batch Interval10 secblockInterval 350 ms
浏览 1提问于2016-07-15得票数 2
回答已采纳
我在我的消费者上配置了MassTransit (RabbitMQ)。重试策略是在有最多5个间隔的超时时重新发送消息。y.RoutingKey = massTransitSettings.RoutingKey; });
一切正常工作，除了有时，当两个连续的超时发生在同一条消息
浏览 8提问于2022-02-19得票数 0
回答已采纳
1回答
定时器过期
、、
我使用的是周期性计时器，并在接收到两个SIGALRM信号之间进行计时。我观察到的是，itimer可能会在我设置的时间之前或之后一点过期。计时器过期时间不应该总是大于设定值吗？更少的时间是我不明白的。下面是我的代码：#include <stdio.h>#include <sys/time.h>
#include <
浏览 0提问于2012-10-03得票数 0
回答已采纳
1回答
我正在设置一个Apache Spark集群来执行实时流计算，并希望通过跟踪各种指标(如批大小、批处理时间等)来监视部署的性能。我的Spark Streaming程序是用Scala编写的
退出状
浏览 4提问于2017-04-11得票数 2
回答已采纳
当我打开一个火花应用程序的应用程序主程序时，我在一个阶段中看到了很多Scheduler Delay。其中有些甚至超过10分钟。我想知道他们是什么，为什么要花这么长时间？更新:通常像aggregateByKey这样的操作在执行程序真正开始执行任务之前需要花费更多的时间(即调度程序延迟)。为什么会这样呢？
浏览 3提问于2015-07-23得票数 17
我有一个Spark作业，它在本地运行良好，但数据较少，但当我在YARN上调度它执行时，我不断收到以下错误，慢慢地所有执行器都从UI中删除，我的作业失败我使用以下命令在yarn客户端模式下调度</em
浏览 0提问于2015-07-30得票数 52
回答已采纳
1回答
我想在给定的间隔后播放每个声音，例如200毫秒。尽管下面的方法适用于较长的延迟(700到1000毫秒)，但并不是太精确。对于短暂的延迟，有时声音“堆在一起”，并迅速地连续播放。我尝试过的(某种伪代码)： clip.start(); }
我猜这与JVM/OS的线程调度有关.编
浏览 3提问于2012-03-22得票数 1
2回答
我想运行延迟函数作为下划线链的一部分。似乎延迟函数只能使用传递的显式参数--而不是包装器对象。此代码不工作(未定义的不是函数异常)： var txt = text; _.delay(function (m) { m.Show(); }, 1
浏览 2提问于2014-12-29得票数 0
回答已采纳
1回答
我们有一个Spark流媒体应用程序，它基本上没有几个小时的调度延迟，但是突然它跳到了几分钟并失控地螺旋上升：
我们真的不愿意进一步增加批处理间隔，因为对于如此长的时间段，延迟为零。有没有什么技术可以从调度延迟
浏览 2提问于2016-06-18得票数 4
1回答
我有一个星火流作业，它使用直接的方法从Kafka集群读取数据。在处理时间上有一个周期性的高峰，我无法理解，并且没有反映在Spark度量中。下面的图像显示了这个模式(批处理时间= 10s)：这个问题在每次工作运行时都是可重复的。卡夫卡日志中没有要读取的数据，因此没有真正的处理，值得注意的是，要执行。我希望行是平的，接近最小值来序列化任务并将任务发送到执行程序。
模式是一个作业需要9秒(这有5秒的</
浏览 1提问于2015-11-30得票数 2
1回答
Nios 2的C和程序集轮询
、、、、
我认为如果我在延迟子例程中添加了一个call pollkey，那么它为什么不能工作呢？但我想每毫秒都进行一次轮询，我认为我能做到的唯一方法就是调用dely子例程中的pollkey，但是如果这样做，就好像什么都没发生一样。我以前问过怎么做，只有在C中才能得到答案，而我认为答案应该是更改程序集。
我使用br而不是call获得了更好的结果，所以我必须检查差异。这就是我用的更好的方法：
.equ delaycou
浏览 5提问于2013-09-06得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
