如何在启动新作业之前了解spark作业是否已完成

文章/答案/技术大牛

发布

1回答

apache-spark

我想通过yarn并行运行一组spark作业，然后等待它们全部完成，然后再启动另一组作业。我如何才能知道我的第一组作业何时完成？谢谢。

浏览 10提问于2018-08-21得票数 1

回答已采纳

1回答

创建一个独立的随需应变的Apache火花web服务

python、web-services、apache-spark、service、pyspark

在后端启动一个Apache作业，它使用这些单词作为输入参数，该作业的结果将被处理并显示在网页中。我想使这成为一个独立的东西，而不使用任何火花的服务，如蓝光等。现在，我正在考虑这样做:后端的Python服务器接受请求，并通过输入启动一个新的Spark作业。火花作业完成后，Python服务将处理输出并将其发送回页面。我不知道这样做是否最好。另外，我不知道如何在网页中实时显示星火<em

浏览 2提问于2017-11-10得票数 0

1回答

Kubernetes Cronjob Pod调度问题

kubernetes、kubernetes-cronjob

我需要了解kubernetes cronjob的行为。即使之前的作业未完成，也会启动新的cronjob pod。只有一个pod针对此作业运行，之前的pod已消失。为什么在第一个作业未完成时启动新作业。

浏览 35提问于2021-09-13得票数 0

1回答

从代码中按需启动火花作业。

scala、apache-spark

从企业应用程序( Java或Scala)中按需启动星火作业的推荐方法是什么？有一个处理步骤，目前需要几分钟才能完成。我想使用星火集群将处理减少到15秒以下：问题2：将处理结果传输回调用方代码的

浏览 4提问于2016-08-06得票数 2

回答已采纳

2回答

火花调度模式和应用队列有什么区别？

java、hadoop、apache-spark、queue

在测试多个作业同时运行或稍后提交的较小作业时火花作业的行为时。我在spark中遇到了两个设置。一种是可用的调度模式，如下图所示：其中一个在调度程序中，如下所示我想了解两个设置和抢占之间的区别。

浏览 2提问于2016-08-10得票数 1

回答已采纳

15回答

如何确定作业的状态？

sql、sql-server-2005、tsql、stored-procedures

我有一个调度作业的存储过程。这项工作需要大量的时间来完成(大约30到40分钟)。我需要了解这个职位的状态。下面的详细信息会对我有所帮助2)如何查看正在运行的作业列表以及作业运行后的时间跨度 3)如何查看作业是否已成功完成或因任何错误而在其间停止。

浏览 4提问于2008-10-14得票数 52

回答已采纳

2回答

通过火花提交获得失败火花作业的退出状态-提交

apache-spark、spark-submit、apache-spark-standalone

我是提交火花作业使用火花-提交在独立模式。所有这些工作都是由cron触发的。我想监视这些工作是否失败。但是，如果在应用程序中出现任何异常，则使用submit (Ex )。ConnectionException)作业被终止，我得到0作为火花提交的退出状态。另外，在Spark上，它会显示已完成的作业状态。在任何例外情况下，如何避免火花作业的失败？

浏览 0提问于2018-08-29得票数 0

1回答

何时执行@reboot cron作业？

cron

我有几个cron作业，每分钟都会执行，我正在考虑把@reboot作业。它们是以根权限放置和执行的。我想知道的是。当系统重新启动后到达登录屏幕时，这些cron作业会运行吗？@reboot条目会在重新启动后运行，而不会登录到根中吗？

浏览 0提问于2021-10-08得票数 3

回答已采纳

1回答

运行时中的Spark配置更改

apache-spark、configuration-files、runtime-configuration

因此，询问是否有人知道在运行时更改Spark属性(例如spark.executor.memory、spark.shuffle.spill.compress等)的方法，以便更改可以在作业期间的任务/阶段之间生效……1) Spark 2.0+的文档(以及之前的版本)指出，Spark上下文一旦创建，就不能在运行时进行更改。3)我可以使用新的属性在程序中启动一个新的上下文，但这

浏览 0提问于2016-10-01得票数 10

2回答

火花流作业的可靠检查点(保持复杂状态)

apache-spark、spark-streaming

我们在Red 4.4.7上使用Spark1.6和JVM 1.6来运行我们的火花流应用程序/作业。我们的一些流作业使用复杂的状态，我们有scala类来表示它们。仅仅重新启动作业而不改变任何东西，并没有造成问题。在更改状态处理函数(比如添加打印)之后重新启动作业，没有创建问题。在更改状态后重新启动作业(通过添加一个

浏览 4提问于2016-06-17得票数 5

回答已采纳

1回答

Spring Framework.Creating作业(可以启动、暂停、恢复(从暂停的位置开始))

spring、jobs

我有一个场景，我必须使用作业发出HTTP请求。作业将对不同的作业参数发出HTTP请求。可以有多个相同类型的作业，但有不同的作业参数。我还想了解已启动的作业、已完成的作业、在UI上暂停作业的细节，在这里我可以看到作业报告1.Spring / Task 是否具有启动/暂停功能？<

浏览 2提问于2015-03-23得票数 0

1回答

我有一台有32个核心的机器，其中a我想运行一些具有可变数量的核的mpi作业(这是因为问题需要这样做)。是否有一种方法可以使gnu并行地了解要管理的mpi作业的数量，何时启动每个作业？32)，然后在每个第一次完成后，依次依次运行彼此的作业，而不超过32个并发mpi作业的限制。例如，让我们假设前8个进程正在运行，第一个进程刚刚完成(对于第一个NMPI0 == 2)。那么，在足够多的处理器空闲之前，并行不

浏览 0提问于2019-11-28得票数 1

1回答

为什么web用户界面在作业和阶段页面中显示不同的持续时间？

apache-spark、profiling

我正在运行一个虚拟的spark作业，它在每次迭代中执行完全相同的一组操作。下图显示了30次迭代，其中每个作业对应于一个迭代。可以看到，除了作业0、4、16和28之外，持续时间始终在70ms左右。第一次加载数据时，作业0的行为是预期的。我想知道Spark把(2000 - 64)毫秒花在工作16上了吗？

浏览 2提问于2017-06-26得票数 1

1回答

如何获取打印机的位置

java、printing

我正在尝试在对话框中显示打印机位置。但令我惊讶的是，似乎没有任何打印服务具有位置属性-尽管我验证了我的一些打印机确实在windows打印机控制面板中显示了位置。public class PrintLocation { PrintService[] services = PrintServiceLookup.lookupPrintServices(null, null); for (PrintS

浏览 56提问于2013-06-14得票数 16

1回答

递归承诺会导致堆栈溢出吗？

javascript、promise、callstack

例如，我找到了一些基于承诺的api库，我需要在一些间隔、无限时间内(就像通常的后端循环)使用这个库发出api请求。这个api请求--实际上是一系列的承诺。function r(){ .call(api.anotherCall) .then(api.anotherCall) .then(r)它会导致堆栈溢出吗？function r(){

浏览 0提问于2018-05-19得票数 7

回答已采纳

2回答

启动停止，如果运行

linux、bash、jenkins、upstart

我有一个Jenkins任务来停止节点应用程序、部署代码并启动应用程序。我使用initctl stop node-App这将导致Jenkins作业失败，而不会继续下一步。在发出start命令之前，是否有方法检查作业是否已启动？还是

浏览 5提问于2014-01-30得票数 8

回答已采纳

1回答

spark结构流中的端到端只需一次语义

spark-structured-streaming

我正在尝试理解在下面的场景中，spark结构化流媒体中的端到端是否只有一次语义受到损害。场景:启动具有kafka源和文件宿的结构化流作业。Kafka有16个分区，我正在与16个执行程序一起阅读。当特定的批处理未完成时，我中断了作业。16个任务中有8个任务已完成，我们生成了8个输出文件。现在，如果我再次运行该作业，批处理将启动，并从之前未完成的批处理的相同偏移量范围中读取数据，生成16个输出文件。现

浏览 0提问于2018-08-08得票数 0

2回答

Spark公平调度不起作用

python、apache-spark、pyspark、scheduling

我正在研究使用spark作为我的REST API后端的适用性。其中一个问题似乎是Spark的FIFO调度方法。这意味着如果一个大任务正在执行中，那么在那个重任务完成之前，任何小任务都不能完成。我是否配置了错误的调度程序？<?xml version="1.0"?("spark.scheduler.pool", "test") >>> def heavy_<e

浏览 1提问于2018-03-16得票数 3

2回答

当作业执行的过程未完成时，当作业需要再次执行它时，会发生什么情况？

sql、oracle、plsql、scheduled-tasks、job-scheduling

我想知道当通过一个作业执行一个过程时会发生什么，并且在它完成之前是该作业调用该过程的下一次执行的时间。下面是我创建的作业： X NUMBER; SYS.DBMS_JOB.SUBMIT job => xFALSE DBMS_OUTPUT.PUT_LINE('Job Number is: ' || to_char(x)); CO

浏览 71提问于2019-05-23得票数 5

回答已采纳

7回答

检查Spark流作业是否挂起的最佳方法

apache-spark、apache-spark-sql、bigdata、spark-streaming

我有Spark streaming应用程序，它基本上从Kafka获得触发消息，这启动了批处理，这可能需要2个小时。有一些事件，其中一些作业无限期地挂起，并且没有在通常的时间内完成，目前我们无法在不手动检查Spark UI的情况下确定作业的状态。我想知道当前正在运行的spark作业是否挂起的方法。当为StreamingMetrics.streaming.lastReceivedBatch_records == 0时，可能意味着S

浏览 6提问于2018-10-18得票数 8

点击加载更多