如何在没有Spark Rest API的Spark中监听作业进度
在没有Spark Rest API的Spark中监听作业进度，可以通过以下方法实现：
- Spark UI：Spark提供了一个Web界面，可以通过访问Spark UI来监控作业的进度。默认情况下，Spark UI会在作业启动时自动启动，并在特定端口上提供访问。你可以通过访问该端口来查看作业的进度、任务的执行情况、数据倾斜等信息。
- Spark监听器（Spark Listeners）：Spark提供了监听器机制，可以通过编写自定义的监听器来监听作业的进度。你可以实现自己的监听器类，继承自SparkListener，并重写其中的方法来处理作业的进度更新事件。通过注册监听器，你可以在作业执行过程中获取作业的进度信息，并进行相应的处理。
- 日志文件：Spark会将作业的日志输出到指定的日志文件中。你可以通过监控日志文件的变化，解析其中的日志信息来获取作业的进度。可以使用类似tail命令的工具实时查看日志文件的更新情况，或者编写脚本定期解析日志文件中的内容。
需要注意的是，以上方法都是在没有Spark Rest API的情况下实现的。如果有Spark Rest API的话，可以直接通过API获取作业的进度信息。另外，以上方法都是针对Spark本身的作业进度监控，不涉及具体的云计算平台或产品。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark：https://cloud.tencent.com/product/spark
- 腾讯云云服务器CVM：https://cloud.tencent.com/product/cvm
- 腾讯云对象存储COS：https://cloud.tencent.com/product/cos
- 腾讯云数据库TencentDB：https://cloud.tencent.com/product/cdb
- 腾讯云人工智能AI：https://cloud.tencent.com/product/ai
相关·内容
1回答
如何在没有Spark Rest API的Spark中监听作业进度
apache-spark
我已经创建了自己的spark listener类来扩展SparkListener。我已经覆盖了onJobStart和onJobEnd方法。但是找不到一种方法来获得工作进展。我想要查看作业完成的百分比。我知道我可以通过Spark Rest API，但不幸的是我不能使用它。是否有其他方法可以获取作业进度百分比？
浏览 9提问于2017-06-21得票数 2
回答已采纳
3回答
如何在Spark中实现自定义作业监听器/跟踪器？
java、apache-spark
我有一个类似下面的类，当我通过命令行运行这个类时，我希望看到进度状态。像这样的东西，30% completed... args[0], System.getenv("S
浏览 1提问于2014-06-28得票数 14
1回答
如何通过Powershell在HDInsight上提交Spark作业？
powershell、azure、pyspark、azure-hdinsight
有没有办法通过Powershell在HDInsight上提交Spark作业？我知道这可以通过Azure Data Factory中的活动来完成，但是有没有办法将python脚本从Powershell cmdlet提交到pyspark HDInsight？
浏览 3提问于2017-06-22得票数 0
1回答
在Databricks Jobs API中传递JVM参数
azure、databricks、azure-databricks、jvm-arguments
我想在Databricks中使用Jobs API将JVM参数传递给REST请求。有可能做到吗？任何提示都会有所帮助。
将类似-Dconfig-file=app.conf的内容添加到spark作业。
浏览 7提问于2020-02-28得票数 1
3回答
如何在不使用spark -submit的情况下触发spark作业？实时代替批处理
scala、apache-spark、spark-streaming
我有一个spark作业，我通常使用spark-submit和输入文件名作为参数来运行它。现在我想让工作对团队可用，这样人们就可以提交一个输入文件(可能通过一些web-API)，然后spark作业将被触发，它将返回给用户结果文件(也可能是通过web-API)。(我使用的是Java/Scala)
在这种情况下，我需要构建什么才能触发spark作业？有什么教程吗？我应该在这种情况下使用spark
浏览 0提问于2015-06-16得票数 0
2回答
Spark应用程序作为Rest服务
apache-spark
我有一个关于spark应用程序用法的问题。因此，我希望我们的Spark应用程序作为REST API Server运行，就像Spring Boot应用程序一样，因此它不会是批处理过程，相反，我们将加载应用程序，然后我们希望保持应用程序的活动状态(不调用spark.close())，并通过我们将定义的一些应用程序接口将应用程序用作实时查询引擎。我的目标是将其部署到Databricks。任何建议都是好的。
浏览 1提问于2020-09-01得票数 1
1回答
如何在长期运行的星图作业中监控进度和恢复？
apache-spark
我们使用Spark运行一个ETL进程，通过这个过程从一个庞大的(500+GB) MySQL数据库加载数据，并转换成聚合的JSON文件，然后写入Amazon。我的问题有两方面：
这项工作可能需要很长时间才能运行，很高兴知道映射是如何进行的。我知道星火有一个内置的日志管理器。它是否就像在每个地图中放置一个日志语句一样简单？假设这个庞大的作业在中间失败(可能它会阻塞DB记录，或者MYSQL连接会下降)。在星火中有什么简单的方法可以从这里
浏览 0提问于2018-08-01得票数 1
回答已采纳
3回答
纱线上的火花2.3.1 :如何通过程序监测阶段进展？
scala、apache-spark、hadoop、hadoop-yarn
我已经设置了Spark在纱线上运行，我的目标是以编程的方式通过应用程序id获得星火作业进度的更新。
我的第一个想法是解析纱线GUI的HTML输出。然而，这种GUI的问题是，与火花作业相关的进度条没有定期更新，甚至大部分时间都不会更改:当作业开始时，百分比大约是10%，并且它坚持这个值直到作业完成。因此，这样的纱
浏览 0提问于2018-08-23得票数 0
回答已采纳
2回答
如何从web应用程序中利用spark集群？
apache-spark
很多人都问过这个问题，但除了链接和参考之外，没有明确的答案，而且大多数都不是最近的。问题是:我有一个web应用程序，需要利用spark集群来运行spark-sql查询。我的理解是，提交作业脚本是异步的，因此这在这里不起作用。我如何在这样的设置中利用spark？我是否可以像在自包含的spark应用程序中一样，在web应用程序中编写
浏览 3提问于2016-09-13得票数 2
5回答
如何通过火花REST获取所有作业状态？
rest、apache-spark
我正在使用spark 1.5.1，我希望通过REST检索所有作业状态。
我正在使用/api/v1/applications/{appId}得到正确的结果。但是，在访问作业时，/api/v1/applications/{appId}/jobs But “没有这样的应用程序：{appID}”响应。我应该如何在这里传递应用程序ID，以
浏览 18提问于2015-11-03得票数 7
2回答
如何调用从Spark作业调用的web服务？
apache-spark、apache-spark-sql、spark-structured-streaming
我想调用一个web服务来获取Spark Structured Streaming中的一些数据。有可能吗？多么?
浏览 0提问于2019-12-07得票数 5
3回答
我们是否可以在执行程序上跨批处理使用缓存的RDD
caching、apache-spark、streaming、rdd、executor
我有一个案例，我想每隔一小时从远程存储下载一些数据，并将其作为键-值对存储在executor/worker上的RDD中。我想缓存这个RDD，这样将来在这个executor/worker上运行的所有作业/任务/批处理都可以使用缓存的RDD进行查找。这在Spark Streaming中是可能的吗？一些相关的代码或指向相关代码的指针会很有帮助。
浏览 1提问于2016-09-20得票数 2
4回答
如何从命令行检查Spark应用程序的状态？
apache-spark
要检查Apache spark中正在运行的应用程序，可以从URL上的web界面进行检查：我的问题是，我们如何从终端检查正在运行的应用程序，有什么命令可以返回应用程序的状态吗
浏览 0提问于2016-05-25得票数 32
2回答
使用Spark - Spark JobServer进行实时基于请求的推荐？
apache-spark、apache-spark-ml、spark-jobserver
我们正在试图找到一种加载Spark (2.x) ML训练模型的方法，这样我们就可以根据请求(通过REST接口)查询它并获得预测，例如
有一些现成的库可以将模型加载到Spark中(假设它是在使用MLWritable训练后存储在某个地方)，然后将其用于预测，但由于SparkContext的初始化，将其包装在作业中并在每次请求/调用时运行它似乎有些过分。经过一些挖掘，我们发现可以潜在地帮助我们解决这个问题，它允许我们为作业
浏览 1提问于2017-02-14得票数 5
5回答
如何从程序中获取spark作业状态？
hadoop、apache-spark
我知道hadoop REST API通过程序提供对作业状态的访问。
同样，有没有办法在程序中获得spark作业状态？
浏览 0提问于2014-11-27得票数 2
3回答
如何获取当前SparkContext的jobId？
scala、apache-spark、databricks
所有其他问题似乎都解决了Spark applicationId的获取问题。我想以编程方式取消需要jobId的spark作业。
spark.sparkContext.cancelJob(jobId)
浏览 55提问于2021-11-12得票数 0
2回答
找出Spark阶段每一步的执行时间
scala、apache-spark
我如何才能找到Spark阶段中每一步的持续时间？我想弄清楚到底哪一步才是我工作的瓶颈。
浏览 0提问于2016-09-05得票数 2
1回答
Apache livy for Dask分布式替代方案
apache-spark、dask、dask-distributed
Dask是一个纯粹的基于python的分布式计算平台，类似于Apache Spark。有没有办法通过REST API运行和监控Dask分布式作业/任务，比如Apache Livy for Apache Spark？
浏览 41提问于2021-09-26得票数 1
1回答
可以使用spark-submit -package广播Tensorflow库吗
apache-spark、tensorflow
我正在使用一个集群，它不是由我自己管理的。Tensorflow库未安装在任何群集节点上。但是我想使用tensorflow包来运行一些Spark程序。我不确定是否可以简单地使用spark-submit --packages来跨集群节点广播tensorflow包。
浏览 1提问于2016-11-06得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
