如何在独立集群上杀死一个作业名为Spark的作业？如何在沙箱中列出Spark作业ids？是否有类似于yarn application -list的命令
浏览 20提问于2019-02-05得票数 0
这就是我希望能回答我的问题的线索。但这四个答案都解释了如何杀死整个应用程序。我可以在Spark中通过单击相应任务上的“杀死”来完成这一任务。我认为，必须能够列出正在运行的作业，并通过CLI直接与它们交互。
实际上，我是在Glue端点上使用PySpark编写笔记本。如果我杀死了应用程序，那么整个端点就会死掉，我必须创建一个新的<em
浏览 4提问于2019-10-01得票数 1
回答已采纳
1回答
从企业应用程序( Java或Scala)中按需启动星火作业的推荐方法是什么？有一个处理步骤，目前需要几分钟才能完成。我想使用星火集群将处理减少到15秒以下：
问题1：如何在企业应用程序中按需启动火花作业？Spark集群(<em
浏览 4提问于2016-08-06得票数 2
回答已采纳
2回答
假设您有Spark +独立集群管理器。您使用一些倾诉打开了星火会话，并希望与不同的参数并行启动SomeSparkJob 40次。
如何在作业失败时重新启动火花应用程序？这可能是有用的，如果工作缺乏资
浏览 3提问于2017-03-17得票数 2
回答已采纳
有两种不同的web (一种只用于独立模式)。当我在独立模式下启动星火时，我可以在端口4040上使用web吗？(例如：spark-class.cmd org.apache.spark.deploy.master.Master- web 8080正在工作，4040 -不起作用。)这些UI之间的主要区别是什么？我是否有可能推出星火(没有hadoop，hdfs，纱线等)，保持它并提交我的罐子(类)到它？我想看完后的工作统计数据。我正在尝试这样
浏览 0提问于2016-01-03得票数 3
回答已采纳
当我试图杀死一个从oozie工作中调用的火花作业时，它并没有被杀死。这只是显示工作流作业被杀了。ThreadPoolExecutor.java:624)是我做错了什么，还是限制了我们不能扼杀oozie协调员在纱线上启动的火花应用程序
浏览 0提问于2018-09-03得票数 1
回答已采纳
我正在实验室中运行spark作业，并且有一个三节点的独立集群。当我通过CLI在主节点上执行新作业时，虽然作业按预期完成，但它根本不会显示在集群spark-submit sparktest.py --master spark://myip:7077上。在作业执行期间和完成后，当我导航到http://mymasternodeip
浏览 9提问于2021-08-09得票数 1
回答已采纳
1回答
运行星火作业-在整个集群中提交
、、、、
我最近在亚马逊的EMR上建立了一个星火群，有一个主人和两个奴隶。sc=SparkContext("local", "App Name")如果我想对我
浏览 1提问于2016-04-01得票数 3
回答已采纳
我搞不懂spark.cores.max的定义spark.cores.max represents the total number of CPU cores for the wholeapplication如果我将spark.cores.max设置为12，而核心/执行器为4，这意味着什么？
浏览 1提问于2020-12-09得票数 3
我有一个由4个DSE 4.6节点组成的集群，其中Cassandra/Spark处于独立模式，提交一个作业来spark或从其中一个集群节点打开spark shell就可以了。我现在想要做的是能够从不属于集群的机器上打开spark shell，所以我在一台新机器上安装了DSE，但是当我尝试运行
$ SPARK_MASTER
浏览 0提问于2015-01-11得票数 0
我正在尝试使用Scala中的IntelliJ IDEA来执行这个简单的Spark工作。但是，Spark UI会在对象完全执行后完全停止。我是否遗漏了什么或在错误的位置收听了什么？Scala版本- 2.10.4和Spark - 1.6.0 object SimpleApp { val logFile
浏览 0提问于2016-02-24得票数 0
我试图将cassandra中的两个表查询到两个dataframes中，然后将这两个dataframe连接到一个dataframe(结果)中。package com.test
import org.apa
浏览 3提问于2016-12-12得票数 1
回答已采纳
我希望有一个监控和警报系统(使用Datadog这样的工具)，它可以从我在Databricks中的Spark应用程序中获取度量和日志。问题是，由于不需要每天旋转、运行和杀死数百甚至数千个作业集群，所以最好将现有的集群重新用于类似的数据抽取工作。为了从Datadog中的Databricks和Spark获取度量标准，我尝试了以下方法：
在每个笔记本中更改SparkSession.builder.appName：不起作用，因为在集
浏览 2提问于2021-11-23得票数 1
回答已采纳
1回答
我们有一个(远程) Hadoop集群，人们通常在集群上运行map-还原作业。如果您以前已经这样做过，请给我详细的步骤，以便可以创建星系团。
浏览 1提问于2016-07-08得票数 6
我想托管一个Spring Cloud数据流本地服务器，用于监控和执行我的各种Spring Boot批处理项目。我想要实现的问题或基础架构是，我希望我的Spring Cloud数据流服务器主机在服务器A上，该主机能够在服务器B上执行Spring Boot批处理/任务。
这是我试图实现的一个可能的配置吗？因为我有几个在不同服务器上运行Spring Boot批处理应用程序。
浏览 5提问于2019-10-18得票数 0
1回答
main_tbl USING 'python cleanser.py' as (schema) insert查询运行超过15mnts以改进如何在spark中运行查询？
浏览 10提问于2018-02-16得票数 0
1回答
有人能提到这些因素的不同吗？节点/机器数
另外，如果我在单个笔记本电脑上本地运行星火，那么这是本地模式还是独立模式
浏览 3提问于2018-04-22得票数 4
我有一个关于使用log4j及其在JavaforSpark作业中的配置文件log4j.properties的问题。我已经把log4j.properties和我的星火作业"jar“文件一起附上了，在它提交到EMR集群之后，我的应用程序将对log4j.properties文件进行初始化。下面是我的示例代码： try {
浏览 3提问于2017-09-13得票数 0
回答已采纳
2回答
我在kubernetes中对Spark进行了如下配置。我点击了这个链接到setup - 在此配置中，是否可以在群集模式下运行作业？或者这只能用于本地开发？
浏览 1提问于2020-07-29得票数 1
1回答
我有两个火花流作业，我想运行，以及保留一些可用的资源，用于批处理作业和其他操作。1)这是否意味着单个核心可以在两个流应用程序之间移动？2)虽然我有spark & cassandra，但是为了利用数据局部性，我是否需要在每
浏览 3提问于2016-05-05得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
