如何在独立集群上正确提交spark作业
在独立集群上正确提交Spark作业，需要按照以下步骤进行：
- 准备Spark作业：编写Spark作业的代码，包括前端开发和后端开发。前端开发主要涉及用户界面的设计和交互逻辑的实现，可以使用HTML、CSS和JavaScript等技术。后端开发主要涉及数据处理和计算逻辑的实现，可以使用Scala、Java或Python等编程语言。
- 配置Spark集群：在独立集群上配置Spark集群，包括Master节点和Worker节点的设置。可以使用Spark官方提供的Spark Standalone模式，也可以使用其他云计算平台提供的Spark集群服务。
- 打包和上传作业：将Spark作业的代码打包成JAR文件，并上传到Spark集群的Master节点上。可以使用sbt、Maven或Gradle等构建工具进行打包，然后使用scp或其他文件传输工具将JAR文件上传到Master节点。
- 启动Spark作业：通过Spark集群的命令行工具或Web界面，提交Spark作业并指定作业的JAR文件和参数。可以使用spark-submit命令提交作业，指定主类和其他参数。例如，使用以下命令提交作业：
spark-submit --class com.example.MySparkJob --master spark://master:7077 mysparkjob.jar arg1 arg2
其中，com.example.MySparkJob是作业的主类，spark://master:7077是Spark集群的Master节点地址，mysparkjob.jar是作业的JAR文件，arg1和arg2是作业的参数。
- 监控和调优作业：在Spark集群的Web界面上可以监控作业的运行状态和性能指标，如任务完成情况、资源使用情况和作业执行时间等。根据监控信息，可以进行作业的调优，如调整作业的并行度、内存分配和数据分区等。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark集群：https://cloud.tencent.com/product/emr
- 腾讯云云服务器CVM：https://cloud.tencent.com/product/cvm
- 腾讯云对象存储COS：https://cloud.tencent.com/product/cos
- 腾讯云数据库TencentDB：https://cloud.tencent.com/product/cdb
- 腾讯云容器服务TKE：https://cloud.tencent.com/product/tke
- 腾讯云人工智能AI：https://cloud.tencent.com/product/ai
相关·内容
2回答
如何在独立集群上正确提交spark作业
apache-spark、pyspark
我刚刚在Ubuntu 14上构建了一个spark 2.0单节点集群，正在尝试提交一个pyspark作业：
~/spark/spark-2.0.0$ bin/spark-submit --driver-memory/spark-2.0.0/examples/src/main/python/pi.py at spark:/
浏览 20提问于2016-07-28得票数 1
回答已采纳
2回答
如何从不属于集群的机器启动spark shell或提交spark作业？
apache-spark、datastax-enterprise、datastax
我有一个由4个DSE 4.6节点组成的集群，其中Cassandra/Spark处于独立模式，提交一个作业来spark或从其中一个集群节点打开spark shell就可以了。我现在想要做的是能够从不属于集群的机器上打开spark shell，所以我在一台新机器上安装了DSE，但是当我尝试运行
$ SPARK_MASTER=spark:&#
浏览 0提问于2015-01-11得票数 0
1回答
运行星火作业-在整个集群中提交
hadoop、apache-spark、pyspark、emr、amazon-emr
我最近在亚马逊的EMR上建立了一个星火群，有一个主人和两个奴隶。sc=SparkContext("local", "App Name")如果我想对我
浏览 1提问于2016-04-01得票数 3
回答已采纳
1回答
如何在独立集群上杀死作业名称为Spark的作业
apache-spark、sandbox、hdp
如何在独立集群上杀死一个作业名为Spark的作业？如何在沙箱中列出Spark作业ids？是否有类似于yarn application -list的命令
浏览 20提问于2019-02-05得票数 0
2回答
在Slurm上运行Spark
scala、apache-spark、slurm
如何在Slurm集群上运行Spark？我非常有兴趣在我的程序中定义SparkContext并设置我想使用的节点数，但是如果我必须为它编写一些bash脚本，也是可以的。
浏览 1提问于2015-03-28得票数 2
1回答
在收集连接两个DataFrame的结果时，毫无例外地触发作业挂起
eclipse、scala、apache-spark、cassandra
我可以得到正确的结果，火花工作可以正常完成在我的电脑月蚀。但是当我提交到server (本地模式)时，作业就会挂起，没有任何异常或错误消息，直到我按Ctrl+C停止它，一个小时后才能完成。谢谢~/usr/bin/spark-submit --class com.test.c2c --jars file:///home/iotcloud/Documents/grace/spark
浏览 3提问于2016-12-12得票数 1
回答已采纳
2回答
星星之火:作业重新启动和重试
java、apache-spark、apache-spark-standalone
假设您有Spark +独立集群管理器。您使用一些倾诉打开了星火会话，并希望与不同的参数并行启动SomeSparkJob 40次。
我的解决
浏览 3提问于2017-03-17得票数 2
回答已采纳
1回答
Spark作业未显示在独立群集GUI上
apache-spark
我正在实验室中运行spark作业，并且有一个三节点的独立集群。当我通过CLI在主节点上执行新作业时，虽然作业按预期完成，但它根本不会显示在集群spark-submit sparktest.py --master spark://myip:7077上。经过一些研究之后，我将--master添加到了提交命令中，但是没有用。在作业执行期间和完成后，当
浏览 9提问于2021-08-09得票数 1
回答已采纳
2回答
在独立模式下运行spark集群与Yarn/Mesos
hadoop、apache-spark、hadoop-yarn、mesos
目前，我以独立模式运行我的spark集群。我正在从平面文件或Cassandra(取决于作业)读取数据，并将处理后的数据写回Cassandra本身。
浏览 2提问于2016-04-01得票数 4
2回答
火花在Kubernetes上
apache-spark、kubernetes、pyspark
我在kubernetes中对Spark进行了如下配置。我点击了这个链接到setup - 在此配置中，是否可以在群集模式下运行作业？或者这只能用于本地开发？
浏览 1提问于2020-07-29得票数 1
3回答
仅允许在spark集群上执行一个驱动程序
apache-spark、cluster-computing
我们有一个包含8个节点的spark集群。每小时向群集提交一个spark作业。如果spark作业已经在集群上运行，我如何配置集群或编写一些不允许在集群上提交spark作业的代码？
浏览 2提问于2017-06-13得票数 0
4回答
如果驱动程序崩溃，会发生什么？
apache-spark
我想你会失去所有的工作，因为读取结果的代码不再运行，或者Spark不知何故知道如何重新启动它？如果是这样的话，是怎么做的？
浏览 0提问于2014-10-29得票数 10
1回答
从代码中按需启动火花作业。
scala、apache-spark
从企业应用程序( Java或Scala)中按需启动星火作业的推荐方法是什么？有一个处理步骤，目前需要几分钟才能完成。我想使用星火集群将处理减少到15秒以下：
问题2：将处理结果
浏览 4提问于2016-08-06得票数 2
回答已采纳
1回答
我可以在spark 2.2.*独立集群上运行spark 2.0.*工件吗？
apache-spark
我意识到，随着spark的主要版本(即从1.*到2.*)的更改，将会由于现有API的更改而导致编译时失败。
根据我的knowledge spark保证，通过较小的版本更新(即2.0.虽然这将消除升级时编译时失败的可能性，但如果在spark 2.2上提交作业，是否可以安全地假设也不会有任何运行时失败？*使用使用2.0创建的工件(Jar)的独立集群。*依赖项？
浏览 0提问于2017-12-06得票数 1
1回答
Spark-submit main类中的主url和SparkSession主url，有什么区别？
apache-spark
在使用spark-submit提交作业时，我设置了主URL，并为他提供了一个主类，例如：但是在这个主类中，我的spark上下文定义了另一个主url：
SparkSession.builder().appName("Word2vec").master("local").这让我感到困惑
浏览 1提问于2016-08-08得票数 8
回答已采纳
3回答
如何向Azure HDInsight上的Hadoop纱线提交Apache作业
azure、apache-spark、azure-hdinsight
但是，我无法找到任何关于如何向我的HDInsight集群提交Apache作业的远程作业的文档。对于标准MapReduce作业的远程作业提交，我知道有几个REST端点，如Templeton和Oozie。但据我所知，通过邓普顿管理星火作业是不可能的。我确实发现把火花作业整合到Oozie中是可能的，但是我读到这是一件非常乏味的事情，而且我也读过一些关于工作失败检测在这种情况下不起作用的报告。也许有一种更合适的方式来
浏览 3提问于2014-07-10得票数 6
回答已采纳
1回答
如何使火花保存它的临时文件在S3上？
amazon-web-services、apache-spark、amazon-s3
我正在AWS EMR集群上运行spark作业，从客户端主机提交它们。客户端机器只是一个EC2实例，它以集群模式向EMR提交作业。问题是- spark可以保存200 is的临时文件，如下所示：Tmp文件夹
浏览 2提问于2018-10-01得票数 0
回答已采纳
1回答
PySpark在终端中工作，但在Python代码中执行时不起作用。
python、apache-spark、pyspark、avro、spark-avro
Ignoring non-Spark config property: hive.exec.dynamic.partition at org.apache.spark.deploy.SparkSubmit
浏览 4提问于2021-06-15得票数 2
回答已采纳
2回答
4040和8080上的web有什么不同？
apache-spark
有两种不同的web (一种只用于独立模式)。当我在独立模式下启动星火时，我可以在端口4040上使用web吗？我是否有可能推出星火(没有hadoop，hdfs，纱线等)，保持它并提交我的罐子(类)到它？我想看完后的工作统计数据。我正在尝试这样的方法：Worker: Spark\binSubmit: <em
浏览 0提问于2016-01-03得票数 3
回答已采纳
1回答
如何在亚马逊EC2上安装spark客户端？
apache-spark、amazon-ec2、amazon-emr
如何在亚马逊EC2上安装spark客户端，其中spark作业将提交到具有集群工作节点的EMR主节点？
你能告诉我上面架构中的文档配置spark吗？
浏览 1提问于2018-01-03得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
