首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

spark-submit适用于纱线集群模式,但SparkLauncher不适用,参数相同

spark-submit是Apache Spark提供的一个命令行工具,用于提交Spark应用程序到集群中运行。它适用于纱线集群模式,可以将应用程序打包成一个JAR文件,并通过spark-submit命令将其提交到集群中执行。

SparkLauncher是Spark提供的一个Java API,用于以编程方式启动和管理Spark应用程序。与spark-submit不同,SparkLauncher不适用于纱线集群模式。它主要用于在独立模式下启动和管理Spark应用程序,或者在本地模式下进行开发和测试。

参数相同指的是spark-submit和SparkLauncher在提交Spark应用程序时可以使用相同的参数。这些参数包括应用程序的主类名、应用程序的JAR文件路径、应用程序的依赖库、应用程序需要的资源等。通过这些参数,可以配置和定制Spark应用程序的运行环境和行为。

总结:

  • spark-submit是一个命令行工具,用于提交Spark应用程序到集群中运行,适用于纱线集群模式。
  • SparkLauncher是一个Java API,用于以编程方式启动和管理Spark应用程序,不适用于纱线集群模式。
  • spark-submit和SparkLauncher可以使用相同的参数来配置和定制Spark应用程序的运行环境和行为。

腾讯云相关产品和产品介绍链接地址:

  • 腾讯云Spark服务:https://cloud.tencent.com/product/spark
页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

【Spark on K8S】Spark里的k8s client

目前在我们的应用下,会有这样的一种特殊的场景。比如说 Driver 创建在 A 集群,但是需要 Driver 将 Executor Pod 创建到 B 集群去。所以我们这里会有两个集群的 master url,分别是集群 A 和集群 B。那么创建任务的模式就是 spark-subtit 的 master url 指向集群 A,然后给 Driver 的 k8s client 设置其创建 Executor Pod 的 master url 指向 B,那么在现有 Spark 的参数下,能否直接通过 SparkConf 或者环境变量来实现这一点呢?我们看看源码。 对于这样的需求,我们首先需要去了解 Spark 是如何跟 k8s 集群打交道的。Spark on K8S 在 submit 的时候默认是直接在 K8S Master 节点提交,通过 --master 或者 SparkConf 中的 spark.master 来指定。

02
领券