启动并提交作业spark
启动并提交作业spark
提问于 2016-08-29 16:13:57
我尝试在我的java应用程序中“运行”spark作业，搜索，我发现了以下两种方法：ClientsArguments和SparkLauncher。
有人能给我解释一下这两者之间的区别吗？启动和提交作业/应用程序Spark之间的区别？谢谢。
回答 1
Stack Overflow用户
发布于 2017-06-27 05:46:38
SparkLauncher只是一个用于spark-submit的包装库，它将你的SparkLauncher代码转换成spark-submit script，然后触发作业。
这个机制和spark-submit脚本是一样的，如果你看看SparkLauncher的源代码，它使用ProcessBuilder来构造外壳。
如果要使用SparkLauncher，则需要指定$JAVA_HOME、$SPRAK_HOME等基本参数。SparkLauncher有一些限制，你的SparkLauncher运行的机器必须有一个$JAVA_HOME和$SPARK_HOME(火花库)，用于SparkLauncher定位脚本和相关的依赖项。对于像CloudFoundry这样的云环境来说，这是很软的，甚至是不可能的。
您可以假设SparkLauncher等于spark-submit脚本，您可以选择客户端或主模式、本地模式或纱线模式。
ClientsArguments是一个用于纱线脚本的类，它只适用于纱线模式。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/39201487
复制相关文章
相似问题
腾讯云开发者
