如何在linux终端上运行spark scala程序？
如何在linux终端上运行spark scala程序？
提问于 2018-08-17 16:59:38
我用scala写了一个spark程序。现在我想在终端中运行我写的脚本。在pyspark中，我对python文件使用spark-submit。现在，我想对我的scala程序执行同样的操作。我不想使用Intellij或用spark-shell编写我的程序。我只想在编辑器中编写代码，并在终端中使用命令来运行它。这有可能吗？提前谢谢你
回答 1
Stack Overflow用户
回答已采纳
发布于 2018-08-17 17:58:42
为您的代码创建一个JAR文件(jar名称为HelloWorld.jar)。您可以使用HDFS或本地路径，如下所示。
你可以在下面的命令中添加许多选项，你可以在philantrovert在注释中给出的url中找到这些选项。
在本地模式下运行。
spark-submit --class path.to.YourMainClass --master local[*] /path/to/your/jar/HelloWorld.jar在集群模式下运行。
spark-submit --deploy-mode cluster --class path.to.YourMainClass --master yarn hdfs://nameservice1/hdfsPath/to/your/jar/HelloWorld.jar页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/51891827
复制相关文章
相似问题
腾讯云开发者
