我正在尝试运行spark应用程序,它是用GKP中的java编写的。同样,我能够构建图像并放置在容器中。但是,在使用spark submit命令运行spark应用程序时,我面临一个错误,即
Error: Could not find or load main class org.apache.spark.launcher.Main我为此使用的java和spark版本是jdk-11和SMAK-3.2.1,我是通过IntelliJ与maven一起运行这个应用程序的。
在Linux上安装Spark (SuSE SLES 12)之后,我会看到以下连接错误(“连接失败”),在Spark从进程旁边也会影响"pyspark“示例,拒绝连接。部分问题可能是默认的Linux防火墙设置。'sparkMaster' on port 7077.
16/04/19 10:12:30 INFO Master: Starting Spark master at spark://zbra20