修改${spark_home}/bin/spark-class文件:
"$RUNNER" -Xmx128m -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888 "$@"
参数说明:
用eclipse
将项目export
出jar
包,传到集群上使用spark-submit
提交Application
,可以看到在等待:
注意,传到集群上的代码要和本地一样!