注意:他们的作者正在寻找在运行示例时设置Spark的答案,这些示例涉及到对源代码的没有更改,而是只有在可能的情况下可以从命令行执行的选项。
让我们考虑一下BinaryClassification示例的run()方法:
def run(params: Params) {
val conf = new SparkConf().setAppName(s"BinaryClassification with $params")
val sc = new SparkContext(conf)
注意,SparkConf没有提供任何方法来配置SparkMaster。
使用以
我正在运行一个使用自定义类的Spark应用程序。我正在使用EclipseandSpark(v 1.6.1 with hadoop2.6)。
这个类是jar的一部分,我将jar添加到Eclipse中。但是,当应用程序运行时,我会得到错误。
java.lang.NoSuchMethodException: myWorld.myClass.<init>(org.apache.spark.SparkConf)
程序:
SparkConf conf = new SparkConf(true);
//specify some Spark settings for conf
/*...