当我打开Spark-shell时,它完全打开了,但当我尝试导入org.apache.spark.SparkConf时,我得到了以下错误: Exception in thread "Thread-16"ConsoleReader.java:733)
at jline.console.ConsoleReader.accept(ConsoleReader.java:2025)scala> import org.apache.spark.SparkConf
我正在写一个脚本,试图让卡桑德拉和斯派克一起工作,但我甚至无法让程序编译。我使用SBT作为构建工具,并且声明了程序所需的所有依赖项。第一次运行sbt时,它下载了依赖项,但是当它开始编译scala代码时会出现错误,如下所示:[error] /home/vagrant/ScalaTest/src/main/scala/ScalaTest.scala:6: not found: type SparkConf
[error]
我运行以下命令:然后,我以以下方式停止了上下文:val conf = new org.apache.spark.SparkConf(true).set("spark.cassandra.connection.host").collectorg.apache.spark.sql.AnalysisExce
最初,我在Spark1.6中尝试了一个使用scala的程序,它工作得很好(在这里,我将SparkContext对象作为sc自动获得)。当我尝试Spark2.2时,我不会自动获得sc,所以我通过执行以下步骤创建了一个:import org.apache.spark.SparkConfArray(1, 2, 3, 4, 5) 错误:
Value parallelize is not a m