我正在开发一个类似于"Hello“的SnappyData应用程序,我希望它能够在IntelliJ中构建和运行。到目前为止,我的集群是本地机器上的一个定位器、一个引线和一个服务器。我只想连接到它,序列化一些琐碎的数据或者可能是一个DataFrame,看看它是否正常工作。
文档中说我应该能够做这样的事情:
val spark: SparkSession = SparkSession
.builder()
.appName("SnappyTest")
.master("xxx.xxx.xxx.xxx:xxxx")
.getOrCreate()
val snappy = new SnappySession(spark.sparkContext)
然而,我得到“不能解析符号SnappySession”。
下面是我在我的build.sbt中拥有的内容:
name := "snappytest"
version := "0.1"
scalaVersion := "2.11.11"
// https://mvnrepository.com/artifact/io.snappydata/snappy-spark-core_2.11
libraryDependencies += "io.snappydata" % "snappy-spark-core_2.11" % "2.1.1.1"
// https://mvnrepository.com/artifact/io.snappydata/snappy-spark-sql_2.11
libraryDependencies += "io.snappydata" % "snappy-spark-sql_2.11" % "2.1.1.1"
(在添加了这些内容之后,我刷新了项目。)
据我所知,当我进口与火花有关的东西时,例如:
import org.apache.spark.sql.SparkSession
我实际上是从build.sbt中的依赖项导入扩展的org.apache.spark版本,而不是从规范的org.apache.spark版本导入扩展的org.apache.spark版本。所以这意味着我也可以:
import org.apache.spark.sql.SnappySession
然而,我得到“不能解析符号SnappySession”。在我输入代码时,我没有看到任何与代码完成下降相关的东西。它寻找整个世界就像香草星火。
我在这里错过了什么?我想我漏掉了一些明显的东西。我无法在SnappyData文档中找到导入头或构建语句的示例,我认为这是因为这些细节太明显了,无法提及。除了对我。这里有人愿意在这件事上帮我吗?
发布于 2017-10-22 23:15:41
我假设您正在尝试用Spark应用程序连接到现有的SnappyData集群。您是否可以检查connector/以查看maven坐标参数。
发布于 2019-05-06 23:00:55
您应该导入snappydata-core来解决这个问题。就像这个maven依赖:
<dependency>
<groupId>io.snappydata</groupId>
<artifactId>snappydata-core_${scala.version.major}</artifactId>
<version>1.0.3</version>
</dependency>
https://stackoverflow.com/questions/46883075
复制相似问题