构建简单的SparkSQL应用程序时遇到麻烦
构建简单的SparkSQL应用程序时遇到麻烦
提问于 2014-07-15 01:34:23
这是一个相当低级的问题。
我在试着了解SparkSQL。我一直在遵循这里描述的示例：http://spark.apache.org/docs/1.0.0/sql-programming-guide.html
在Spark-shell中一切正常，但是当我尝试使用sbt构建一个批处理版本时，我得到了以下错误消息：object sql is not a member of package org.apache.spark
不幸的是，我是sbt的新手，所以我不知道如何纠正这个问题。我怀疑我需要包含额外的依赖项，但是我不知道怎么做。
下面是我正在尝试编译的代码：
/* TestApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
case class Record(k: Int, v: String)
object TestApp {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext._
val data = sc.parallelize(1 to 100000)
val records = data.map(i => new Record(i, "value = "+i))
val table = createSchemaRDD(records, Record)
println(">>> " + table.count)
}
}错误标记在我尝试创建SQLContext的行上。
以下是sbt文件的内容：
name := "Test Project"
version := "1.0"
scalaVersion := "2.10.4"
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.0.0"
resolvers += "Akka Repository" at "http://repo.akka.io/releases/"谢谢你的帮助。
回答 3
Stack Overflow用户
发布于 2014-07-17 00:40:54
就像通常的情况一样，提出问题的行为帮助我找到了答案。答案是在sbt文件中添加以下行。
libraryDependencies += "org.apache.spark" %% "spark-sql" % "1.0.0"我还意识到在上面的小程序中还有一个额外的问题。对createSchemaRDD的调用中的参数太多。该行应如下所示：
val table = createSchemaRDD(records)Stack Overflow用户
发布于 2015-02-23 15:06:45
谢谢!在Maven中构建Scala应用程序时，我遇到了类似的问题。根据您对SBT所做的操作，我添加了相应的Maven依赖项，如下所示，现在我可以编译和生成jar文件了。
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>1.2.1</version>
</dependency>Stack Overflow用户
发布于 2017-02-17 06:54:00
我遇到了类似的问题，在我的例子中，我只是用scalaVersion := "2.10.4“从网上复制粘贴了下面的sbt设置，但在我的环境中，我实际上使用的是scala版本2.11.8。
所以重新更新并执行了sbt包，修复了问题
name := "Test Project"
version := "1.0"
scalaVersion := "2.10.4"
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.0.0"
resolvers += "Akka Repository" at "http://repo.akka.io/releases/"页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/24742380
复制相关文章
相似问题
腾讯云开发者
