缺失HiveContext依赖关系
缺失HiveContext依赖关系
提问于 2016-07-11 10:38:22
我正在尝试这样做：
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)这是我的build.sbt文件：
name := "SPARK-SQL"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.0-preview"
libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "2.0.0-preview"
libraryDependencies += "org.apache.spark" % "spark-hive-thriftserver_2.10" % "1.6.2"我所犯的错误：
错误:scalac:在加载类文件'HiveContext.class‘时检测到缺少或无效的依赖关系。
回答 3
Stack Overflow用户
发布于 2016-10-05 06:19:10
您可以简单地在Spark2.0中使用带有单元格支持的星星之火会话，如下所示，因此您只需使用spark依赖项示例
val spark = SparkSession
.builder()
.appName("Spark Hive Example")
.enableHiveSupport()Stack Overflow用户
发布于 2016-10-05 04:54:32
要使用org.apache.spark.sql.hive.HiveContext，您需要在build.sbt或pom.xml中进行以下配置组合，并切换到Scala2.10.6，这是因为spark_2.10的兼容性问题：
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>2.0.0</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-hive_2.10</artifactId>
<version>2.0.0</version>
</dependency> Stack Overflow用户
发布于 2018-06-18 18:30:34
看起来你正在尝试使用星星之母库1.6和火花库2.0，我不确定这是否有效。
对于Spark 1.6.x，您可以这样做：
libraryDependencies += "org.apache.spark" %% "spark-hive" % "1.6.3" % "provided"页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/38304853
复制相关文章
相似问题
腾讯云开发者
