首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >集成Spark Streaming和Kafka,但会出现错误的符号引用错误?

集成Spark Streaming和Kafka,但会出现错误的符号引用错误?
EN

Stack Overflow用户
提问于 2018-07-30 06:59:20
回答 1查看 0关注 0票数 0

我试图整合Spark Streaming和Kafka。我在intellij idea IDE中编写了我的源代码,编译器可以编译代码而没有任何错误,但是当我尝试构建jar文件时,会出现一条错误消息,显示:

代码语言:javascript
复制
Error:scalac: bad symbolic reference. A signature in KafkaUtils.class refers to term kafka 
in package <root> which is not available. 
It may be completely missing from the current classpath, or the version on 
the classpath might be incompatible with the version used when compiling KafkaUtils.class.

我在google上做研究,很多人说这是因为scala版本和spark_streaming_kafka jar文件之间的版本不同。但我检查了版本,他们是一些。

有人知道它为什么会发生吗?

这里有更多细节:scala版本:2.10 spark streaming kafka jar版本:spark_streaming_kafka_2.10-1.20.jar,spark_streaming_2.10-1.20.jar

我的源代码:

代码语言:javascript
复制
object Kafka { 

  def main(args: Array[String]) { 
    val master = "local[*]" 
    val zkQuorum = "localhost:2181" 
    val group = "" 
    val topics = "test" 
    val numThreads = 1 

    val conf = new SparkConf().setAppName("Kafka") 
    val ssc = new StreamingContext(conf, Seconds(2)) 

    val topicpMap = topics.split(",").map((_, numThreads.toInt)).toMap 

    val lines = KafkaUtils.createStream(ssc, zkQuorum, group, topicpMap).map(_._2) 

    val words = lines.flatMap(_.split(" ")) 

    words.print() 

    ssc.start() 
    ssc.awaitTermination() 
  } 
}
EN

Stack Overflow用户

发布于 2018-07-30 16:54:38

我也面临着同样的问题,谁知道如何解决这个问题?

票数 0
EN
查看全部 1 条回答
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/-100004980

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档