Caused by: com.fasterxml.jackson.databind.JsonMappingException

问题:spark实时处理数据报错 Spark Structured Streaming kafka 报错 Caused by: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.6

问题在于spark目前使用的Jackson是2.6+,而storm-kafka-client和kafka使用的是2.9+,两者之间gradle默认使用最新的依赖2.9+,所以spark structure Streaming程序运行时报错,不兼容jackson高版本。

解决:

gradle 修改如下

    compile (group: 'org.apache.storm', name: 'storm-kafka-client', version: '1.2.2'){
       //解决与spark core jackson版本冲突
        exclude group:"com.fasterxml.jackson.core"
    }
    compile (group: 'org.apache.kafka', name: 'kafka_2.11', version: '1.1.1'){
        exclude group:"com.fasterxml.jackson.core"
    }

正常运行

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券