专栏首页工作笔记精华flink-connector-kafka 冲突

flink-connector-kafka 冲突

java.lang.NoClassDefFoundError: org/apache/kafka/common/serialization/ByteArrayDeserializer  
        at org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer09.setDeserializer(FlinkKafkaConsumer09.java:271)  
        at org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer09.<init>(FlinkKafkaConsumer09.java:158)  
        at org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer010.<init>(FlinkKafkaConsumer010.java:128)  
        at org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer010.<init>(FlinkKafkaConsumer010.java:112)  
        at org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer010.<init>(FlinkKafkaConsumer010.java:79)  
        at com.test.boot.FlinkKafkaTest.main(FlinkKafkaTest.java:94)  
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)  
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)  
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)  
        at java.lang.reflect.Method.invoke(Method.java:498)  
        at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:528)  
        at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:419)  
        at org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:381)  
        at org.apache.flink.client.CliFrontend.executeProgram(CliFrontend.java:878)  
        at org.apache.flink.client.CliFrontend.run(CliFrontend.java:259)  
        at org.apache.flink.client.CliFrontend.parseParameters(CliFrontend.java:1126)  
        at org.apache.flink.client.CliFrontend$2.call(CliFrontend.java:1173)  
        at org.apache.flink.client.CliFrontend$2.call(CliFrontend.java:1170)  
        at org.apache.flink.runtime.security.HadoopSecurityContext$1.run(HadoopSecurityContext.java:43)  
        at java.security.AccessController.doPrivileged(Native Method)  
        at javax.security.auth.Subject.doAs(Subject.java:422)  
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1781)  
        at org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:40)  
        at org.apache.flink.client.CliFrontend.main(CliFrontend.java:1169)  
Caused by: java.lang.ClassNotFoundException: org.apache.kafka.common.serialization.ByteArrayDeserializer  
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)  
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)  
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)  
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)  
        ... 24 more  

本地可以跑,on yarn异常,包冲突了lib检查下

资料1

资料2

我的博客即将同步至腾讯云+社区,邀请大家一同入驻:https://cloud.tencent.com/developer/support-plan?invite_code=21pyvxnxazj4c

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Flink * 转

    stys35
  • jsch channel is not opened

    Jsch使用的时候碰到一个问题, 调试后发现 ssh到服务器非常的卡, 建立查询服务器内存,可能是内存不够用了。

    stys35
  • RedisTemplate执行lua脚本,集群模式下报错解决

    在使用spring的RedisTemplate执行lua脚本时,报错EvalSha is not supported in cluster environmen...

    stys35
  • Flink * 转

    stys35
  • Flink整合Oozie Shell Action提交任务带Kerberos认证

    原文:https://www.cnblogs.com/ljygz/p/11727770.html

    大数据技术与架构
  • 从一个诡异的 Bug 来看 Flink 快照和状态读取的流程

    Oceanus 流计算平台支持以 SQL 的方式提交作业,独享集群支持最新的 Flink 1.10 提供的新版 Blink Planner 语法。有一位客户写了...

    KyleMeow
  • 多版本JDK在Linux下如何共存

    Windows的话,可以配置多个环境变量。 比如:JAVA8_HOME,JAVA10_HOME。然后按需使用需要的环境变量。这里就不说了。

    xuing
  • 目前大四学生去公司找个初级Java程序员的职位需要什么技能?

    初学者想要谋个职位主要还是看基础,从项目角度考量没有多少可比性,硬是要求一个刚毕业的学生能够具备很强的项目经验是一件很苛刻的事情,但现在的招聘单位还是喜欢在要求...

    程序员互动联盟
  • 反射基础之Field

    java.lang.reflect.Field 类的方法可以查询字段的信息。比如:名字,类型,修饰符和注解。同样也有方法可以动态访问和修改字段的值。

    代码拾遗
  • 常见加载类错误分析

    在执行 Java程序时经常会碰到ClassNotFoundException和NoClassDefFoundError两个异常,它们都和类加载有关,下面详细分一...

    MickyInvQ

扫码关注云+社区

领取腾讯云代金券