开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

社区首页 >专栏 >spark包链接kafka集群报错org.apache.kafka.common.KafkaException: Failed to construct kafka consumer

spark包链接kafka集群报错org.apache.kafka.common.KafkaException: Failed to construct kafka consumer

余生大大

发布于 2022-11-02 14:43:30

1.2K0

发布于 2022-11-02 14:43:30

举报

文章被收录于专栏：余生大大

1、如果是spark执行的包请到spark下面的jars文件夹里检索是否拥有相关的jar包

可以看到我这里是有的，那就不是jar包的问题

2、确认是不是版本问题，在自己的本地测试里看一下maven的包

我这边版本是一致的，所以也不是版本问题，那是什么原因造成创建消费失败的呢

3、kafka的链接

可以看到kafka是用了集群的，三个链接是配置了hosts的，我们看一下我们运行节点的hosts

但是因为我们前面的粗心我其他两个节点并没有配置kafka集群的hosts文件，当我所有节点都加上kafka链接的地址后运行正常

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2020-04-26，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

评论

登录后参与评论

0 条评论

热度

最新

LV.

目录

1、如果是spark执行的包请到spark下面的jars文件夹里检索是否拥有相关的jar包
2、确认是不是版本问题，在自己的本地测试里看一下maven的包