专栏首页用户7614879的专栏解决对接华为kafka 进行Kerberos认证时的sun.security.krb5.KrbException

解决对接华为kafka 进行Kerberos认证时的sun.security.krb5.KrbException

首先是问题的几个可能产生原因:

1. 提交任务的客户端节点与集群时间有没有偏差5分钟以上 2. 配置文件是不是客户端上最新的 3. zk依赖包是不是华为的,不能是开源的 4. zookeeper.server.principal 这个参数是不是 zookeeper/hadoop.hadoop.com

依次排查 1、2 没问题

在代码中进行了4的修改 没有改3的情况下 报错依旧

从华为客户端中 /opt/client/Kafka/kafka/libs/目录下拷贝出三个jar包 (不知道具体是哪个有修改 网上有说改了kafka,华为技术支持说zookeeper,保险起见都使用华为的)

kafka_2.11-1.1.0.jar

kafka-clients-1.1.0.jar

zookeeper-3.5.1.jar

mvn install:install-file -Dfile=/Users/other/jars/kafka_2.11-1.1.0.jar -DgroupId=org.apache.kafka -DartifactId=huawei_kafka -Dversion=1.1.0 -Dpackaging=jar

mvn install:install-file -Dfile=/Users/other/jars/kafka-clients-1.1.0.jar -DgroupId=org.apache.kafka -DartifactId=kafka-client -Dversion=1.1.0 -Dpackaging=jar

mvn install:install-file -Dfile=/Users/other/jars/zookeeper-3.5.1.jar -DgroupId=org.apache.zookeeper -DartifactId=zookeeper -Dversion=3.5.1 -Dpackaging=jar

在pom.xml中的配置:

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>huawei_kafka</artifactId>
    <version>1.1.0</version>
</dependency>
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-client</artifactId>
    <version>1.1.0</version>
</dependency>

<dependency>
    <groupId>org.apache.zookeeper</groupId>
    <artifactId>zookeeper</artifactId>
    <version>3.5.1</version>
</dependency>

替换了jar包后问题解决

真的是坑啊 自定义了jar还没有提前说明 浪费了好几天时间


本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • kafka 配置kerberos校验以及开启acl实践

    转载请注明原创地址:http://www.cnblogs.com/dongxiao-yang/p/7131626.html

    sanmutongzi
  • kafka 部分问题处理记录

    转载请注明原创地址:http://www.cnblogs.com/dongxiao-yang/p/7600561.html

    sanmutongzi
  • 通过DBeaver本地访问远程Kerberos环境下的Hive

    本文讲解如何通过数据库客户端界面工具DBeaver连接远程Kerberos环境下的Hive。

    董可伦
  • 如何为Spark应用启用Kerberos的Debug日志

    在CDH集群启用了Kerberos后,在执行Spark作业时难免会遇到由于Kerberos认证问题导致作业运行失败的时候,那我们需要针对Spark作业进行调试,...

    Fayson
  • Kerberos相关问题进行故障排除| 常见错误和解决方法

    此消息表明一个操作尝试要求以Kerberos的user/host@realm身份认证的操作,但票据cache中没有用于user/host@realm的票据。

    大数据杂货铺
  • Yarn运行中的任务如何终止?

    我们的作业是使用yarn来调度的,那么肯定就需要使用相关的命令来进行管理,简单的有查询任务列表和killed某一个正在运行中的任务。

    大数据真好玩
  • 如何使用Java代码访问CDH的Solr服务

    CDH集群使用的Solr版本为4.10.3,Java开发中会经常使用到solrj客户端包访问Solr集群。本篇文章主要讲述如何使用Java代码访问Kerbero...

    Fayson
  • 0553-6.1.0-如何使用Java代码同时访问安全和非安全CDH集群

    做Hadoop应用开发的过程中,用户会有这样的需求,在同一个Java应用中同时访问安全和非安装的CDH集群。同一个Java应用即同一个进程同一个JVM,由于一些...

    Fayson
  • 基于Kerberos认证的大数据权限解决方案

    Kerberos是由麻省理工(MIT)开发,对三方进行验证鉴权的服务安全管理系统。该系统很好的体现了西方三权分立的思想,其名字也很形象,来源于希腊神话地狱三个脑...

    岳涛

扫码关注云+社区

领取腾讯云代金券