首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    一文讲透hdfs的delegation token

    最后发现是和delegation token有关,本文就来总结下相关的原理。 【原理】 ---- 1. 什么是delegation token 先简单描述下为什么需要delegation token。...2. delegation token在任务提交运行过程中的使用 任务提交运行过程中,delegation token相关的流程如下图所示: 1)首先,RM启动后,内部会创建一个服务线程专门用于处理...在该服务中,会启动线程定时对delegation token进行更新。此后,继续向NM发送启动container的请求,delegation token则随启动上下文被带到NM中。...token NM收到启动container的请求后,从请求(任务启动上下文)中解析出delegation token,并为该container构造一个对应的实例对象,同时将delegation token...50 RM中delegation token更新线程的线程数 【总结】 ---- 本文通过一个实际的问题,并结合源码讲解了hadoop的delegation token的相关原理。

    2K40

    行业客户现场SparkStreaming实时计算使用案例问题总结

    本文主要记录Spark概念架构、SparkStreaming性能问题处理、SparkStreaming 7*24作业在Kerberos Hadoop集群HDFS_DELEGATION_TOKEN问题处理...问题 我们知道SparkStreaming作业属于7*24长时间运行的流作业,客户反馈说任务每7天就报错退出,异常日志提示:HDFS_DELEGATION_TOKEN is expired。...这里先简单说明下原理就是开启Kerberos认证的Hadoop集群中HDFS的namenode会生成HDFS_DELEGATION_TOKEN,同时给token设置相关生命周期管理参数。...SparkStreaming通过HadoopDelegationTokenManager类实现周期性地登录KDC、周期性地申请delegation token。...也就是在delegation token过期前,Driver会重新申请新token,然后通过IPC发送给Execuors,从而确保SparkStreaming能够长时间运行。

    16910

    HDFS Router-based Federation

    HDFS实践中用到的认证方案有两个,Kerberos 和 Delegation Token,这两种是针对不同应用同时在使用的。 我们先来看 Kerberos 如何在 Router 层实现。...UserGroupInformation.getLoginUser(); connUGI = UserGroupInformation.createProxyUser( ugi.getUserName(), routerUser); Delegation...按照社区现在的实现,是由 Router 来构造 Delegation Token,认证Client.为了让所有的 Router 能同步已构造的 Delegation Token,需要将其存到 State...坏处是需要 Router 间进行同步,这可能会导致性能问题,以及由于 Zookeeper 并非保证强一致性,Router 可能会读不到另一个 Router构造的 Delegation Token,结果...09 Future Works 基于 Zookeeper 可能会导致 Delegation Token 认证失败,所以我们需要调用同步接口,或者换用强一致性的存储,例如etcd.

    2.9K41
    领券