首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

一文讲透hdfs的delegation token

最后发现是和delegation token有关,本文就来总结下相关的原理。 【原理】 ---- 1. 什么是delegation token 先简单描述下为什么需要delegation token。...2. delegation token在任务提交运行过程中的使用 任务提交运行过程中,delegation token相关的流程如下图所示: 1)首先,RM启动后,内部会创建一个服务线程专门用于处理...在该服务中,会启动线程定时对delegation token进行更新。此后,继续向NM发送启动container的请求,delegation token则随启动上下文被带到NM中。...token NM收到启动container的请求后,从请求(任务启动上下文)中解析出delegation token,并为该container构造一个对应的实例对象,同时将delegation token...50 RM中delegation token更新线程的线程数 【总结】 ---- 本文通过一个实际的问题,并结合源码讲解了hadoop的delegation token的相关原理。

1.2K40

HDFS Router-based Federation

HDFS实践中用到的认证方案有两个,Kerberos 和 Delegation Token,这两种是针对不同应用同时在使用的。 我们先来看 Kerberos 如何在 Router 层实现。...UserGroupInformation.getLoginUser(); connUGI = UserGroupInformation.createProxyUser( ugi.getUserName(), routerUser); Delegation...按照社区现在的实现,是由 Router 来构造 Delegation Token,认证Client.为了让所有的 Router 能同步已构造的 Delegation Token,需要将其存到 State...坏处是需要 Router 间进行同步,这可能会导致性能问题,以及由于 Zookeeper 并非保证强一致性,Router 可能会读不到另一个 Router构造的 Delegation Token,结果...09 Future Works 基于 Zookeeper 可能会导致 Delegation Token 认证失败,所以我们需要调用同步接口,或者换用强一致性的存储,例如etcd.

2.4K41
领券