在hadoop2中有用于yarn的时间线服务,还有MRV2历史服务器,那么它们之间有什么区别呢?独立时间线服务的主要目的是什么?
发布于 2019-05-09 03:32:51
随着Hadoop从MapReduce转移到其他执行引擎(Spark、Tez、Flink),在设计时考虑到MapReduce的作业历史服务器不再工作。作业历史记录服务器还仅提供有关已完成作业的统计信息,并且存在可伸缩性问题。应用程序时间轴服务器(ATS)解决了这些问题,并引入了flow
的概念,即一系列作业被视为一个实体,而不是一组作业(MapReduce)。
不管怎么说,这就是我们的初衷。你可以在官方文档中阅读更多,JIRAs包含了几个设计文档。
参考文献
https://stackoverflow.com/questions/55392181
复制相似问题