本篇博文,博主为大家介绍Yarn和MapReduce的作业提交全过程。
作业提交全过程详解
除了向应用管理器请求作业进度外, 客户端每5秒都会通过调用waitForCompletion()来检查作业是否完成。时间间隔可以通过mapreduce.client.completion.pollinterval来设置。作业完成之后, 应用管理器和Container会清理工作状态。作业的信息会被作业历史服务器存储以备之后用户核查。
好了,本次关于Yarn和MapReduce的作业提交全过程的内容就介绍到这里。下一篇文章将为大家介绍Yarn调度器,敬请期待!