Hadoop Hadoop中的推测执行

1. 概述

Hadoop不会去诊断或修复执行慢的任务,相反,它试图检测任务的运行速度是否比预期慢,并启动另一个等效任务作为备份(备份任务称为)。这个过程在Hadoop中被称为。

在这篇文章中,我们将讨论 - 中提高效率的一个重要功能,我们有必要去了解中的推测执行是否总是有帮助的,或者我们需要关闭它时如何禁用。

2. 什么是推测执行

在中,将作业分解为任务,并且这些任务并行而不是顺序地运行,从而缩短了总体执行时间。这种执行模式对缓慢的任务很敏感(即使他们的数量很少),因为它们减慢了整个工作的执行速度。

任务执行缓慢的原因可能有各种,包括硬件退化或软件错误配置等,尽管花费的时间超过了预期的时间,但是由于任务仍然有可能成功完成,因此很难检测缓慢原因。不会尝试诊断和修复运行缓慢的任务,而是尝试检测并为其运行一个备份任务。这在中被称为推测执行。这些备份任务在中被称为推测任务。

3. 推测执行如何工作

现在让我们看看的推测执行过程。

首先,在中启动所有任务。为那些已经运行了一段时间(至少一分钟)且比作业中其他任务平均进度慢的任务启动推测任务。如果原始任务在推测性任务之前完成,那么推测任务将被终止,相反,如果推测性任务在原始任务之前完成,那么原始任务被终止。一个任务成功完成之后,任何正在运行的重复任务都将被终止。

4. 推测执行的优势

推测执行在某些情况下是很有帮助的,因为在具有100个节点的集群中,硬件故障或网络拥塞等问题很常见,并行或重复运行任务会更好一些,因为我们不必等到有问题的任务执行之后。

但是如果两个重复的任务同时启动,就会造成集群资源的浪费。

5. 配置推测执行

推测执行是作业中的一种优化技术,默认情况下启用的。你可以在中禁用和的推测执行,如下所示:

6. 有没有必要关闭推测执行

推测执行的主要目的是减少工作执行时间,但是,由于重复的任务,集群效率受到影响。由于在推测执行中正在执行冗余任务,因此这可能降低整体吞吐量。出于这个原因,一些集群管理员喜欢关闭中的推测执行。

对于Reduce任务,关闭推测执行是有益的,因为任意重复的reduce任务都必须将取得map任务输出作为最先的任务,这可能会大幅度的增加集群上的网络传输。

关闭推测执行的另一种情况是考虑到非幂等任务。然而在很多情况下,将任务写成幂等的并使用来提升任务成功时输出到最后位置的速度,这是可行的。

原文:https://data-flair.training/blogs/speculative-execution-in-hadoop-mapreduce/

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180718G008FD00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券