首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >机架本地映射任务和数据本地映射任务之间的区别是什么?

机架本地映射任务和数据本地映射任务之间的区别是什么?
EN

Stack Overflow用户
提问于 2012-10-07 21:49:08
回答 2查看 4.4K关注 0票数 7

当我运行"hadoop job -status xxx“时,输出以下列表。

代码语言:javascript
复制
Rack-local map tasks=124
Data-local map tasks=6

机架本地映射任务和数据本地映射任务之间的区别是什么?

EN

回答 2

Stack Overflow用户

发布于 2012-10-07 23:55:07

在数据本地任务中,不需要复制任何内容。这是因为块在物理上和计算一样在同一台服务器上。

下一层是机架本地任务,这里必须拷贝数据,因为没有所需数据块的本地拷贝可用。请注意,本地机架仅在网络的本地机架交换中进行复制。

还有一种最糟糕的情况,数据在本地或同一机架上不可用。因此,必须通过两台交换机将其复制到运行计算的主机。我不知道是否有一个计数器,但基本上这一定是#all tasks - #data-local tasks - #rack-local tasks

票数 9
EN

Stack Overflow用户

发布于 2012-10-08 05:51:03

我要指出的是,在同一机架内的计算机之间提供千兆位(或更快)的网络比使用更多数量的计算机要便宜得多。

根本原因是以太网交换机不可扩展,我们无法为数百个端口提供这样的交换机,价格合理。

因此,hadoop尝试至少在同一机架中运行任务,如果不能在存储数据的节点上运行任务。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/12769376

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档