首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >Apache hadoop中节点之间的距离是什么意思?

Apache hadoop中节点之间的距离是什么意思?
EN

Stack Overflow用户
提问于 2018-05-22 01:35:14
回答 2查看 317关注 0票数 0

我在Hadoop中读到一个面试问题,上面写道:

在Apache Hadoop中,如何计算两个节点之间的距离?

有一个解决方案,但我真的不明白两个节点之间的距离这个术语。

这是什么意思?

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2018-06-09 04:06:05

Hadoop HDFS是一个分布式系统,更大的集群意味着更多的网络交换机。

当您正在读取抛出HDFS的文件时,首先,您请求name节点来获取有关文件块位置的信息。这些块分布在不同的机器上。

如果在某个时刻,您从died中检索数据,则可以从另一个副本中获取此数据,而不会打扰用户。您将从最近的计算机获取数据。在现实中,亲密性的含义很难衡量。因为它依赖于物理距离和不可预测的系统负载,例如指标过度使用。因此,它位于数据中心拓扑上。

这就是为什么在Hadoop中知道节点之间的距离很重要的原因

票数 1
EN

Stack Overflow用户

发布于 2021-03-29 17:34:37

这是一个非常好的答案:https://qr.ae/pGRAyl

你可以在这里找到更多的实现细节:https://hadoop.apache.org/docs/r2.10.0/hadoop-project-dist/hadoop-common/RackAwareness.html

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/50453943

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档