我在Hadoop中读到一个面试问题,上面写道:
在Apache Hadoop中,如何计算两个节点之间的距离?
有一个解决方案,但我真的不明白两个节点之间的距离这个术语。
这是什么意思?
发布于 2018-06-09 04:06:05
Hadoop HDFS是一个分布式系统,更大的集群意味着更多的网络交换机。
当您正在读取抛出HDFS的文件时,首先,您请求name节点来获取有关文件块位置的信息。这些块分布在不同的机器上。
如果在某个时刻,您从died中检索数据,则可以从另一个副本中获取此数据,而不会打扰用户。您将从最近的计算机获取数据。在现实中,亲密性的含义很难衡量。因为它依赖于物理距离和不可预测的系统负载,例如指标过度使用。因此,它位于数据中心拓扑上。
这就是为什么在Hadoop中知道节点之间的距离很重要的原因
发布于 2021-03-29 17:34:37
https://stackoverflow.com/questions/50453943
复制相似问题