首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >星火中的本地磁盘配置

星火中的本地磁盘配置
EN

Stack Overflow用户
提问于 2017-08-11 01:15:14
回答 1查看 671关注 0票数 1

嗨,官方的火花文件说:

虽然Spark可以在内存中执行大量的计算,但它仍然使用本地磁盘来存储不适合RAM的数据,并保留中间级之间的输出。我们建议每个节点有4-8个磁盘,配置时没有RAID (就像单独的挂载点一样)。在Linux中,使用noatime选项挂载磁盘,以减少不必要的写入。在Spark中,将spark.local.dir变量配置为本地磁盘的逗号分隔列表。如果您正在运行HDFS,可以使用与HDFS相同的磁盘。

  • 我想知道每个节点 4-8的目的是什么?

是并行写的吗?我不知道为什么没有解释。

  • 我对此一无所知:“如果您正在运行HDFS,可以使用与HDFS相同的磁盘”.

知道这里意味着什么吗..。

EN

回答 1

Stack Overflow用户

发布于 2017-08-11 07:29:23

使用4-8 RAID磁盘镜像分区的目的,增加冗余,以防止在硬件级出现故障时丢失数据。对于HDFS,不需要RAID提供的冗余,因为HDFS通过节点间的复制来处理它。参考文献

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/45625532

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档