我正在尝试使用i2实例安装单节点hadoop集群,并希望将800 GB固态硬盘的一个实例存储挂载分配给HDFS,但不确定如何执行此操作。
默认的i2实例附带2个800 GB的固态硬盘实例存储,我想将其中一个专门用于HDFS,另一个用于其他一些工作负载。
/dev/xvdb --已将其挂载到/mnt/hdfs -我希望确保我所有的HDFS数据都存储在此处/dev/xvdc --已将其挂载到/mnt/data。
谢谢。
发布于 2016-05-06 22:19:25
文件/etc/fstab控制引导时挂载的内容。假设这些文件夹存在(并且您列出的块设备是正确的),您只需要添加几行代码:
/dev/xvdb /mnt/hdfs ext4 defaults,nofail 0 2
/dev/xvdc /mnt/data ext4 defaults,nofail 0 2
我在这里为您做了一些假设(例如,它们是ext4格式的)。
发布于 2016-05-08 10:51:16
另一种选择是使用Hadoop EMR,它提供了一个Hadoop系统,而不是自己安装、配置和管理Hadoop。
Amazon EMR 会自动为HDFS使用实例存储,但您也可以请求Amazon EBS卷来扩展HDFS (或在不提供实例存储的实例类型上)。
https://stackoverflow.com/questions/37074659
复制相似问题