我有一个用于HDFS数据节点的docker群设置,如下所示(截断):
datanode:
image: bde2020/hadoop-datanode:2.0.0-hadoop2.7.4-java8
volumes:
- datanode:/hadoop/dfs/data
deploy:
mode: global
placement:
constraints: [ node.role == worker ]
volumes:
datanode:
每个datanode容器都有一个关联的datanode卷,该卷当前存储在/var/lib/docker/volumes (每个节点的本地)中。我可以访问一个更大(也更快)的lustre文件系统,并且正在尝试了解如何在Lustre文件系统上存储卷。
一种可能是将/var/lib/docker/volumes符号链接到/lustre/nodeN (其中N是物理节点编号),但namenode似乎无法处理堆栈重启,因为数据将(可能)移动到另一个节点。
是否存在docker驱动器来支持集群中lustre文件系统上的docker卷?如果不是,团队如何管理HDFS等系统的扩展坞卷数据持久性?
发布于 2018-06-11 16:15:02
如果我没有误解你的话,我恐怕不是,因为driver: lustre
或类似的东西不存在于docker配置中,就像它存在于nfs
中一样,例如:
volumes:
db-data:
driver: local
driver_opts:
type: <here is where you could try to put lustre, but it doesn't exist>
o: addr=$IPADDR,rw
device: ":/hadoop/dfs/data"
因此,如果您考虑以下模式,请尝试使用lustre-graph-driver
https://github.com/bacaldwell/lustre-graph-driver/blob/master/lustre-graph-driver.jpg
有关更多信息,请访问lustre-graph-driver HOWTO
https://stackoverflow.com/questions/50778903
复制相似问题