分布式Minio可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务。由于硬盘分布在不同的节点上,分布式Minio避免了单点故障。
在大数据领域,通常的设计理念都是无中心和分布式。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务,你可以使用这些存储设备,而不用考虑其真实物理位置。
分布式Minio采用 纠删码来防范多个节点宕机和位衰减bit rot
。
分布式Minio至少需要4个硬盘,使用分布式Minio自动引入了纠删码功能。
单机Minio服务存在单点故障,相反,如果是一个有N块硬盘的分布式Minio,只要有N/2硬盘在线,你的数据就是安全的。不过你需要至少有N/2+1个硬盘来创建新的对象。
例如,一个16节点的Minio集群,每个节点16块硬盘,就算8台服務器宕机,这个集群仍然是可读的,不过你需要9台服務器才能写数据。
注意,只要遵守分布式Minio的限制,你可以组合不同的节点和每个节点几块硬盘。比如,你可以使用2个节点,每个节点4块硬盘,也可以使用4个节点,每个节点两块硬盘,诸如此类。
Minio在分布式和单机模式下,所有读写操作都严格遵守read-after-write一致性模型。
如果你了解Minio单机模式的搭建的话,分布式搭建的流程基本一样,Minio服务基于命令行传入的参数自动切换成单机模式还是分布式模式。
安装Minio – Minio快速入门.
启动一个分布式Minio实例,你只需要把硬盘位置做为参数传给minio server命令即可,然后,你需要在所有其它节点运行同样的命令。
注意
| |
---|---|
节点 | 目录 |
node1 | /data/minio/data |
node2 | /data/minio/data |
node3 | /data/minio/data |
node4 | /data/minio/data |
目录创建
mkdir -p /data/minio/{run,data} && mkdir -p /etc/minio
run:启动脚本及二进制文件目录;
data:数据存储目录;
/etc/minio:配置文件目录;
集群启动文件
vim /data/minio/run/run.sh
#!/bin/bash
export MINIO_ACCESS_KEY=minioadmin
export MINIO_SECRET_KEY=minioadmin
/data/minio/run/minio server --config-dir /etc/minio \
--console-address ":9168" \
http://node1/data/minio/data \
http://node2/data/minio/data \
http://node3/data/minio/data \
http://node4/data/minio/data \
配置为系统服务
vim /usr/lib/systemd/system/minio.service
[Unit]
Description=Minio service
Documentation=https://docs.minio.io/
[Service]
WorkingDirectory=/data/minio/run/
ExecStart=/data/minio/run/run.sh
Restart=on-failure
RestartSec=5
[Install]
WantedBy=multi-user.target
将minio二进制文件上传到/data/minio/run目录
给所有涉及到的文件或目录添加权限!
chmod +x /data/minio/run/minio && chmod +x /data/minio/run/run.sh
集群启动
systemctl daemon-reload
systemctl enable minio && systemctl start minio
本文为从大数据到人工智能博主「xiaozhch5」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。