前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >docker搭建minio集群

docker搭建minio集群

作者头像
从大数据到人工智能
发布2022-05-27 15:12:30
1.9K0
发布2022-05-27 15:12:30
举报
文章被收录于专栏:大数据-BigData大数据-BigData

分布式Minio可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务。由于硬盘分布在不同的节点上,分布式Minio避免了单点故障。

分布式Minio有什么好处?

在大数据领域,通常的设计理念都是无中心和分布式。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务,你可以使用这些存储设备,而不用考虑其真实物理位置。

数据保护

分布式Minio采用 纠删码来防范多个节点宕机和位衰减bit rot

分布式Minio至少需要4个硬盘,使用分布式Minio自动引入了纠删码功能。

高可用

单机Minio服务存在单点故障,相反,如果是一个有N块硬盘的分布式Minio,只要有N/2硬盘在线,你的数据就是安全的。不过你需要至少有N/2+1个硬盘来创建新的对象。

例如,一个16节点的Minio集群,每个节点16块硬盘,就算8台服務器宕机,这个集群仍然是可读的,不过你需要9台服務器才能写数据。

注意,只要遵守分布式Minio的限制,你可以组合不同的节点和每个节点几块硬盘。比如,你可以使用2个节点,每个节点4块硬盘,也可以使用4个节点,每个节点两块硬盘,诸如此类。

一致性

Minio在分布式和单机模式下,所有读写操作都严格遵守read-after-write一致性模型。

开始搭建

如果你了解Minio单机模式的搭建的话,分布式搭建的流程基本一样,Minio服务基于命令行传入的参数自动切换成单机模式还是分布式模式。

1. 前提条件

安装Minio – Minio快速入门.

2. 运行分布式Minio

启动一个分布式Minio实例,你只需要把硬盘位置做为参数传给minio server命令即可,然后,你需要在所有其它节点运行同样的命令。

注意

  • 分布式Minio里所有的节点需要有同样的access秘钥和secret秘钥,这样这些节点才能建立联接。为了实现这个,你需要在执行minio server命令之前,先将access秘钥和secret秘钥export成环境变量。
  • 分布式Minio使用的磁盘里必须是干净的,里面没有数据。
  • 下面示例里的IP仅供示例参考,你需要改成你真实用到的IP和文件夹路径。
  • 分布式Minio里的节点时间差不能超过3秒,你可以使用NTP 来保证时间一致。
  • 在Windows下运行分布式Minio处于实验阶段,请悠着点使用。

开始搭建

将minio.tar导入镜像仓库

代码语言:javascript
复制
docker import minio.tar

创建挂载文件夹

代码语言:javascript
复制
mkdir /home/minio/data1
mkdir /home/minio/data2
mkdir /home/minio/data3
mkdir /home/minio/data4

创建docker桥接网络并启动minio

代码语言:javascript
复制
docker network create -d bridge --subnet 172.30.0.0/24 --gateway 172.30.0.1 minio-network

docker run \
   -p 8500:9000 \
   -p 8600:9090 \
   --name minio1 \
   --network minio-network \
   --ip 172.30.0.2 \
   -v /home/minio/data1:/data1 \
   -e "MINIO_ROOT_USER=miniouser" \
   -e "MINIO_ROOT_PASSWORD=miniopassword" \
   docker.io/minio/minio:RELEASE.2022-02-26T02-54-46Z server http://172.30.0.2/data1 http://172.30.0.3/data1 http://172.30.0.4/data1 http://172.30.0.5/data1 --console-address ":9090"

   docker run \
   -p 8501:9000 \
   -p 8601:9090 \
   --name minio2 \
   --network minio-network \
   --ip 172.30.0.3 \
   -v /home/minio/data2:/data1 \
   -e "MINIO_ROOT_USER=miniouser" \
   -e "MINIO_ROOT_PASSWORD=miniopassword" \
   docker.io/minio/minio:RELEASE.2022-02-26T02-54-46Z server http://172.30.0.2/data1 http://172.30.0.3/data1 http://172.30.0.4/data1 http://172.30.0.5/data1 --console-address ":9090"

   docker run \
   -p 8502:9000 \
   -p 8602:9090 \
   --name minio3 \
   --network minio-network \
   --ip 172.30.0.4 \
   -v /home/minio/data3:/data1 \
   -e "MINIO_ROOT_USER=miniouser" \
   -e "MINIO_ROOT_PASSWORD=miniopassword" \
   docker.io/minio/minio:RELEASE.2022-02-26T02-54-46Z server http://172.30.0.2/data1 http://172.30.0.3/data1 http://172.30.0.4/data1 http://172.30.0.5/data1 --console-address ":9090"

   docker run \
   -p 8503:9000 \
   -p 8603:9090 \
   --name minio4 \
   --network minio-network \
   --ip 172.30.0.5 \
   -v /home/minio/data4:/data1 \
   -e "MINIO_ROOT_USER=miniouser" \
   -e "MINIO_ROOT_PASSWORD=miniopassword" \
   docker.io/minio/minio:RELEASE.2022-02-26T02-54-46Z server http://172.30.0.2/data1 http://172.30.0.3/data1 http://172.30.0.4/data1 http://172.30.0.5/data1 --console-address ":9090"

访问主机IP和上述设置的8600等映射端口

可得到

输入账号密码即可登陆。

点击Monitor-metrics可以看到集群节

新建Bucket用于flink checkpoints

创建service Account用于访问上述创建的Bucket

本文为从大数据到人工智能博主「xiaozhch5」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://lrting.top/backend/bigdata/minio/5624/

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 分布式Minio有什么好处?
    • 数据保护
      • 高可用
        • 一致性
        • 开始搭建
          • 1. 前提条件
            • 2. 运行分布式Minio
            • 开始搭建
            相关产品与服务
            对象存储
            对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
            领券
            问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档