Minio对象存储

仙人技术

发布于 2020-04-29 13:26:06

8.2K0

发布于 2020-04-29 13:26:06

1、概述

Minio是一个基于Apache License v2.0开源和谈的工具存储服务。它兼容亚马逊S3云存储服务接口，异常符合于存储大容量非构造化的数据，比如图片、视频、日记文献、备份数据和容器/杜撰机镜像等，而一个工具文献能够是任性巨细，从几kb到最大5T不等。且Minio十足笨重，可与使用顺序绳捆索绑在一齐，相似于NodeJS，Redis和MySQL。官方文档地址：https://docs.min.io/cn 对于有需求不能或不使用云厂商提供的存储服务，例如阿里云的oss、七牛云的对象存储等，可以通过自建minio对象存储集群的方式

2、功能特性

Amazon S3兼容 Minio使用Amazon S3 v2 / v4 API。可以使用Minio SDK，Minio Client，AWS SDK和AWS CLI访问Minio服务器。
数据保护 Minio使用Minio Erasure Code来防止硬件故障。也许会损坏一半以上的driver，但是仍然可以从中恢复。
高度可用 Minio服务器可以容忍分布式设置中高达（N / 2）-1节点故障。而且，您可以配置Minio服务器在Minio与任意Amazon S3兼容服务器之间存储数据。
Lambda计算 Minio服务器通过其兼容AWS SNS / SQS的事件通知服务触发Lambda功能。支持的目标是消息队列，如Kafka，NATS，AMQP，MQTT，Webhooks以及Elasticsearch，Redis，Postgres和MySQL等数据库。
加密和防篡改 Minio为加密数据提供了机密性，完整性和真实性保证，而且性能开销微乎其微。使用AES-256-GCM，ChaCha20-Poly1305和AES-CBC支持服务器端和客户端加密。加密的对象使用AEAD服务器端加密进行防篡改。
可对接后端存储除了Minio自己的文件系统，还支持DAS、 JBODs、NAS、Google云存储和Azure Blob存储。
sdk支持基于Minio轻量的特点，它得到类似Java、Python或Go等语言的sdk支持

3、集群规划

3.1、单节点

根据存储是否为远端，可直接使用FS或NFS直接操作存储中的Object
调用S3接口，通过Minio使用FS或NFS来操作Object

3.2、多节点

多节点的Minio会根据不同的Access_key及Secret_Key来区分不同租户，每个租户可操作对应Server获取Object。Minio Server间可以通过不同的进程模型、容器或是虚拟机来互相隔离。

3.3、分布式

分布式Minio在无共享架构中根据需求扩展到尽可能多的服务器，所有节点需要使用相同的Access_key及Secret_key来登录。分布式Minio使用Web负载均衡器或DNS轮循(DNS round-robin)，在各服务器之间实现负载均衡。

4、分布式minio集群搭建

minio存储的部署方案在官网有很多，例如在docker-compose，kubernetes，DC/OS等环境下，本文采用的是较稳定的二进制部署方式。

4.1、集群规划

minio二进制文件下载地址： https://dl.minio.io/server/minio/release/linux-amd64/minio 操作系统CentOS 7.6 服务器资源：

172.16.1.101 /minio/data1 /minio/data2
172.16.1.102 /minio/data1 /minio/data2

本集群由2台服务器构成（官方推荐集群最小4台服务器），每个服务器上挂载两个磁盘目录，最小数据挂载点为4个

4.2、创建用户

创建专用的用户

useradd -M -s /sbin/nologin -r minio-user

4.3、创建相关目录（所有节点）

[root@localhost ~]# mkdir -p /minio/data1
[root@localhost ~]# mkdir -p /minio/data2

[root@localhost ~]# mkdir -p /opt/minio

[root@localhost ~]# mkdir -p /etc/minio

4.4、编写集群启动脚本（所有节点）

[root@localhost ~]# vim /opt/minio/run.sh
#!/bin/bash
export MINIO_ACCESS_KEY=Minio
export MINIO_SECRET_KEY=Test123456
/opt/minio/minio server --config-dir /etc/minio \
http://172.16.1.101/minio/data1 http://172.16.1.101/minio/data2 \
http://172.16.1.102/minio/data1 http://172.16.1.102/minio/data2 \

其中，“MINIO_ACCESS_KEY”为用户名，“MINIO_SECRET_KEY”为密码，密码不能设置过于简单，不然minio会启动失败，“–config-dir”指定集群配置文件目录，生成复杂用户名和密码可通过类似Linux命令 tr -cd '[:alnum:]' </dev/urandom |fold -w64|head -n1的方式来生成

4.5、编写服务脚本（所有节点）

[root@localhost ~]# vim /usr/lib/systemd/system/minio.service
[Unit]
Description=Minio service
Documentation=https://docs.minio.io/
Wants=network-online.target
After=network-online.target

[Service]
User=minio-user
Group=minio-user
WorkingDirectory=/opt/minio/
ExecStart=/opt/minio/run.sh

# Let systemd restart this service on-failure
Restart=on-failure
RestartSec=5

# Specifies the maximum file descriptor number that can be opened by this process
LimitNOFILE=65536

# Disable timeout logic and wait until process is stopped
TimeoutStopSec=infinity
SendSIGKILL=no

[Install]
WantedBy=multi-user.target
[root@localhost ~]# chmod +x /usr/lib/systemd/system/minio.service

其中，“WorkingDirectory”为启动脚本目录，“ExecStart”为指定集群启动脚本参考官方地址： https://github.com/minio/minio-service/blob/master/linux-systemd/minio.service

4.6、服务启动

4.6.1、二进制文件

将minio二进制文件上传到/opt/minio目录下并赋予权限

chmod +x minio

4.6.2、赋予启动脚本权限

chmod +x /opt/minio/run.sh

4.6.3、修改目录所属

由于minio服务由minio-user这个用户启动和运行，所以需要修改相应目录的属主和属组

chown -R minio-user:minio-user /minio
chown -R minio-user:minio-user /etc/minio
chown -R minio-user:minio-user /opt/minio

4.6.4、启动服务

systemctl daemon-reload
systemctl start minio
systemctl enable minio
systemctl status minio

启动后可通过访问节点:9000，并使用设置的key登录到控制台，也可在启动脚本中加入参数--address "127.0.0.1:9000"修改端口，即：

#!/bin/bash
export MINIO_ACCESS_KEY=Minio
export MINIO_SECRET_KEY=Test123456

/opt/minio/minio server --config-dir /etc/minio \
--address "127.0.0.1:9000" \
http://172.16.1.101/minio/data1 http://172.16.1.101/minio/data2 \
http://172.16.1.102/minio/data1 http://172.16.1.102/minio/data2 \

5、配置域名及https

5.1、配置域名

使用nginx配置域名进行访问，在 Nginx 的配置文件中加入下面的内容：

location / {
    proxy_set_header Host $http_host;
    proxy_pass http://localhost:9000;
}

5.2、配置https

使用nginx配置https安全访问，并根据301规则自动跳转到https，https证书可自签、也可申请一个浏览器可信的证书，下面的证书属于浏览器可信的，全局配置如下：

worker_processes  1;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
    sendfile        on;
    server_tokens  off;
    keepalive_timeout  65;
	client_max_body_size 50m;
    access_log   /var/log/nginx/nginx.access.log;
    error_log    /var/log/nginx/nginx.error.log;
    upstream minio_server {
        server 192.168.10.101:9000;
        server 192.168.10.102:9000;
        ip_hash;
    }
    server {
        listen       80;
        server_name  minio.test.com;
        return 301   https://$host$request_uri;
    }
    server {
        listen        443 ssl;
        server_name   minio.test.com;
        if ($host != 'minio.test.com') {
            return 403;
        }
        ssl_certificate      /usr/local/nginx/cert-ssl/minio.test.com.pem;
        ssl_certificate_key  /usr/local/nginx/cert-ssl/minio.test.com.key;
        ssl_session_timeout 5m;
        ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
        ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
        ssl_prefer_server_ciphers on;
        location / {
            proxy_pass http://minio_server;
            proxy_redirect    off;
            proxy_set_header  Host             $http_host;
            proxy_set_header  X-Real-IP        $remote_addr;
            proxy_set_header  X-Forwarded-For  $proxy_add_x_forwarded_for;
        }
     }
}

5.3、访问认证

minio控制台界面是通过Accsss Key和Secret Key登录的，除了将这对Key用于客户端，作为管理员还可能有需要对控制台访问做保护，即在用Key登录的基础上再加一层。这就如同非X-pack版本的Kibana界面一样，没有访问控制。同样的，可以尝试使用nginx的basic_auth模块。一番折腾发现是不可行的，对于nginx基础认证，后端不支持非AWS4-HMAC-SHA256签名算法，可能出现如下图所示的返回结果：