首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >通过Minio搭建私有化对象存储服务_开源PaaS Rainbond最佳实践

通过Minio搭建私有化对象存储服务_开源PaaS Rainbond最佳实践

作者头像
Rainbond开源
发布2019-04-19 17:32:59
1.8K0
发布2019-04-19 17:32:59
举报
概述

Minio是建立在云原生的基础上;有分布式和共享存储等功能;旨在多租户环境中以可持续的方式进行扩展的对象存储服务。它最适合存储非结构化数据,如:照片、视频、日志文件、容器/虚拟机/映像等,单次存储对象的大小最大可达5TB。

实现架构
单节点
  • 根据存储是否为远端,可直接使用FS或NFS直接操作存储中的Object
  • 调用S3接口,通过Minio使用FS或NFS来操作Object
多节点

多节点的Minio会根据不同的Access_key及Secret_Key来区分不同租户,每个租户可操作对应Server获取Object。Minio Server间可以通过不同的进程模型、容器或是虚拟机来互相隔离。

分布式

分布式Minio在无共享架构中根据需求扩展到尽可能多的服务器,所有节点需要使用相同的Access_key及Secret_key来登录。分布式Minio使用Web负载均衡器或DNS轮循(DNS round-robin),在各服务器之间实现负载均衡。

功能特性
  • Amazon S3兼容

Minio使用Amazon S3 v2 / v4 API。可以使用Minio SDK,Minio Client,AWS SDK和AWS CLI访问Minio服务器。

  • 数据保护

Minio使用Minio Erasure Code来防止硬件故障。也许会损坏一半以上的driver,但是仍然可以从中恢复。

  • 高度可用

Minio服务器可以容忍分布式设置中高达(N / 2)-1节点故障。而且,您可以配置Minio服务器在Minio与任意Amazon S3兼容服务器之间存储数据。

  • Lambda计算

Minio服务器通过其兼容AWS SNS / SQS的事件通知服务触发Lambda功能。支持的目标是消息队列,如Kafka,NATS,AMQP,MQTT,Webhooks以及Elasticsearch,Redis,Postgres和MySQL等数据库。

  • 加密和防篡改

Minio为加密数据提供了机密性,完整性和真实性保证,而且性能开销微乎其微。使用AES-256-GCMChaCha20-Poly1305AES-CBC支持服务器端和客户端加密。加密的对象使用AEAD服务器端加密进行防篡改。

  • 可对接后端存储

除了Minio自己的文件系统,还支持DAS、 JBODs、NAS、Google云存储和Azure Blob存储。

  • sdk支持

基于Minio轻量的特点,它得到类似Java、Python或Go等语言的sdk支持,

例如: Java类在使用Maven管理Jar的情况下,在pom.xml中指定Minio:

<dependency>
   <groupId>io.minio</groupId>
   <artifactId>minio</artifactId>
   <version>3.0.12</version>
</dependency>
使用

Minio提供:包含图形化界面的Server端;使用命令行操作的Client端。以下为您介绍Minio Server与Minio Client的使用。

Minio Server
  • 使用Access Key与Secret Key登录Minio。登录成功后进入如下界面

Access Key与Secret Key可由Minio Server随机生成,也可通过变量来自定义。下文自助部署讲述如何定义及获取Access Key与Secret Key。

  • 点击模块1bucket对应部分创建一个新的bucket,可在模块2看到所创建bucket
  • 在模块2选择一个bucket。点击模块1upload对应部分上传文件到已选择bucket。可在页面白色部分看到对应bucket中所上传文件。
  • 鼠标移动到模块2任意bucket,对应bucket右侧可点击进行操作policydelete操作。其中policy可设置Prefix的请求权限。
  • 点击模块3,查看与设置该Object的基本信息:
    • 查看共享地址Shareable Link
    • 设置到期时间,最大可保存时间为7天
    • 对话框上方弹出该Object现剩余到期时间
Minio Client
下载二进制
wget https://dl.minio.io/client/mc/release/linux-amd64/mc
chmod +x mc
./mc --help
基本操作命令
  • 配置已存在Minio Server
./mc config host add <custom_name> <Minio_Server_address> <access_key> <secret_keyt> S3v4

例:

./mc config host add test http://9000.gr8be71d.grapps.ali-hz.goodrain.net access_key secret_key S3v4
  • 创建bucket
./mc mb <custom_name>/[bucket_name]/[object_name]

例:

./mc mb test/data
  • 查看Minio Server的bucket、object
./mc ls <custom_name>/[bucket_name]/[object_name]

例:

./mc ls test/data
  • 上传/下载Object
# cp到Minio Server(上传)
./mc cp <object> <custom_name>/[bucket_name]
# cp到本地(下载)
./mc cp <custom_name>/[bucket_name]/[object_name] <local_path>

例:

./mc cp README.md test/data
  • 删除Object或bucket
./mc rm <custom_name>/[bucket_name]/[object_name]

例:

# 删除bucket,因为data下存在名为README.md的object,故需追加--force参数来强制删除bucket
./mc rm test/data --force

*共享访问

mc提供share方法,通过授权生成的URL可以临时上传或下载object。

  • download

指定Minio Server中的Object,生成该Object临时下载的URL。

./mc share download [—expire [h|m|s]] <custom_name>/[bucket_name]/[object_name]

例:

# --expire 168h代表生成的URL有效时间仅168小时
./mc share download --expire 168h test/data/README.md
  • upload

指定上传某文件到Minio Server后的路径,生成临时可供上传的命令。

./mc share upload [—expire [h|m|s]] <custom_name>/[bucket_name]/[object_name]

例:

./mc share upload test/data/README.md

生成类似如下命令:

curl http://9000.gr17b6e1.grapps.ali-hz.goodrain.net/data/ \
-F x-amz-credential=access_key/20180425/us-east-1/s3/aws4_request \
-F x-amz-date=20180425T031310Z \
-F x-amz-signature=68ac9f102afd6a87526ecb9ce6025dee4f85b25cf054f5a7668a73ae0ef9f4dc \
-F bucket=data \
-F policy=eyJleHBpcmF0aW9uIjoiMjAxOC0wNS0wMlQwMzoxMzowOS45MTlaIiwiY29uZGl0aW9ucyI6W1siZXEiLCIkYnVja2V0IiwiZGF0YSJdLFsiZXEiLCIka2V5IiwiaW5zdGFsbC5zaCJdLFsiZXEiLCIkeC1hbXotZGF0ZSIsIjIwMTgwNDI1VDAzMTMxMFoiXSxbImVxIiwiJHgtYW16LWFsZ29yaXRobSIsIkFXUzQtSE1BQy1TSEEyNTYiXSxbImVxIiwiJHgtYW16LWNyZWRlbnRpYWwiLCJhY2Nlc3Nfa2V5LzIwMTgwNDI1L3VzLWVhc3QtMS9zMy9hd3M0X3JlcXVlc3QiXV19 \
-F x-amz-algorithm=AWS4-HMAC-SHA256 \
-F key=README.md \
# <FILE> 为需要上传的Object
-F file=@<FILE>
  • list

查看所创建下载或上传的所有RUL

./mc share list [download/upload]
部署
从云市

您可以从云市一键式部署Minio应用(点击获取)

从云帮

您也可以使用docker run命令在云帮自行部署:

  docker run -p 9000:9000 \
   -e MINIO_ACCESS_KEY=<Custom Access Key> \
   -e MINIO_SECRET_KEY=<Custom Secret Key> \
   -v /mnt/data:/data \
   -v /mnt/config:/root/.minio \
   minio/minio:RELEASE.2018-04-19T22-54-58Z \
   server /data

访问Minio对象存储时,验证所需要的Access Key 与 Secret Key,可以根据传入的变量MINIO_ACCESS_KEY与变量MINIO_SECRET_KEY自定义生成。

  • 我们对云市的Minio应用的变量MINIO_ACCESS_KEY与变量MINIO_SECRET_KEY做了初始化工作,您可以在应用控制台-应用依赖信息获取变量对应值,用于登录Minio应用。
分布式Minio

使用分布式的Minio可让您将多个驱动(即使在不同的计算机上)合并为一个对象存储服务器。由于驱动可分布在多个节点上,因此分布式Minio可以承受多点故障,并且保证数据的安全。

当前云市 Minio应用版本暂时不支持分布式Minio,后续将更新分布式Minio。

官方网站:https://www.minio.io

文档地址:https://docs.minio.io/

Minio其它支持参考: https://www.minio.io/dcos.html

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-04-26,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Rainbond 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 概述
  • 实现架构
    • 单节点
      • 多节点
        • 分布式
        • 功能特性
        • 使用
          • Minio Server
            • Minio Client
              • 下载二进制
              • 基本操作命令
          • 部署
            • 从云市
              • 从云帮
                • 分布式Minio
                相关产品与服务
                容器服务
                腾讯云容器服务(Tencent Kubernetes Engine, TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,覆盖 Serverless、边缘计算、分布式云等多种业务部署场景,业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者,主导开源项目Crane,全面助力客户实现资源优化、成本控制。
                领券
                问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档