展开

关键词

006.Ceph对象存储基础使用

Ceph 对象存储支持 2 种接口:兼容S3: 提供了对象存储接口,兼容亚马逊S3 RESTful接口的一个大子集。 提示:Ceph 对象存储不使用 Ceph 元数据。 新版Ceph Storage简化Ceph对象网关的安装和配置,Gateway守护程序嵌入Civetweb,因此您不必安装Web或配置FastCGI。 2.3 测试访问浏览访问:http:172.24.8.72:7480? -bucket注意:node1:7480 为网关的外网访问 IP 地址,即172.24.8.72主机,端口默认 7480,若已修改端口号,则修改为对应端口。

91160

Kubernetes 集群基于 Rook 的 Ceph 存储之块设备、文件系统、对象存储

Rook 是专用于 Cloud-Native 环境的文件、块、对象存储。它实现了一个自动管理的、自动扩容的、自动修复的分布式存储。 5.3、集群内访问我们可以进入到 rook-toolbox 容内访问该文件存储。首先需要安装一下 s3cmd 客户端工具,该工具提供 CLI 专门用来操作 s3 存储。 RZTGKUPYG4OJ2EASVPCYexport AWS_SECRET_ACCESS_KEY=EWRo6aKjO7OcBWaT974UASUX0SWn4PyzvJGzJSKT简单说明一下:HOST:rgw 在集群内 DNS 地址,按照 K8s DNS 命名规则,简单一些可以配置为:rook-ceph-rgw-busy-box-obj.rook-cephENDPOINT:rgw 监听地址,因为是在进群内部访问 虽然还是容内执行,但是我们连接 s3 地址和方式都一样了呦!那么继续去 rook-toolbox 容内执行吧!

1.4K33
  • 广告
    关闭

    云产品限时秒杀

    云服务器1核2G首年50元,还有多款热门云产品满足您的上云需求

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    听说你的harbor不能使用Ceph s3

    一般都存放在本地文件系统上,即后端存储driver使用filesystem,由于harbor是跑在容里的,此driver根据具体实现又可分为以下三种情况:(1)本地存储:这种方式就是把本地文件目录挂载到容中做为 harbor存储镜像的位置(2)ceph rbd pv:这种方式首先通过k8s的pvc申请一个ceph rbd卷,然后把rbd卷mount到,最后再把这个目录挂载到容中(3)ceph cephfs pv:这种方式直接使用cephfs功能,通过pvc申请一个cephfs中的一个目录,然后mount到,最后再把这个目录挂载到容中简单说明一下这三种:第一种不是共享存储,是harbor高可用的拦路虎 etcdockerdaemon.json配置如下:{  insecure-registries: }192.168.127.1:5000是distribution的地址,也就是让docker使用私有镜像仓库 aws s3,在使用ceph s3的时候直接抛异常退出URLFor函数。

    2.3K50

    ceph对象存储折腾记 原

    我是参考的ceph的中文翻译文挡进行的部署和测试。传送门,文档里面介绍的和ceph本身的版本存在脱节的现象,可能初次接触的人会因为启动的问题摸不着头脑。 对象存储额外需要安装的包是:ceph-radosgw和ceph-common 安装完毕你的系统上应该至少存在三个命令:rados 、 radosgw 、 radosgw-admin 其中整个对象网关就是由 192.168.168.41,192.168.168.42,192.168.168.45auth_cluster_required = cephxauth_service_required = cephxauth_client_required = cephx # t56是的 rwx mon allow rwx -o etccephceph.client.radosgw.keyring#密钥环的样子 key = xxxxxxxxxxxxxxxxxxxxxxxx==####的启动方式 ceph给的文档里面的大多数sdk版本都是上个世纪的,亚马逊的s3 php sdk变的乱七八糟,入门比较慢,搞半天也搞不明白。我留了一个老版本的php sdk,凑合能接到ceph的文档。

    27710

    初试 Ceph 存储之块设备、文件系统、对象存储

    同时该模块通过 LIBRADOS 的公共库对外提供存储,如对象存储、块设备存储。通过官网文档 Ceph 体系结构 中的图片可以很清楚的了解 Ceph 存储体系。这里就不一一阐述各个组件了。? 因为我们必须部署至少一个元数据才能使用 CephFS 文件系统。接下来,我们就部署一个元数据 MDS。 Ceph 从 v0.80 开始,使用内嵌 Civetweb 作为 Web Server,无需额外安装 web 或配置 FastCGI,其默认端口为 7480。 3、使用 Ceph 对象网关为了使用 Ceph SGW REST 接口, 我们需要为 S3 接口初始化一个 Ceph 对象网关用户. -bucket注意:10.222.77.213:7480 为网关的外网访问 IP 地址,这里为 admin-node 节点 IP,端口默认 7480,若已修改端口号,这里也需要对应修改一下。

    1.4K90

    Ceph理解

    RGW : RGW全称RADOS gateway,是Ceph对外提供的对象存储,接口与S3和Swift兼容。 提供对象存储,本章将介绍RGW的搭建和使用,从而提供类似S3和Swift。 通过本章你可以在本地起cephS3,然后使用命令行或者SDK工具来访问对象存储,并且使用ceph管理用户和quota。 ----RGW介绍RGW全称Rados Gateway,是ceph封装RADOS接口而提供的gateway,并且实现S3和Swift兼容的接口,也就是说用户可以使用S3或Swift的命令行工具或SDK ----RGW用法使用RGWRGW同时提供了S3和Swift兼容的接口,因此只要启动了RGW,就可以像使用S3或Swift那样访问RGW的object和bucket了。

    63121

    SDNLAB技术分享(十七):Ceph在云英的实践

    这里Ceph的一大优势很好的体现出来:无需元数据节点,所有都是“无需查表,算算就好”! 下面我们来介绍下Ceph存储在云英的应用,大致可以分为如下几种:1) RBD块存储2) CephFS提供间数据共享3) RADOSGW提供对象存储4) Ceph的性能测试5) Ceph的优化 在RDS中,用户会有创建MySQL备份的需求,而这种备份是最适合对象存储的,我们自己实现了RDS的S3备份接口,把RDS的备份数据上传到兼容S3的RADOSGW中。 A2:我们的应用方式主要是结合Openstack提供云硬盘,所以主要是块存储。现在用于对象存储的有RDS的数据备份,还有马上准备推出的兼容S3的对象存储。Q3:2个集群之间啥关系?互备? PID的个数是linux 内核最大线程的个数,应用中我们会根据物理上OSD的个数去调大这个值,避免因为PID个数的限制,导致OSD的线程数不够。

    1K60

    CERN评估使用Rook部署Ceph

    欧洲核子研究中心从Ceph中受益的方式有很多,包括:OpenStack镜像与卷(RBD)HPC划痕空间(CephFS)类似nfs的私有文件共享(CephFS)与Amazon S3兼容的对象存储(RGW) CERN的云基础设施是由OpenStack驱动的,所以虚拟环境由OpenStack的虚拟机组成,而物理环境由OpenStack Ironic管理的裸金属组成,每个有48个磁盘,每个磁盘容量为 我的测试平台包括部署S3工作负载来收集评估指标,比如部署整个Ceph集群的时间、在集群中添加新(RGW、OSD、MDS)的时间、Ceph升级的自动化以及整个集群的可靠性。? 新部署的Ceph集群可以在几分钟内使用。在运行的集群中添加新的OSD不到2分钟。添加RGW和MDS等也是如此。Rook建立在Kubernetes之上,因此节点可靠性和改进的故障容忍度成为一等特性。 带有Rook后端的编排CLI可以轻松操作部署的集群,特别是对于那些已经熟悉Ceph CLI的人来说。然而,Ceph的升级还没有自动化,Rook和Ceph版本之间存在耦合,这使得整体部署的灵活性降低。

    34010

    Ceph对象存储安装部署及验证

    下面简单扒一扒这家公司V.Photos是一家云摄影平台,成立于2015年,主要致力于为B端商业用户提供智能便捷的商业摄影和照片同步归档管理的专业级方案。 下面我们来看看Ceph对象存储如何部署首先呢就是部署一套Ceph环境,这里就不再赘述了,网上好多安装文档,都比较清晰了。 修改Ceph配置文件进行修改。 修改完配置文件之后同步到个节点然后重启rgwceph-deploy --overwrite-conf config push devin-ceph1 devin-ceph2 devin-ceph3 OK,本文Ceph对象存储到此就讲述结束了下篇文章来讲述如何对接OwnCloud网盘应用。【本文由“Ceph中国社区”发布,2017年8月15日】

    1.2K20

    Ceph在手,天下我有

    当然这都是因为它能提供多样可靠稳定的存储Ceph支持三种调用模式,这三种方式可以一同进行使用:对象存储(Object):有原生的API,而且也兼容Swift和S3的API块存储(Block):支持精简配置、快照、克隆文件系统挂载(File): 是否有元数据,元数据是保存存储数据元数据信息的,读写数据都需要连接元数据保证一致性。存在元数据势必会存在单点问题和性能瓶颈问题。我们先来看一下Ceph的基础架构图:? RADOS GW(RADOS Gateway):提供与Amazon S3和Swift兼容的RESTful API的gateway,以供相应的对象存储应用开发使用。 由此可见Ceph也需要元数据,但是实现了去中心化(划重点,需要理解OSD和Monitor的功能,如果对HBase了解的话,我觉得可以类比一下Zookeeper和HRegionServer的关系)。

    29520

    携程网的Ceph实践之路

    图的右边是携程单个Ceph集群的部署:集群中的每个部署都完全相同,这么做主要是为了简化运维和机选型。 从图可以看出,我们集群的规模不是很大,共有3台,每台有12个osd,一个mon;每台上面部署了一个RGW,Ceph RGW是通过DNS轮询来实现HA和负载均衡。 第二个场景是跨数据中心的持续交付:下图是跨数据中心的持续交付的流程架构图,其中与Ceph相关的部分在最下面的部分,App上部署有Salt-agent,接受Salt-Master的命令从Ceph 假如我们配置Ceph集群数据存储3份,通过修改Crushmap,我们可以做到让每一份数据存放到指定的IDC、机架、甚至硬盘上。 问题12:RGW的配置是如何?答:RGW是部署在Ceph集群的机上面的,具体配置见前面图片。问题13:你们存储小文件的时候,数据量大概多少,同步会有问题吗?每个小文件实际占用空间呢?

    2.1K30

    基于Ceph对象存储的分级混合云存储方案

    混合云存储方案的趋势 1、公有云存储Unlimited Capacity:公有云的存储具有易扩展的特性,用户可以非常方便的根据其存储容量需求,对其已有的存储的容量进行扩展,因此从用户角度来说,公有云的存储具有无限容量的特点 Performance not Well:通过公网对存储进行访问的网络开销,云商所采用的通用共享的硬件资源,以及通过虚拟化技术提供的,使得对于公有云存储来说,其访问性能并不是很高。 High Security and Controllability:对于私有云存储来说,因为其软、硬件资源不与其他组织和租户共享,而且可以完全将架设在私有网络中,所以可实现更高的控制性和安全性级别 ,私有云存储并不是无限容量的。 1、RGW MultisiteCeph RGW 的 Multisite 机制用于实现多个Ceph 对象存储集群间数据同步,其涉及到的核心概念包括:zone: 对应于一个独立的集群,由一组 RGW 对外提供

    75320

    Harbor对接Ceph S3推镜像Retry的问题

    小白前两天用Ceph S3在为Harbor的Registry做后端存储时,不管是在1.x还是最新的2.1版本都会遇到docker push较大块镜像时出现不断重试的情况。? 按照以往的经验,小白只能将CephS3改为兼容Swift协议才能成功push镜像。 不过最近这个有了新的解决方案,引起该问题的似乎跟registry的配置multipartcopythresholdsize有关https:github.comgoharborharborissues12317harbor-helm 当前multipartcopythresholdsize最大支持5G,所以修改helm配置后重新部署即可解决该问题。 s3: region: default bucket: accesskey: secretkey: regionendpoint: #encrypt: false #keyid: mykeyid #secure

    16930

    对象存储,了解一下

    对象存储,通常指 S3 (Simple Storage Service) ,由AWS提供公有云,而 Ceph 也可以提供兼容 S3 协议的对象存储,使用起来跟 AWS 的 S3 体验几乎一样 测试秘钥: access_key: tstack secret_key: tstack 集群副本数: 2 S3 概念简介 使用S3形如登陆一个主机只需要两大要素: 一台主机: 即上面的域名, tstack-s3 User 一个 User 可以通过自己的 aksk 进行登录 对象存储,然后就可以看到自己的 Bucket。 Bucket S3 中的一个重要概念,即存储桶。 那么 S3 (简单的对象存储)的概念就介绍完了。 一句话介绍就是我们每个人都有很多的Bucket,每个Bucket下面可以保存很多的文件。 那么下面开始介绍如何使用我们 TStack 自己 S3 。 使用 S3 Windows 下使用方法 Windows 下我们使用的是 S3Brower 这个客户端,点击链接可以下载安装。

    1.7K31

    Ceph核心组件

    一个Ceph集群一般都有很多个OSD。PGPG全称Placement Grouops,是一个逻辑的概念,一个PG包含多个OSD。引入PG这一层其实是为了更好的分配数据和定位数据。 Monitor一个Ceph集群需要多个Monitor组成的小集群,它们通过Paxos同步数据,用来保存OSD的元数据。 CRUSHCRUSH是Ceph使用的数据分布算法,类似一致性哈希,让数据分配到预期的地方。RBDRBD全称RADOS block device,是Ceph对外提供的块设备。 RGWRGW全称RADOS gateway,是Ceph对外提供的对象存储,接口与S3和Swift兼容。MDSMDS全称Ceph Metadata Server,是CephFS依赖的元数据。 CephFSCephFS全称Ceph File System,是Ceph对外提供的文件系统

    30230

    Kubernetes 环境的 Tensorflow Serving on S3

    选择镜像的时候,必注意是否为 GPU 版本。然后 tag 为 TenC 的镜像仓库。 # key 可以从上面的内容 Ceph 存储 Ceph Key 模块找到export AWS_ACCESS_KEY_ID=runzhliu-demo-keyexport AWS_SECRET_ACCESS_KEY 然后再通过 s3cmd put 上传到 Ceph 存储。. - saved_model.pb `-- variables |-- variables.data-00000-of-00001 `-- variables.index然后再通过 curl 来查看模型的情况 所以就算更新了 Pod,Pod IP 变化了,通过上述两种方法,依然可以路由到 serving 的

    39610

    001.Ceph简介概述

    而运行Ceph文件系统客户端时,则必须要有元数据(Metadata Server)。 MDSs: Ceph元数据(MDS)为Ceph文件系统存储元数据(也就是说,Ceph块设备和Ceph 对象存储不使用MDS)。 元数据使得POSIX文件系统的客户端,可以在不对Ceph存储集群造成负担的前提下,执行诸如ls、find等基本命令。4.2 存储通信机制? 最后,Ceph客户端连接到可执行读写操作的主OSD上进而达到数据的存储与获取。客户端和OSD之间没有中间,中间件或总线。 5.2 RADOSGW应用此类场景基于Librados之上,增加了HTTP协议,提供RESTful接口并且兼容S3、Swfit接口。RADOSGW将Ceph集群作为分布式对象存储,对外提供

    34320

    聊一聊分布式对象存储解决方案

    目前除了公有云提供对象存储外,一般私有云比较关心一些开源的分布式对象存储解决方案,本文列举了一些常见的技术方案供参考。 其中对象存储功能支持 2 种接口:1、兼容S3:提供了对象存储接口,兼容 S3 RESTful 接口的一个大子集。 Ceph是一个企业级分布式存储系统,功能强大,不仅可以为企业建立对象存储,还可以帮助企业建立自己的云平台,具有广泛的应用场景特别是在云环境下使用广泛。 Minio主要为人工智能、机学习而设计,并适用于其他大数据负载。从架构与功能方面考虑,Minio是一个比较好的开源对象存储解决方案。 MOB特性在Apache HBase 2.0、CDH 5.4.x 或 HDP 2.5.x 及以上版本支持,用户可以基于HBase MOB特性设计自己的对象存储

    4.2K32

    Ceph,Red Hat在代码贡量献上一骑绝尘的开源项目

    vSAN利用的本地磁盘,利用VMFS-LvSANFS,对这些磁盘做格式化,以块设备的方式给上的虚拟使用(VMDK存放在vSANFS上)。?近年来,对象对象存储的概念逐渐火热起来。 与传统的数据存放方式不同,在Crush算法下,数据的放置不依赖于元数据。CRUSH只需要一个简洁而层次清晰的设备描述,包括存储集群和副本放置策略。 不同的故障域可以设置成在不同机架的上,最大程度地实现高可用。副本数设置设置数据的副本是为了保证高可用,这点每种技术都是一样的。比如vg mirror,ASM mirror,vSAN副本等等。 在实验环境中有三个组成ceph集群。三个节点既是OSD server,又是monitor。通过下面命令做一下简单的了解。节点名称分别为:node1,node2,node3。 Ceph的对外方式前文已经提到,ceph对外可以提供块设备,文件系统和对象存储。我们依次说明。

    72050

    附013.Kubernetes永久存储Rook部署

    目前主要专用于Cloud-Native环境的文件、块、对象存储。它实现了一个自我管理的、自我扩容的、自我修复的分布式存储。 rootrookclusterexampleskubernetesceph# kubectl create -f common.yaml# kubectl create -f operator.yaml解读:如上创建了相应的基础 该容中的命令可以用来调试、测试Rook,对Ceph临时测试的操作一般在这个容内执行。 RESTARTS AGEcsicephfs-demo-pod 11 Running 0 24s六 设置dashboard6.1 部署Node SVC步骤2.4已创建dashboard,但仅使用clusterIP暴露 ,使用如下官方提供的默认yaml可部署外部nodePort方式暴露的dashboard。

    62140

    相关产品

    • 云服务器

      云服务器

      腾讯云服务器(CVM)为您提供安全可靠的弹性云计算服务。只需几分钟,您就可以在云端获取和启用云服务器,并实时扩展或缩减云计算资源。云服务器 支持按实际使用的资源计费,可以为您节约计算成本。

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      扫码关注云+社区

      领取腾讯云代金券