展开

关键词

006.OpenShift持久性存储

持久性存储组件: OCP使用Kubernetes持久卷(PV)技术,允许管理员为集群提供持久性存储。开发人员使用持久性卷声明(PVC)请求PV资源,而不需要了解具体的底层存储基础设施。 Supplemental groupid通常用于控制对共享存储的访问,比如NFS和GlusterFS,而fsGroup用于控制对存储(如Ceph的RBD活iSCSI)的访问。 supplemental group ID应用于共享存储,而fsGroup ID用于存储存储,如Ceph RBD、iSCSI和各种类型的云存储,通常专用于单个pod。 与共享存储不同,存储由pod接管,这意味着pod(或image)定义中提供的用户和组id应用于实际的物理设备,存储通常不共享。 在生产环境中,Red Hat建议由外部专用的存储提供持久性存储,该服务器配置为弹性和高可用性。

53310

存储,就选原生存储

有关“”的问题 所谓OpenStack认证对接的分布式存储,并不意味Ceph就是最好的选择,Ceph并不是OpenStack环境的标配,Ceph只是适逢其会。 ZettaStor和原生存储 作为原AWS核心架构师、S3、Glacier存储项目团队负责人,陈靓先生非常了解对象存储应对数据需求的不足。 机缘巧合,2012年,陈靓应南京市政府的感召归国创业,创办了南京鹏云网络科技有限公司,并推出了从最底层开始研发的ZettaStor DBS软件定义分布式存储系统,提出了原生存储的概念。 它是以裸设备方式直接管理底层硬盘,并整合成为存储资源供上层应用来访问使用,由于并不存在对象存储的中间转换过程,因此能够实现低延迟的高I/O访问效率。 ? 对于原生存储、非原生存储,测试和验证将是一个非常重要的方法。但是在测试过程中,也应该结合实际,谨防被一些“猫腻”手段所蒙蔽。

41820
  • 广告
    关闭

    云存储特惠专场,低至0.7折起,标准存储加10元容量翻倍,多享500GB

    安全稳定、便捷易用的云端存储服务金秋特惠盛大来袭,新老同享,不容错过!限时低至0.7折起,标准存储加10元容量翻倍,多享500GB

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    存储架构」存储、文件存储和对象存储(第1节)

    要理解对象存储所提供的好处,必须首先了解文件存储存储的旧概念,因为它们之间有很大的差异。 文件、和对象存储之间的区别 文件存储存储是在NAS和SAN存储系统上存储数据的方法。 存储的工作方式与此类似,但与在文件级管理数据的文件存储不同,数据存储在数据中。几个(例如在SAN系统中)构建一个文件。 一个由一个地址组成,如果SAN应用程序对这个地址发出scsi请求,那么它将获得这个存储应用程序然后决定数据是否存储在系统中,以及存储在什么特定的磁盘或存储介质上。 最后如何组合这些以及如何访问它们决定了存储应用程序。SAN中的没有与存储系统或应用程序相关的元数据。换句话说:是没有描述、关联和存储解决方案所有者的数据段。一切都由SAN软件处理和控制。 然后,在巨大的存储空间中给对象一个地址,并由应用程序本身保存在那里。 由于数据管理非常简单——没有真正的文件系统——对象存储解决方案比文件存储或基于存储的系统更容易扩展。

    68824

    ceph 分布式存储-存储(RBD)搭建

    管理存储池 1.1 创建存储池 PG数量的预估 集群中单个池的PG数计算公式如下:PG 总数 = (OSD 数 * 100) / 最大副本数 / 池数 (结果必须舍入到最接近2的N次幂的值) #ceph crush-ruleset-name] $ ceph osd pool create test_pool 512 512 replicated pool 'test_pool' created 1.2 删除存储池 ceph osd pool delete test_pool test_pool --yes-i-really-really-mean-it pool 'test_pool' removed 1.3 重命名存储池 管理设备镜像 2.1 创建设备镜像 #rbd create --size {megabytes} {pool-name}/{image-name},如果pool_name不指定,则默认的pool是rbd 下面的命令将创建一个10GB大小的设备: $ rbd create --size 10240 test_image -p test_pool 2.2 删除设备镜像 #rbd rm {pool-name

    88720

    浅谈存储的安全配置

    如果说对象存储Object Storage Service像云盘,而本文所说的存储Block Storage是类似于机械硬盘、固态硬盘的“云硬盘”。 亚马逊方面在Elastic Compute Cloud (EC2)的实例的持久存储称为Elastic Block Storage。 阿里云EBS是指为ECS云服务器提供的设备,高性能、低时延,满足随机读写,可以像使用物理硬盘一样格式化、创建文件系统,可用于云硬盘、快照、模板。 在设计之初,主要关注的安全特性为: 存储空间由很多chunk(数据)组成,分布式存储的方式使得某处chunk被窃取,也不会发生数据安全问题; 底层数据每个chunk通过三副本存储在集群中的不同节点上, ,而阿里云类似的共享存储功能仍处于内部测试中,但是可以翻看API手册方便预测此类安全威胁。

    61530

    认识存储、文件和对象

    存储是数据存储的最古老形式,数据都存储在固定长度的或多个中。存储适用于企业存储环境,并且通常使用光纤通道或 iSCSI 接口。 根据 SUSE 的软件定义存储高级产品经理 Larry Morris 的说法,“存储要求一个应用去映射存储设备上存储数据的位置。” Jean 说“存储将单个的存储卷(如一个虚拟或云存储节点、或一个老式硬盘)分割成单独的被称为的实体。” 每个独立存在,并且能够用它自己的数据传输协议和操作系统格式化 —— 给用户完全的配置自主权。由于存储系统并不负责像文件存储系统那样的文件查找职责,所以,存储是一个非常快的存储系统。 由于同时具备速度和配置灵活性,使得存储非常适合原始服务器存储或富媒体数据库。 存储适合于宿主机操作系统、应用程序、数据库、完整虚拟机和容器。

    15410

    ceph分布式存储-存储BlueStore性能测试

    byte,默认 4M--io-threads:线程数,默认 16--io-total:总写入字节,默认 1024M--io-pattern <seq,rand>:写模式,默认为 seq 即顺序写 只能对设备做写测试 大小 - 4k,16k,64k,256k5. 模式 - 读和写6. 支持混合模式 3.2 测试结果比较 3.2.1 rados bench测试结果 客户端数 并发数 大小 写测试 顺序读 随机读 单个客户端 30 4M 带宽:1119.68 MB/s 平均IOPS: 带宽:2238.71MB/s 平均IOPS:558 平均耗时:0.212s 带宽:2237.01MB/s 平均IOPS:558 平均耗时:0.212s 3.2.2 rbd测试结果 客户端数 并发数 大小

    1.5K20

    利用FreeNas创建iSCSI存储

    而FreeNAS提供的iSCSI存储,正是SAN技术中,相比FC(光纤信道)更经济的一种。 在FreeNAS中,通过ZFS文件系统,RaidZ冗余等技术来保证数据存储的安全性,同时,又可以通过iSCSI服务为网络中的其他支持iSCSI的设备提供存储,想象一下,在FreeNAS中,为你家里的电脑提供了一具有多种数据保护技术的硬盘 这块硬盘不是通过各种硬盘接口,而是通过网线连接到你的电脑上的,虽然连接的方式不同,但你仍然可以像平常一样使用这块硬盘,比如分区、格式化、安装软件、保存数据,甚至还可以将操作系统安装在这块硬盘上 任务1 理解iSCSI存储基本原理 Initiator(发起端/客户端):把被授权访问 FreeNAS 存储的客户端称作 Initiator。该客户端系统需要安装 initiator 发起程序才能连接 iSCSI存储。 任务2 创建Zvol虚拟磁盘 先手动添加一硬盘 再登陆frreenas的Web GUI界面 添加一个存储池 任务3 创建Block(iSCSI)共享 选择“Sharing”共享,点击“Block

    13620

    腾讯云弹性存储技术解密

    [1501466823180_1478_1501466824713.jpg] 作者介绍:Yh, 2010年加入腾讯,有12年的存储经验,在弹性存储技术方面经验丰富,本文将其在TEG TALK上的分享内容进行整理 如何实现云硬盘(弹性存储)系统? 其实最开始CBS是将这3个分布式存储系统拼凑在一起,并在前端封装一个iSCSI的存储服务,这就是CBS1.0。 首先,CBS2.0前端是一个接入集群: Client,即客户端,让服务器呈现一硬盘;Proxy,即设备的后台接入层,前端的云硬盘通过它才能将数据放到云端;Client和Proxy专业名次叫iSCSI 当然ceph也有很多值得我们借鉴的东西:例如CBS是存储平台(目前已经支持文件存储),而ceph一开始就是作为统一存储平台设计的,同时支持存储、文件存储和对象存储;CBS的是镜像多副本存储,但是ceph

    1.2K32

    基于华为fusionstorage的存储CSI

    承接上文,存储的CSI要比对象存储复杂一些,但总的处理逻辑还是一致的。 下面以华为fusionstorage的CSI为例进行介绍,该插件支持了多个后端存储,如fusionstorage和oceanstor。 下面是CSI插件与后端存储(fusionstorage)交互用到的配置文件。 其中pools为事先创建好的存储池,parameters为所有k8s的node节点的hostname:ip对,用于执行attach存储操作。 整体挂载流程为:在后端存储创建一个卷(如果不存在),并将其attach到node节点的/dev目录下;由于容器挂载了/dev目录,在容器中直接格式化该存储并挂载到/var/lib/kubelet中的pod

    69310

    Hetzner Storage Box 存储性能测试

    ] 0.测试环境 1.理论性能 2.fio 测试 3.真实环境性能 4.全球下载测试 5.Hetzner Cloud 性能测试 5.总结 Hetzner 本月大幅下调了旗下 Storage Box 存储服务的价格 相比之下老司机最喜欢的 Buyvm 1TB 存储按照支付宝加元结算也需要 3.45 欧元,且必须配合 Buyvm 自家 VPS 才能够使用。 Hetzner 的存储服务目前支持以 FTP,SCP,Samba,rsync,WebDAV 等协议对接,但略显遗憾的是不支持 Amazon S3 。 4.全球下载测试 通过 https 协议下载存储中的文件(单线程,200M) 地区 速度(MB/s) 荷兰 Alwyzon 12.8 德国 Webhosting24 52.7 英国 Bluevps 22.3 5.总结 除了极高的性价比之外,Hetzner Storage Box 存储服务在欧洲地区也表现出了非常不错的可用性,其读写性能足以满足备份和冷数据存储的需要。

    5610

    ceph-存储客户端

    ceph存储 ceph设备,以前称为RADOS设备,为客户机提供可靠性、分布式和高性能的存储磁盘。RADOS设备利用librbd库并以顺序的形式在ceph集群的多个osd上存储数据。 RBD是由ceph的RADOS层支持,因此每个设备都分布在多个ceph节点上,提供了性能和优异的可靠性。 安装ceph存储客户端 创建ceph客户端用户名和认证密钥 [ceph-admin@ceph-node1 my-cluster]$ ceph auth get-or-create client.rbd my-cluster]$ scp ceph.client.rbd.keyring /etc/ceph/ceph.conf root@192.168.0.123:/etc/ceph 检查客户端是否符合设备环境要求 create rbd 128 pool 'rbd' created [ceph-admin@ceph-node1 my-cluster]$ ceph osd lspools 1 rbd, 客户端创建设备

    67930

    我看Openstack的临时(Ephemeral)存储(Block)存储

    背景 Openstack不管是Ephemeral Storage还是Block Storage, 其实从接口上看,其实都是服务。 那么为什么要搞两个不同的类型呢,本文从这两种不同类型存储的实现上来分析下其中的原因。 临时存储 Openstack临时存储是由Nova提供的,主要是利用主机的本地存储给虚拟机提供卷服务。 如果虚拟机被删除了,挂在这个虚拟机上的任何临时存储自动释放。 存储 目前Openstack的存储由Cinder提供,其后端支持很多类型的存储设备,比如多个厂商不同型号的阵列设备,或者是Ceph, Glusterfs, Sheepdog之类的分布式存储系统。 基于存储,可以为用户提供: 高可靠的存储(基于阵列的RAID, 或者是分布式存储的多副本机制;甚至还可以充分利用设备的备份,远程复制能力) 共享存储 (意味着可以支持HA, 虚拟机迁移等等) 临时存储的妙用

    8810

    初试 Ceph 存储设备、文件系统、对象存储

    目录 Ceph 存储介绍 环境、软件准备 Ceph 设备 Ceph 文件系统 Ceph 对象存储 1、Ceph 存储介绍 Ceph 是一个开源的分布式存储系统,包括对象存储设备、文件系统。 同时该模块通过 LIBRADOS 的公共库对外提供存储服务,如对象存储设备存储。 通过官网文档 Ceph 体系结构 中的图片可以很清楚的了解 Ceph 存储体系。这里就不一一阐述各个组件了。 ? 2、环境、软件准备 要使用 Ceph 存储体系中的设备、文件系统以及对象存储,必须保证已完成 Ceph 存储集群的搭建,并且保证 Ceph 存储集群处于 active + clean 状态。 3、Ceph 设备 Ceph 设备也可以简称为 RBD 或 RADOS 设备,不过我们还是习惯叫 RBD,官网文档中指出不能在与 Ceph 存储集群(除非它们也用 VM )相同的物理节点上执行使用 参考资料 CEPH 设备 rbd 介绍 CEPH 文件系统 cephfs 介绍 CEPH 对象存储 配置 rgw

    1.6K90

    存储、对象存储、文件存储, 容器存储的最佳方式应该是什么?

    这时临时存储不再符合要求,容器需要能够访问到持久化存储来保存必要的数据。 如果您看过Kubernetes社区的存储支持列表,会发现里面有众多的存储实现,但我们可以分为如下的三类: 纵然有如此多的容器存储列表,又有如此多的存储分类,到底哪种存储应该成为容器存储的最佳选择呢,我们从容器应用的类型来逐步分析 Server等大型数据库,因为即使技术能够满足,客户能否接受还需要时间考量,对于MySQL以及其它同类型中间件而言,从我们实际测试的效果看,YRCloudFile文件系统支持MySQL容器应用的性能,并不比存储作为 在这些场景下,文件数量可达到几十亿规模,存储的能力将变得有局限。 焱融容器存储YRCloudFile作为国内第一家进入CNCF LandScape Container-Native Storage容器存储图谱的容器存储产品,设计的初衷就是解决容器化应用对存储的访问需求

    1.5K23

    「最强科普」存储、文件存储、对象存储三者有何区别?

    存储、文件存储、对象存储,傻傻分不清楚 聊到企业存储,栈长被三个存储名词困扰了很久,存储、文件存储、对象存储,真的是傻傻分不清楚。 最近栈长不废寝忘食,好好的研究了下存储、文件存储和对象存储。 今天我们就来跟大家汇报下学习成果:存储、文件存储、对象存储三者有何区别? 其实,存储的目的就是为数据提供空间。 ▉ 存储 存储提供的是不带文件系统裸磁盘,使用之前需先进行初始化。我们比较常见的存储形式是我们的Windows硬盘或手机存储空间,数据是按字节来存储和访问的。 通俗的来说,就如上图,数据就像每个瓜子一样,堆放在存储仓里。瓜子就是每个数据,这个存储舱就是磁盘。存储只关心瓜子的进来和出去,不关心瓜子粒之间的关系和用途。 但相比于存储,文件存储读写速度相对于存储要慢一点。

    1.8K00

    初试 Kubernetes 集群使用 Ceph RBD 存储

    Ceph 是一个开源的分布式存储系统,支持对象存储设备、文件系统,具有可靠性高、管理方便、伸缩性强等特点。 image:这是 Ceph 设备中的磁盘映像文件,可使用 rbd create ... 命令创建指定大小的映像,这里我们就创建 foo fsType:文件系统类型,默认使用 ext4 即可。 这里我就不在详细描述过程了,具体可以参照文章 初试 Ceph 存储设备、文件系统、对象存储设备部分,贴下操作代码。 PersistentVolume (PV) 可以理解为在集群中已经由管理员配置的一存储,作为集群的资源,而且拥有独立与 Pod 的生命周期,意思就是 Pod 删除了,但 PV 还在,PV 上的数据依旧存在 不过也指出 Ceph 另一种存储类型 cephfs 文件存储对三种 Mode 方式都支持。下一篇我们继续研究 Kubernetes 集群多节点挂载 CephFS 文件存储,来实现挂载分布式存储

    1.5K10

    ceph设计原理与实现(RBD存储)

    2、RBD的设备称为image image.png 3、RBD的三种存储方式 image.png 4、image image.png 5、RBD支持快照和克隆

    15510

    OpenStack查看存储服务组件信息

    46520

    MogDB存储过程事务控制与异常

    本文将分别在openGauss/MogDB和PostgreSQL数据库中测试存储过程commit与exception的使用。 NOTICE: job is over,time=2021-12-22 17:12:22.778081+08 CALL Time: 30031.268 ms (00:30.031) 上面的程序代码里 over,time=2021-12-22 17:38:11.072483+08 NOTICE: job is over,time=2021-12-22 17:38:11.072545+08 程序代码里使用 sqlerrm=cannot commit while a subtransaction is active CALL Time: 30064.663 ms (00:30.065) 可以看出,如果我们的语句里有 1.通过实验一我们了解可以使用commit语句立刻提交来确保程序所作的变化对其它客户端可见,并且这是不可撤销的(rollback)。

    10350

    扫码关注腾讯云开发者

    领取腾讯云代金券