[1501466823180_1478_1501466824713.jpg] 作者介绍：Yh， 2010年加入腾讯，有12年的存储经验，在弹性块存储技术方面经验丰富，本文将其在TEG TALK上的分享内容进行整理...云硬盘提供硬盘所有的能力：就像大家个人电脑中的硬盘，可以创建文件系统，可以存电影，可以读写文件；甚至更多：因为云硬盘的数据存在云端，可以充分发挥云的能力，提供更丰富的功能，例如：快照，可以把云硬盘某一时刻的数据做快照...如何实现云硬盘（弹性块存储）系统？...其实最开始CBS是将这3个分布式存储系统拼凑在一起，并在前端封装一个iSCSI的块存储服务，这就是CBS1.0。...当然ceph也有很多值得我们借鉴的东西：例如CBS是块存储平台（目前已经支持文件存储），而ceph一开始就是作为统一存储平台设计的，同时支持块存储、文件存储和对象存储；CBS的是镜像多副本存储，但是ceph
文件存储文件存储是一种基于文件系统的存储方式，将数据保存在文件中，这些文件可以被多个应用程序并发地访问。...这种存储方式通常用于需要读取和写入整个文件的应用程序，如文档管理、图片、视频、音乐等文件存储和共享等应用。文件存储通常由一个共享存储设备提供，多个计算机可以通过网络访问该设备中的文件。...其中，共享存储设备可以是NAS（网络附加存储器），它是一种基于文件共享的存储设备，也可以是SAN（存储区域网络），它是一种基于块的存储设备。...- ReadWriteMany resources: requests: storage: 10Gi storageClassName: nfs-storage在上面的示例中，我们创建了一个名为...“example-pod”的Pod对象，它使用了名为“example-volume”的卷，该卷是通过名为“example-pvc”的PVC对象动态请求创建的。
块存储块存储是一种基于块的存储方式，将数据保存在块设备上，块设备通常是一种硬件设备，例如硬盘、固态硬盘或闪存驱动器。...块存储通常由一个存储阵列提供，可以被多个计算机使用，每个计算机都可以访问阵列中的块存储设备，并在其上创建文件系统。块存储通常用于需要随机读写的应用程序，例如数据库、虚拟化、高性能计算等应用。...在块存储中，数据是以块的形式传输，并且每个块可以被独立地访问和管理。...存储提供者是一个iSCSI存储设备，使用“iscsi-storage”存储类提供块存储服务。...由于我们使用的是块存储，因此我们还需要将PVC的“volumeMode”属性设置为“Block”，并指定“volumeName”属性，以引用预先创建的块卷。
对象存储对象存储是一种分布式存储方式，将数据保存在对象中，每个对象都有唯一的标识符，可以通过该标识符访问对象。...对象存储通常用于需要海量存储的应用程序，例如大数据、人工智能、物联网等应用。对象存储通常由一个对象存储集群提供，该集群由多个存储节点组成，可以水平扩展以增加存储容量和吞吐量。...- ReadWriteOnce resources: requests: storage: 10Gi storageClassName: s3-storage在上面的示例中，我们创建了一个名为...“example-pod”的Pod对象，它使用了名为“example-volume”的卷，该卷是通过名为“example-pvc”的PVC对象动态请求创建的。...存储提供者是Amazon S3存储服务，使用“s3-storage”存储类提供对象存储服务。
本质是一样的，底层都是块存储，只是在对外接口上表现不一致，分别应用于不同的业务场景。 通常来讲，磁盘阵列都是基于Block块的存储，而所有的NAS产品都是文件级存储。 一....典型设备：磁盘阵列，硬盘，虚拟硬盘 使用角度：块级的存储如果是第一次使用，那么必须需要进行一次格式化的操作，创建出一个文件系统，然后才可以使用，新买的U盘、硬盘、或者新发现的iSCSI设备等 技术角度：...对于块级来说如果你要通过块级来访问一段数据的话，你自己需要知道这些数据具体是存在于那个存储设备上的位置上，也就是说块级的存储中要求程序自己保存元数据。 2....块存储接口的操作对象是二进制数据，物理存储位置是硬盘 （通过逻辑目录 找到对应分区，然后找到对应存储块存储。） 3....FC，iSCSI，也是块存储协议。和文件存储相比，没有文件和目录树的概念，一般协议也不会定义磁盘的创建和删除操作。协议更注重传输控制。 优点： 1.
分布式存储技术首先成功应用在互联网企业的应用场景。 鉴于无法预计的互联网访问流量，互联网迫切需要一种弹性十足的IT基础架构，传统磁盘阵列以Scale Up为主，且价格昂贵，难以满足需求。...ZettaStor和原生块存储 作为原AWS核心架构师、S3、Glacier存储项目团队负责人，陈靓先生非常了解对象存储应对块数据需求的不足。...机缘巧合，2012年，陈靓应南京市政府的感召归国创业，创办了南京鹏云网络科技有限公司，并推出了从最底层开始研发的ZettaStor DBS软件定义分布式存储系统，提出了原生块存储的概念。...它是以裸设备方式直接管理底层硬盘，并整合成为块存储资源供上层应用来访问使用，由于并不存在对象存储的中间转换过程，因此能够实现低延迟的高I/O访问效率。 ?...对于原生块存储、非原生块存储，测试和验证将是一个非常重要的方法。但是在测试过程中，也应该结合实际，谨防被一些“猫腻”手段所蒙蔽。
是什么使对象存储更好地适应数据爆炸要理解对象存储所提供的好处，必须首先了解文件存储和块存储的旧概念，因为它们之间有很大的差异。...文件、块和对象存储之间的区别 文件存储和块存储是在NAS和SAN存储系统上存储数据的方法。 在NAS系统上，它将其存储作为网络文件系统公开。...块存储的工作方式与此类似，但与在文件级管理数据的文件存储不同，数据存储在数据块中。几个块(例如在SAN系统中)构建一个文件。...一个块由一个地址组成，如果SAN应用程序对这个地址发出scsi请求，那么它将获得这个块。存储应用程序然后决定数据块是否存储在系统中，以及存储在什么特定的磁盘或存储介质上。...最后如何组合这些块以及如何访问它们决定了存储应用程序。SAN中的块没有与存储系统或应用程序相关的元数据。换句话说:块是没有描述、关联和存储解决方案所有者的数据段。一切都由SAN软件处理和控制。
管理存储池 1.1 创建存储池 PG数量的预估 集群中单个池的PG数计算公式如下：PG 总数 = (OSD 数 * 100) / 最大副本数 / 池数 (结果必须舍入到最接近2的N次幂的值) #ceph...crush-ruleset-name] $ ceph osd pool create test_pool 512 512 replicated pool 'test_pool' created 1.2 删除存储池...ceph osd pool delete test_pool test_pool --yes-i-really-really-mean-it pool 'test_pool' removed 1.3 重命名存储池...管理块设备镜像 2.1 创建块设备镜像 #rbd create --size {megabytes} {pool-name}/{image-name}，如果pool_name不指定，则默认的pool是rbd...下面的命令将创建一个10GB大小的块设备： $ rbd create --size 10240 test_image -p test_pool 2.2 删除块设备镜像 #rbd rm {pool-name
现在，对于那些创建或消费数据的公司来说，处理数量巨大的生成数据是个非常大的挑战。而对于那些解决存储相关问题的科技公司来说，也是一个挑战。...块存储是数据存储的最古老形式，数据都存储在固定长度的块或多个块中。块存储适用于企业存储环境，并且通常使用光纤通道或 iSCSI 接口。...块存储在存储区域网和软件定义存储系统中是虚拟的，它是处于一个共享的硬件基础设施上的抽象逻辑设备，其创建和存在于服务器、虚拟服务器、或运行在基于像 SCSI、SATA、SAS、FCP、FCoE、或 iSCSI...Jean 说“块存储将单个的存储卷（如一个虚拟或云存储节点、或一个老式硬盘）分割成单独的被称为块的实体。”...一个对象就是与任何相关元数据配对的一个数据块，这些元数据提供对象中包含的字节的上下文（比如数据创建时间和数据大小等）。也就是说这两样东西 —— 数据和元数据 —— 构成了一个对象。
如果说对象存储Object Storage Service像云盘，而本文所说的块存储Block Storage是类似于机械硬盘、固态硬盘的“云硬盘”。...亚马逊方面在Elastic Compute Cloud (EC2)的实例的持久块存储称为Elastic Block Storage。...阿里云EBS是指为ECS云服务器提供的块设备，高性能、低时延，满足随机读写，可以像使用物理硬盘一样格式化、创建文件系统，可用于云硬盘、快照、模板。...在设计之初，主要关注的安全特性为： 存储空间由很多chunk（数据块）组成，分布式存储的方式使得某处chunk被窃取，也不会发生数据安全问题； 底层数据每个chunk通过三副本存储在集群中的不同节点上，...，而阿里云类似的共享块存储功能仍处于内部测试中，但是可以翻看API手册方便预测此类安全威胁。
byte，默认 4M--io-threads：线程数，默认 16--io-total：总写入字节，默认 1024M--io-pattern ：写模式，默认为 seq 即顺序写 只能对块设备做写测试...块大小 - 4k，16k，64k，256k5. 模式 - 读和写6....支持混合模式 3.2 测试结果比较 3.2.1 rados bench测试结果 客户端数 并发数 块大小 写测试 顺序读 随机读 单个客户端 30 4M 带宽：1119.68 MB/s 平均IOPS：...带宽：2238.71MB/s 平均IOPS：558 平均耗时：0.212s 带宽：2237.01MB/s 平均IOPS：558 平均耗时：0.212s 3.2.2 rbd测试结果 客户端数 并发数 块大小
该示例将使用其他过程名称创建与上述相同的存储过程。...4.运行存储过程 EXECUTE HumanResources.uspGetEmployeesTest2 N'Ackerman', N'Pilar'; -- Or EXEC HumanResources.uspGetEmployeesTest2
承接上文，块存储的CSI要比对象存储复杂一些，但总的处理逻辑还是一致的。...下面是CSI插件与后端存储(fusionstorage)交互用到的配置文件。...其中pools为事先创建好的存储池，parameters为所有k8s的node节点的hostname:ip对，用于执行attach块存储操作。...整体挂载流程为：在后端存储创建一个卷(如果不存在)，并将其attach到node节点的/dev目录下；由于容器挂载了/dev目录，在容器中直接格式化该块存储并挂载到/var/lib/kubelet中的pod...创建并挂载卷的调用过程如下(下载)： ?
] 0.测试环境 1.理论性能 2.fio 测试 3.真实环境性能 4.全球下载测试 5.Hetzner Cloud 性能测试 5.总结 Hetzner 本月大幅下调了旗下 Storage Box 存储块服务的价格...相比之下老司机最喜欢的 Buyvm 1TB 存储块按照支付宝加元结算也需要 3.45 欧元，且必须配合 Buyvm 自家 VPS 才能够使用。...Hetzner 的存储块服务目前支持以 FTP，SCP，Samba，rsync，WebDAV 等协议对接，但略显遗憾的是不支持 Amazon S3 。...4.全球下载测试 通过 https 协议下载存储块中的文件（单线程，200M） 地区 速度（MB/s） 荷兰 Alwyzon 12.8 德国 Webhosting24 52.7 英国 Bluevps 22.3...5.总结 除了极高的性价比之外，Hetzner Storage Box 存储块服务在欧洲地区也表现出了非常不错的可用性，其读写性能足以满足备份和冷数据存储的需要。
ceph块存储 ceph块设备，以前称为RADOS块设备，为客户机提供可靠性、分布式和高性能的块存储磁盘。RADOS块设备利用librbd库并以顺序的形式在ceph集群的多个osd上存储数据块。...安装ceph块存储客户端 创建ceph块客户端用户名和认证密钥 [ceph-admin@ceph-node1 my-cluster]$ ceph auth get-or-create client.rbd...pools, 0 pgs objects: 0 objects, 0B usage: 9.06GiB used, 171GiB / 180GiB avail pgs: 客户端创建块设备及映射...创建rbd池 [ceph-admin@ceph-node1 my-cluster]$ ceph osd lspools [ceph-admin@ceph-node1 my-cluster]$ ceph...pool create rbd 128 pool 'rbd' created [ceph-admin@ceph-node1 my-cluster]$ ceph osd lspools 1 rbd, 客户端创建块设备
可靠性：存储机制先进，分片存储可确保多节点数据均衡。 高可用：支持跨可用区和跨地域的集群复制，方便做异地灾备以及多地系统数据同步。 为什么要做弹性存储？...全新上线的弹性存储能力 为满足不同使用场景下的用户需求，Pulsar 专业集群推出了「固定并发规模 + 弹性存储」的全新产品形态，保证在技术架构稳定领先的前提下，也可为用户减少存储成本。...弹性存储和固定存储具体的功能差异对比如下： 对比项 专业集群 弹性存储 专业集群 固定存储 实例类型 计算层物理隔离，存储层共享 物理隔离 面向客群和场景 头部客户，对于稳定性和资源隔离性要求高、业务流量大的生产环境...TDMQ Pulsar 版专业集群（弹性存储），对存储实行线性计价（单位：元/GB/小时）。存储费用 = 消息存储大小 × 存储单价 × 时长。...， 弹性存储的能力和应用场景，以及售卖策略。
背景 Openstack不管是Ephemeral Storage还是Block Storage, 其实从接口上看，其实都是块服务。...那么为什么要搞两个不同的类型呢，本文从这两种不同类型块存储的实现上来分析下其中的原因。 临时存储 Openstack临时存储是由Nova提供的，主要是利用主机的本地存储给虚拟机提供卷服务。...如果虚拟机被删除了，挂在这个虚拟机上的任何临时存储自动释放。...块存储 目前Openstack的块存储由Cinder提供，其后端支持很多类型的存储设备，比如多个厂商不同型号的阵列设备，或者是Ceph, Glusterfs, Sheepdog之类的分布式存储系统。...基于块存储，可以为用户提供： 高可靠的存储（基于阵列的RAID, 或者是分布式存储的多副本机制；甚至还可以充分利用设备的备份，远程复制能力） 共享存储 （意味着可以支持HA, 虚拟机迁移等等） 临时存储的妙用
Block Devices（块存储） 图片 在 Rook 中，块存储有两种存储类型：副本存储和纠删码存储。...每个 CephBlockPool 都对应一个特定的存储后端，用于提供块存储服务。通过创建不同的 CephBlockPool，可以为不同的应用程序提供不同的存储配置和性能要求。...其中 provisioner 指定使用的 CSI 驱动程序名称，pool 指定使用的 Ceph 块存储池名称，imageFormat 指定创建块设备时要使用的映像格式，imageFeatures 指定要启用的块设备特性...块存储池是一个逻辑卷，可以在其中创建块设备。删除块存储池将确保不再创建新的块设备。...存储类指定了用于存储数据的存储类型和属性。删除存储类将确保不再创建新的 Rook 存储卷。 需要注意的是，这4个命令需要按照指定的顺序执行，以确保完全卸载 Rook 块存储。
一是很容易水平扩展：我们只需要从相同的一个镜像创建多个容器即可， 每个容器都将拥有独立的文件系统。二是升级容易：只要从新的镜像创建新的容器即可，而无需关心原地升级。...动态性 容器应用是在持续变动中存在的，例如新版本的发布、滚动更新、测试版本的创建等等。在这样的应用特点需求下，要求对应存储的创建与删除也相应的是动态的，并且是支持声明式创建的方式。...如果您看过Kubernetes社区的存储支持列表，会发现里面有众多的存储实现，但我们可以分为如下的三类： 纵然有如此多的容器存储列表，又有如此多的存储分类，到底哪种存储应该成为容器存储的最佳选择呢，我们从容器应用的类型来逐步分析...Server等大型数据库，因为即使技术能够满足，客户能否接受还需要时间考量，对于MySQL以及其它同类型中间件而言，从我们实际测试的效果看，YRCloudFile文件系统支持MySQL容器应用的性能，并不比块存储作为...在这些场景下，文件数量可达到几十亿规模，块存储的能力将变得有局限。
目录 Ceph 存储介绍 环境、软件准备 Ceph 块设备 Ceph 文件系统 Ceph 对象存储 1、Ceph 存储介绍 Ceph 是一个开源的分布式存储系统，包括对象存储、块设备、文件系统。...同时该模块通过 LIBRADOS 的公共库对外提供存储服务，如对象存储、块设备存储。 通过官网文档 Ceph 体系结构 中的图片可以很清楚的了解 Ceph 存储体系。这里就不一一阐述各个组件了。 ?...2、环境、软件准备 要使用 Ceph 存储体系中的块设备、文件系统以及对象存储，必须保证已完成 Ceph 存储集群的搭建，并且保证 Ceph 存储集群处于 active + clean 状态。...3、Ceph 块设备 Ceph 块设备也可以简称为 RBD 或 RADOS 块设备，不过我们还是习惯叫 RBD，官网文档中指出不能在与 Ceph 存储集群（除非它们也用 VM ）相同的物理节点上执行使用...1、首先在 admin-node 节点上创建一个块设备镜像 image。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
