首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

存储硬核技术内幕——(35)

常见的Ceph RBD和腾讯的CBS驱动就是这种工作方式,在虚拟机中可以看到存储卷/dev/vd*,就是Frondend驱动识别出来的虚拟卷设备; 硬件虚拟化,让PCIe设备支持SR-IOV,虚拟化为多个设备...,这种工作方式常见于网卡(NIC),对于存储设备很少见。...我们刚才提到,在KVM虚拟出的虚拟机中,挂载的存储卷的设备名一般为vd*, 如vda, vdb, vdc... 而挂载在本地的硬盘设备名一般为sda, sdb......SPDK在后端通过轮询机制,读取Frontend驱动向队列中写入的SCSi命令字,并且利用零拷贝技术消除VirtIO的性能卡点。...对于分布式块存储的场景,有没有好的办法让虚拟机访问远端盘也取得同样的加速效果呢? 请看下回分解。

70210
您找到你想要的搜索结果了吗?
是的
没有找到

腾讯弹性块存储技术解密

[1501466823180_1478_1501466824713.jpg] 作者介绍:Yh, 2010年加入腾讯,有12年的存储经验,在弹性块存储技术方面经验丰富,本文将其在TEG TALK上的分享内容进行整理...,干货满满,内容包含腾讯云云硬盘产品(CBS)的后台系统的演进历程、核心技术以及大道至简的方法论。...Chunk,提供3副本存储存储引擎。 Master,总控节点,多机互备提供高可用性。 两层架构的CBS3.0的技术难题? 一、数据组织:数据按什么样的数据结构存在后台分布式系统中。...四、数据多副本:作为一个高可靠性的存储系统,CBS三副本数据存储在不同机架的服务器上。 五、故障恢复:海量存储中,硬件故障是一种常态,怎么在故障中快速恢复服务和数据。...六、数据迁移:设备异常时或者集群扩容时,怎么讲数据从一个服务器迁移到另一个服务器

13.2K32

存储硬核技术内幕——(10)

在前几期,我们提到了,在计算时代,由于对存储IO及吞吐的要求迅速增加,传统SAN存储难以满足需求,基于标准x86节点的分布式存储成为了主流。 开源分布式存储的代表是Ceph。...服务器:硬盘怎么突然不在线了? 出于这点考虑,工程师们在服务器上安装了两块硬盘,通过RAID卡,让来自系统的IO被复制到两块硬盘,令两块硬盘存储的内容完全一致。...这种冗余技术叫做RAID-0。 但是,RAID-0有一个致命缺陷:在用新的硬盘替换掉损坏的硬盘的时候,需要将好的那块硬盘内容完全复制一份到新的硬盘,这个过程叫重构,将持续几个小时。...假设Ceph集群由6台服务器构成,其中每台有12块SATA机械盘,单盘IO能力为150 IOPS,那么,我们可以计算出,整个集群有72个OSD,总体IO能力为 150 * 72 / 3 = 3600...如果6台服务器上,每台安装4块这样的NVMe盘,总的读IO能力可达3.6M IOPS,写能力可达640K IOPS。以70%读,30%写计算,IO能力约为1.5M IOPS。

70220

存储硬核技术内幕——(21)

上回说到,勤劳勇敢的中国人民,受到《康熙字典》中古老的智慧启发,在对象存储中引入了索引,帮助“觅影”产品快速地从对象存储中筛选出了带有covid-19和Sternum这两个标签的影像用于深度学习。...我们在上期提到,对象存储的metadata,实际上就是key-value的键值对形式的数据。 让我们举一个栗子。 Johnny同学搞到了一本《金瓶梅》,打算把它保存在对象存储里面。...实际上,绝大部分IaaS服务提供商实现的对象存储,都包括了类似的查询与索引功能。...以腾讯的COS (Cloud Object Storage)为例,可以设定用户自定义的x-cos-meta-[自定义后缀],来存储用户自行设定的metadata,并可以通过sql等方式查询metadata...当然,如果我们想把对象存储用于生产业务,仅仅提供基于http的RestAPI、一致性哈希、查询与存储功能,还是不够的。 请看下回分解。

1.5K40

存储硬核技术内幕——开篇

然而,由于大家不可能实时监测到群里所有图片,因此,大家打算众筹开发一个小程序,利用机器视觉(CV)来识别偶像和呕像,并委托方老师搞定运行小程序的资源。...X博:“若想训练电脑识别人脸,需要多给神经网络喂素材……” 原来,CV训练的过程,需要GPU集群做以下的事情: 读取海量的图片素材; 将训练的模型持久化存储; 回到1,迭代模型; 最后,将识别出的江疏影和方方的结果存放在结构化的数据库中...显而易见地,在上运行这个应用,需要提供以下的存储资源: 1、可高效访问海量的图片的存储; 2、可快速迭代的神经网络权重模型的持久化存储; 3、高性能随机读写的数据库存储; 那么,用什么样的存储技术...让我们开启新的专题——存储硬核技术内幕。

47710

存储硬核技术内幕——小结(中)

先回答在《存储硬核技术内幕——小结(上)》最后留下的三个问题: Q1、对于大量的小文件的存储,使用什么样的方案合适? A1、可以利用对象存储的热数据存储解决,使用三副本甚至五副本保证性能。...在这段时间里,我们小结了存储的基本知识、块存储和对象存储的基本实现,以及如何让块存储和对象存储计算的基本单位——虚拟机,提供存储服务。...最常见的分布式存储系统是Ceph。Ceph可以提供块存储、文件存储和对象存储三种服务方式。 传统的块存储,客户端(initiator)与服务器端(target)通过TCP协议通讯。...因此,各大运营商在借鉴Ceph的基础上,都自行开发了分布式存储引擎,如腾讯的CBS等,通过控制集群规模及引入原生仲裁等手段实现高可靠的块存储集群。...对象存储(Cloud Object Storage)就是完美适应这一场景的存储服务产品。 对象存储的访问方式是HTTP。

40320

存储硬核技术内幕——小结(下)

在这段时间里,我们小结了存储的基本知识、块存储和对象存储的基本实现,以及如何让块存储和对象存储计算的基本单位——虚拟机,提供存储服务。...最常见的分布式存储系统是Ceph。Ceph可以提供块存储、文件存储和对象存储三种服务方式。 传统的块存储,客户端(initiator)与服务器端(target)通过TCP协议通讯。...因此,各大运营商在借鉴Ceph的基础上,都自行开发了分布式存储引擎,如腾讯的CBS等,通过控制集群规模及引入原生仲裁等手段实现高可靠的块存储集群。...操作需要从用户态切换到内核态,造成昂贵的CPU时间用在等待中,Intel发布了SPDK (Storage Performance Develop Kit),以类似DPDK的机制,提供用户态驱动,轮询机制,内存零拷贝技术等机制...而在远端的分布式存储上,工程师们又利用NVMe Over Fabric技术,特别是NVMe Over RoCE的实现,将NVMe盘的性能发挥到极致。

62420

存储硬核技术内幕——小结(上)

在前段时间,我们介绍了存储的基本知识和Ceph的实现,在这里做一个小结: 在计算时代,由于需要访问存储的计算节点迅速增加,传统的FC网络扩展性能有限,同时,集中式存储控制器也难以应对无限扩展的计算节点的...最常见的分布式存储系统是Ceph。Ceph可以提供块存储、文件存储和对象存储三种服务方式。 传统的块存储,客户端(initiator)与服务器端(target)通过TCP协议通讯。...前期链接在这里: 存储硬核技术内幕——开篇 存储硬核技术内幕——(1) 马克思主义存储社会发展极简史 (上) 存储硬核技术内幕——(2) 马克思主义存储社会发展极简史 (中) 存储硬核技术内幕...——(3) 马克思主义存储社会发展极简史 (下) 存储硬核技术内幕——(4) 记忆的行囊 存储硬核技术内幕——(5) 七月上,不负勇往 存储硬核技术内幕——(6) 面壁十年 邃密群科 存储硬核技术内幕...——(7) 正趣果上果 存储硬核技术内幕——(8) 只缘身在此山中 存储硬核技术内幕——(9) 相见时难别亦难 存储硬核技术内幕——(10) 大叔的迷惑行为 存储硬核技术内幕——(11) 女子会所的秘密

92710

存储技术首次全景展现,7大技术趋势解读

首先,本书立体地展示了存储技术、产品和业务,既详实地阐述了存储关键技术和关键组件,也介绍了多种类型的存储产品,以及存储的典型行业和场景应用的解决方案。...面向未来,通过过去3年践行阿里的“向下做深基础”的战略,发展自研芯片、服务器、磁盘控制器、磁盘介质和高性能网络等技术,不断探索新的体系结构和软硬一体设计,为新的存储系统的演进打开了一扇门。...专家亲笔书评 本书系统地讲解了与存储相关的技术体系和技术细节,以及阿里存储的关键技术与组件,还对存储的未来进行了展望。...——孙凝晖 中国工程院院士,中国科学院计算技术研究所研究员 本书并不是一本仅讲述阿里存储技术细节的书,它还对存储技术的发展有着总体把握和深刻思考。...其中对数字经济底层范式和存储技术脉络的梳理,对数据“引力效应”的描述,对数据价值的分析,以及对存储技术未来走向的分析等内容,都会给读者带来启发和思考。

50720

如何基于Swift开源技术构建存储集群

随着计算、移动通信、IoT的发展,传统的块设备和文件系统的方式访问面临着越来越多的局限,对象存储应运而生。对象存储使得应用或端设备直接通过web或http访问数据成为可能。...本文介绍如何基于开源的Swift对象存储技术设计并构建一套海量、安全、高可靠、低成本的存储集群。 构建之前 在进行正式的设计和构建之前,一定要清楚存储系统的使用场景并且明晰存储的需求。...目前存储主要适用于以下场景: 提供企业内部使用的盘及文件共享等服务; 备份和归档 作为公有厂商提供存储服务 作为私有的一部分,提供存储 针对具体的场景,我们可以从以下两个方面考虑具体的需求:...1)服务器选型 一个典型的Swift存储集群中,至少包含两种节点:存储节点和代理节点。选择服务器无非考虑硬盘、CPU、内存及网卡。...我们在选择存储节点时往往首先考虑硬盘,然后结合CPU、内存的需求,来决定服务器的选型及服务器的数量。

84020

私有存储的四种技术分析

一、本地磁盘(DAS存储) 我们直接在服务器(物理机中)通过PCI-E、SATA、SAS等本地接口挂上一块高速、大容量硬盘,为本地磁盘。在接口中,以SCSI存储协议为主要的通信协议。...在环境中,本地磁盘主要有两个用途:1、为宿主机安装linux宿主机操作系统及管软件(Xen、Kvm等)。2、为要求高性能的应用提供底层存储,如oracle。...三、NAS网络存储 用过windows网络存储的朋友不会陌生,通过CIFS、NFS等网络共享协议将本地的数据存储到远端的NAS服务器。...四、ServerSAN ServerSAN也叫分布式存储,将若干个存储服务器形成集群,对外提供SAN服务。 ServerSAN在目前的公有环境中,有得特别多。...目前在公有环境中,块存储实际就是采用该存储方案。如果用户在原私有采用挂SAN的LUN方式进行存储,到公有后仍建议客户采用块存储方式解决存储需求。 ?

4.8K21

存储硬核技术内幕——(29) 供给侧改革

在上期,我们提到了,在kubernetes中,静态PV/PVC的存储分配方式,会在造成资源浪费的同时,很大一部分Pod的存储需求得不到满足。...StorageClass是一种对存储资源的抽象定义,提供了存储资源的动态供给模式。 让我们再看看前文中的栗子。...有3个Pod,叫做Pod A,Pod B和Pod C,分别通过PVC申请了3GiB, 2GiB和 5GiB的存储,并指定存储卷分别来自AWS-ebs(AWS提供的块存储服务),RBD(前文提到过的Ceph...)等数十种存储提供者。...但是,如果其他存储系统不支持这一参数呢? 这个问题将留到后面解答。 另外一个问题是,如果我们期望把不在上述列表中的存储提供者也接入storageclass,有没有办法实现呢?

37850

存储硬核技术内幕——(17) 极乐鸟

在上期提到,对象存储作为低成本,接口通用开放,可远程访问的一种新型存储形式,得到了广泛的应用,而AWS的S3(Simple Storage Service)也成为了对象存储的事实标准。...然而,AWS的对象存储,并不能部署在私有化环境中。对于安全要求高的系统,如医院PACS影像系统等,就不适合使用AWS的公有对象存储服务。 怎么办呢?...鲁迅说过,对于难以解决的技术问题,可以跟随方老师读一段诗或者散文,就可以解决了。 极乐鸟 传说中有一种极乐的鸟, 它用尽一生唱出最美的歌; 歌声穿过大海飞呀飞, 给人们带来清新与欢乐。...最简单的实现可以基于nginx或apache httpd的Web服务器改造而成。 然而,如果我们需要1PB的存储容量,20000 QPS/20Gbps的性能,该怎么办呢?...解决方案A:市场上高端FC SAN存储一般也支持S3协议,可以购置昂贵的集中式专用存储设备,通过开历史倒车的方式解决这个问题; 解决方案B:顺应历史潮流,使用分布式存储来实现对象存储

43220

存储硬核技术内幕——(4) 记忆的行囊

在前三期,我们借鉴社会生产力与生产关系的发展历史,小结了一下存储技术的发展: 内置磁盘存储(原始社会)-> DAS存储(奴隶制社会)-> SAN存储(封建社会)-> NAS存储(资本主义社会)-> 基于以太网...+IP的分布式存储 (社会主义社会)-> NVMe固态+SPDK (共产主义社会) 附上前三期链接: 存储硬核技术内幕——(1) 马克思主义存储社会发展极简史 (上) 存储硬核技术内幕——(2) 马克思主义存储社会发展极简史...(中) 存储硬核技术内幕——(3) 马克思主义存储社会发展极简史 (下) 方老师有个迷妹叫子虚,喜欢研究计算技术,创作歌曲和去旅行。...原来,想让上的虚拟机带着持久化记忆自由迁移,需要把持久化存储盘放到共享的资源池中,再把资源池上的LUN挂载到虚拟机上,当VM发生迁移的时候,在新的宿主机上仍然可以挂载LUN。...由于计算技术演进到社会主义时代的水平扩容需求,FC SAN Switch显然无法满足数百台宿主机节点的要求——光纤导向器没那么多物理端口,集中式FC SAN存储也没有那么高性能。

83010

关于应对混合存储若干技术挑战的思考

改用混合存储模式有助于应对安全和合规方面的问题,但随之带来了诸如数据同步和广域网延迟之类的问题。 数据安全和合规问题帮助促使企业对混合而不是纯公有或纯私有解决方案产生兴趣。...在这种混合模式下,公司的一部分数据驻留在私有上,一部分数据驻留在公有上,而大部分数据驻留在私有云和公有上。 然而,混合存储方案也有其问题。虽然它确实有助于应对合规问题,但是无法消除合规问题。...压缩和缓存的好处取决于具体的使用场合,但通常而言压缩可以实现耗用带宽缩减约6倍(云端的存储数据也可以缩减约6倍),同时缓存通常可以将流量减少约4倍。...主机托管的私有存储可以在一定程度上缓解广域网带宽问题,存储池位于电信公司的设施,并由专用链路连接到公有。但是通向私有的连接仍然速度偏慢,所以光纤到电信公司的连接依然是个问题。...在某个时刻,纯公有解决方案很吸引人。从技术的角度来看,最合适的主机托管就是放在公有提供商的内部,而这有可能连接纯公有解决方案。

1.8K70

服务器硬盘存储路径怎么修改 上传到的方式

如果在自己的电脑上操作,相信很多人是没有问题的,只要在下载的时候选择更改,或者是利用磁盘管理器等方式就能改了,但服务器硬盘存储路径怎么修改就没有那么容易了。...服务器硬盘存储路径怎么修改 当下企业应用服务器的现象还是比较普遍的,而且以后也会有更多的用户加入这个行列,所以服务器硬盘存储路径怎么修改在办公过程中也算是一个必备的技巧,有利于工作的开展和进行。...盘是可以挂载在服务器上的,有的还自带盘,所以操作起来大同小异,可以找到硬盘的设置页面,找到跟传输相关的选项,虽然就可以更改下载文件的位置了,选择指定的存储地址即可。...上传到的方式 服务器硬盘存储路径怎么修改其实也并不算困难,而在远程桌面连接的情况下,还可以选择把文件上传到服务器,保存在硬盘之中。...以上就是关于服务器硬盘存储路径怎么修改的,重要的数据资料保存在哪里是一定要了如指掌的,所以可以通过修改路径来实现文件的存储和管理。

10.5K40
领券