常见的Ceph RBD和腾讯云的CBS驱动就是这种工作方式，在虚拟机中可以看到存储卷/dev/vd*，就是Frondend驱动识别出来的虚拟卷设备； 硬件虚拟化，让PCIe设备支持SR-IOV，虚拟化为多个设备...，这种工作方式常见于网卡(NIC)，对于存储设备很少见。...我们刚才提到，在KVM虚拟出的虚拟机中，挂载的云存储卷的设备名一般为vd*, 如vda, vdb, vdc... 而挂载在本地的硬盘设备名一般为sda, sdb......SPDK在后端通过轮询机制，读取Frontend驱动向队列中写入的SCSi命令字，并且利用零拷贝技术消除VirtIO的性能卡点。...对于分布式块存储的场景，有没有好的办法让虚拟机访问远端云盘也取得同样的加速效果呢？ 请看下回分解。
在前几期，我们提到了，在云计算时代，由于对存储IO及吞吐的要求迅速增加，传统SAN存储难以满足需求，基于标准x86节点的分布式存储成为了主流。 开源分布式存储的代表是Ceph。...Ceph本质上是对象存储(后面会讲到)，以image的形式提供RBD块，在KVM的QEMU中安装RBD块驱动，将RBD块直接挂载给虚拟机。...出于这点考虑，工程师们在服务器上安装了两块硬盘，通过RAID卡，让来自系统的IO被复制到两块硬盘，令两块硬盘存储的内容完全一致。当一块硬盘损坏或被意外拔出时，另一块硬盘还能够读出完整的数据。...这种冗余技术叫做RAID-0。 但是，RAID-0有一个致命缺陷：在用新的硬盘替换掉损坏的硬盘的时候，需要将好的那块硬盘内容完全复制一份到新的硬盘，这个过程叫重构，将持续几个小时。...因此，在分布式存储中，通常使用多副本机制，最常见的是三副本： 如图，PG落到主OSD后，主OSD所在的Node会将内容复制到另外两个副本对应的OSD节点，并最终落盘。
[1501466823180_1478_1501466824713.jpg] 作者介绍：Yh， 2010年加入腾讯，有12年的存储经验，在弹性块存储技术方面经验丰富，本文将其在TEG TALK上的分享内容进行整理...，干货满满，内容包含腾讯云云硬盘产品（CBS）的后台系统的演进历程、核心技术以及大道至简的方法论。...用户只需要在腾讯云上购买一台云主机，就可以方便的使用腾讯云硬盘。 如何实现云硬盘（弹性块存储）系统？...它由接入系统和存储系统两个分布式集群组成；而腾讯云硬盘是个存储系统，接入是为了支撑存储的存在而存在的。...Chunk，提供3副本存储的存储引擎。 Master，总控节点，多机互备提供高可用性。 两层架构的CBS3.0的技术难题？ 一、数据组织：数据按什么样的数据结构存在后台分布式系统中。
然而，由于大家不可能实时监测到群里所有图片，因此，大家打算众筹开发一个小程序，利用机器视觉（CV）来识别偶像和呕像，并委托方老师搞定运行小程序的云资源。...X博：“若想训练电脑识别人脸，需要多给神经网络喂素材……” 原来，CV训练的过程，需要GPU集群做以下的事情： 读取海量的图片素材； 将训练的模型持久化存储； 回到1，迭代模型； 最后，将识别出的江疏影和方方的结果存放在结构化的数据库中...显而易见地，在云上运行这个应用，需要云提供以下的存储资源： 1、可高效访问海量的图片的存储； 2、可快速迭代的神经网络权重模型的持久化存储； 3、高性能随机读写的数据库存储； 那么，用什么样的存储技术...让我们开启新的专题——云存储硬核技术内幕。
上回说到，勤劳勇敢的中国人民，受到《康熙字典》中古老的智慧启发，在对象存储中引入了索引，帮助“觅影”产品快速地从对象存储中筛选出了带有covid-19和Sternum这两个标签的影像用于深度学习。...老师发现了Johnny的异常行为，点了Johnny的名，让他回答问题： “刀是什么样的刀？” “金丝大环刀！” “剑是什么样的剑？” “洗浴大宝剑！” “啪！”...实际上，绝大部分IaaS云服务提供商实现的对象存储，都包括了类似的查询与索引功能。...以腾讯云的COS (Cloud Object Storage)为例，可以设定用户自定义的x-cos-meta-[自定义后缀]，来存储用户自行设定的metadata，并可以通过sql等方式查询metadata...当然，如果我们想把对象存储用于生产业务，仅仅提供基于http的RestAPI、一致性哈希、查询与存储功能，还是不够的。 请看下回分解。
如今，医疗机构可以使用云计算技术这种协作方式有效处理和交付数据，并将数据分析成有意义的信息，这可以缓解挑战。...通过使用云计算服务，医疗机构只需为使用的资料和服务支付费用，例如存储、应用程序和基础设施服务。 云计算对医疗行业的另一个重要优势是灵活性，因为提供商可根据需要扩大或缩小资源。...以英国国家医疗服务体系(NHS)为例，由于人口老龄化和需要医疗创新，患者数量创历史新高并不是什么秘密，而且这种情况只会进一步加剧。...这意味着英国国家医疗服务体系(NHS)可以实施基于云计算的数字技术，这既有利于工作人员，也有利于患者。...但是最终，医疗机构不能孤立地实施以云计算为中心的文化转移。为确保此类技术真正实现转型，组织可以将其部分IT需求外包给专家级外部提供商，这些提供商可以为公共和私营部门提供成功的尖端技术解决方案。
先回答在《云存储硬核技术内幕——小结(上)》最后留下的三个问题： Q1、对于大量的小文件的存储，使用什么样的方案合适？ A1、可以利用对象存储的热数据存储解决，使用三副本甚至五副本保证性能。...在这段时间里，我们小结了云存储的基本知识、块存储和对象存储的基本实现，以及如何让块存储和对象存储为云计算的基本单位——虚拟机，提供存储服务。...在云计算时代，由于需要访问存储的计算节点迅速增加，传统的FC网络扩展性能有限，同时，集中式存储控制器也难以应对无限扩展的计算节点的IO请求，因此，需要构建分布式的存储系统，利用分布式的存储节点扛住海量的并发存储请求...因此，各大云运营商在借鉴Ceph的基础上，都自行开发了分布式存储引擎，如腾讯云的CBS等，通过控制集群规模及引入云原生仲裁等手段实现高可靠的块存储集群。...云对象存储(Cloud Object Storage)就是完美适应这一场景的存储服务产品。 对象存储的访问方式是HTTP。
在这段时间里，我们小结了云存储的基本知识、块存储和对象存储的基本实现，以及如何让块存储和对象存储为云计算的基本单位——虚拟机，提供存储服务。...因此，各大云运营商在借鉴Ceph的基础上，都自行开发了分布式存储引擎，如腾讯云的CBS等，通过控制集群规模及引入云原生仲裁等手段实现高可靠的块存储集群。...云对象存储(Cloud Object Storage)就是完美适应这一场景的存储服务产品。 对象存储的访问方式是HTTP。...操作需要从用户态切换到内核态，造成昂贵的CPU时间用在等待中，Intel发布了SPDK (Storage Performance Develop Kit)，以类似DPDK的机制，提供用户态驱动，轮询机制，内存零拷贝技术等机制...而在远端的分布式存储上，工程师们又利用NVMe Over Fabric技术，特别是NVMe Over RoCE的实现，将NVMe盘的性能发挥到极致。
在前段时间，我们介绍了云存储的基本知识和Ceph的实现，在这里做一个小结： 在云计算时代，由于需要访问存储的计算节点迅速增加，传统的FC网络扩展性能有限，同时，集中式存储控制器也难以应对无限扩展的计算节点的...最常见的分布式存储系统是Ceph。Ceph可以提供块存储、文件存储和对象存储三种服务方式。 传统的块存储，客户端(initiator)与服务器端(target)通过TCP协议通讯。...前期链接在这里： 云存储硬核技术内幕——开篇 云存储硬核技术内幕——(1) 马克思主义存储社会发展极简史 (上) 云存储硬核技术内幕——(2) 马克思主义存储社会发展极简史 (中) 云存储硬核技术内幕...——(3) 马克思主义存储社会发展极简史 (下) 云存储硬核技术内幕——(4) 记忆的行囊 云存储硬核技术内幕——(5) 七月上，不负勇往 云存储硬核技术内幕——(6) 面壁十年 邃密群科 云存储硬核技术内幕...——(7) 正趣果上果 云存储硬核技术内幕——(8) 只缘身在此山中 云存储硬核技术内幕——(9) 相见时难别亦难 云存储硬核技术内幕——(10) 大叔的迷惑行为 云存储硬核技术内幕——(11) 女子会所的秘密
这一现象将导致云计算市场变得越来越中心化，一些矛盾和问题被加剧，如：缺乏能够有效应对数据泄露的、真正值得信赖的存储设施；成本垄断；市场对数字化需求不断上升；有能力支持云计算的硬件设备变得稀缺，反过来又造成材料成本和电力成本增...安全高效的云计算解决方案应运而生 为了应对数字货币市场的迅猛增长速度，彻底改变云计算行业，让每一个人都能从共享资源中获利，一些大规模的去中心化处理和存储平台已经被构建出来。...不仅如此，通过利用数据中心、计算机和智能设备中没有使用的存储容量，这类平台还创建出了去中心化云存储。...值得一提的是，这类专利技术与其他同类项目有着很大区别，使用此类技术，甚至可以无缝满足最严格的监管要求，并显著降低数据泄露风险，完成他们的核心愿景——解决云计算行业中一些最紧迫的问题，成为处理敏感信息的新标准...通过开发一个个功能齐全的平台，实现使用更少成本提升计算处理能力和存储容量，颠覆当前云计算细分市场，以低成本为用户提供完全去中心化且高度安全的云计算解决方案。
如何针对不同的行业给出最合适的解决方案？ …… 这些都是云存储系统要解决的问题！ 阿里云存储团队编写的《云存储：释放数据无限价值》一书便回答了以上问题！...2020 年，阿里云存储团队发布了 3 万多字的云存储行业白皮书，并邀请了多位行业学者和专家予以斧正，白皮书发布后得到了专家和市场的认可。...首先，本书立体地展示了云存储的技术、产品和业务，既详实地阐述了存储关键技术和关键组件，也介绍了多种类型的云存储产品，以及云存储的典型行业和场景应用的解决方案。...——谢长生 中国计算机行业协会信息存储与安全专业委员会会长，华中科技大学武汉光电国家研究中心教授 阿里云存储团队撰写的这本书系统地梳理并总结了存储技术的发展与应用方向，回顾了阿里云存储十几年的发展历程与经验...我们相信，阿里云存储将不断突破创新，为行业、为产业、为社会提供更有价值的新基础设施底座。
私有云项目中，将面临选择存储方案，在业内常见有四种方案，也相应针对四种不同的应用场景。我们从简单到复杂，为大家再次介绍一下。...一、本地磁盘（DAS存储） 我们直接在云服务器（物理机中）通过PCI-E、SATA、SAS等本地接口挂上一块高速、大容量硬盘，为本地磁盘。在接口中，以SCSI存储协议为主要的通信协议。...在云环境中，本地磁盘主要有两个用途：1、为云宿主机安装linux宿主机操作系统及云管软件（Xen、Kvm等）。2、为要求高性能的应用提供底层存储，如oracle。...四、ServerSAN ServerSAN也叫分布式存储，将若干个存储服务器形成集群，对外提供SAN服务。 ServerSAN在目前的公有云环境中，有得特别多。...目前在公有云环境中，块存储实际就是采用该存储方案。如果用户在原私有云采用挂SAN的LUN方式进行存储，到公有云后仍建议客户采用块存储方式解决存储需求。 ?
随着云计算、移动通信、IoT的发展，传统的块设备和文件系统的方式访问面临着越来越多的局限，对象存储应运而生。对象存储使得应用或端设备直接通过web或http访问数据成为可能。...其次，由于对象存储的分布式存储的特点，天然地适合于大规模非结构化数据的存储的应用场景，如备份、归档、文件共享等。...本文介绍如何基于开源的Swift对象存储技术设计并构建一套海量、安全、高可靠、低成本的云存储集群。 构建之前 在进行正式的设计和构建之前，一定要清楚存储系统的使用场景并且明晰存储的需求。...目前云存储主要适用于以下场景： 提供企业内部使用的云盘及文件共享等服务； 备份和归档 作为公有云厂商提供云存储服务 作为私有云的一部分，提供存储 针对具体的场景，我们可以从以下两个方面考虑具体的需求：...1）服务器选型 一个典型的Swift存储集群中，至少包含两种节点：存储节点和代理节点。选择服务器无非考虑硬盘、CPU、内存及网卡。
在云存储系列中，有很多产品可以供大家选择，它们中各有利弊，每个产品都有不同的优势。而对象存储和云硬盘则是其中非常常见的。两者之间是有一定差别的，也经常被拿来做对比。...那么，对象存储与云硬盘的区别是什么呢？下文会有一个详细介绍。 对象存储与云硬盘的区别是什么？ 1、对象存储一般可以单独使用，无需跟云主机进行组合搭配，而云硬盘则必须跟云主机同时使用，无法单独使用。...简单来说一个是局域网，一个是公网；一个是存储设备，一个就是一个云端硬盘。 云硬盘功能有哪些？ 1、存储功能是云硬盘基本的功能，类型也比较丰富，可以满足不同的存储需求。...用户可以通过监控对云硬盘当前的状态有一个清晰的了解。 对象存储与云硬盘的区别还是比较多的，它们是两种不同的数据存储方式。对于用户来说，可以根据自己的实际需求来选择适合自己的存储产品。...云硬盘可以实现的功能非常多，对象存储同样如此。上文对云硬盘的功能也做了介绍，如果想要了解关于对象存储的功能，可以继续浏览其他内容。
在上期，我们提到了，在kubernetes中，静态PV/PVC的存储分配方式，会在造成资源浪费的同时，很大一部分Pod的存储需求得不到满足。...StorageClass是一种对存储资源的抽象定义，提供了存储资源的动态供给模式。 让我们再看看前文中的栗子。...有3个Pod，叫做Pod A，Pod B和Pod C，分别通过PVC申请了3GiB, 2GiB和 5GiB的存储，并指定存储卷分别来自AWS-ebs(AWS提供的块存储服务)，RBD(前文提到过的Ceph...这个参数是什么意思呢？...但是，如果其他云存储系统不支持这一参数呢？ 这个问题将留到后面解答。 另外一个问题是，如果我们期望把不在上述列表中的存储提供者也接入storageclass，有没有办法实现呢?
关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说，分别做一句话直白解释就是：云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。...如果做一个更形象的解释，云计算相当于我们的计算机和操作系统，将大量的硬件资源虚拟化之后再进行分配使用;大数据则相当于海量数据的“数据库”。 大数据的总体架构包括三层：数据存储，数据处理和数据分析。...从存储层的搭建来说，关系型数据库，NoSQL数据库和hdfs分布式文件系统三种存储方式都需要。...在传统的云相关技术架构上，可以将hive，pig和hadoop-mapreduce框架相关的技术内容全部划入到数据处理层的能力。...大数据两大核心为云技术和BI，离开云技术大数据没有根基和落地可能，离开BI和价值，大数据又变化为舍本逐末，丢弃关键目标。简单总结就是大数据目标驱动是BI，大数据实施落地式云技术。
云技术是什么 云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。 ...云技术（Cloudtechnology）基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。...伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。...云存储技术的原理与架构解析 相对传统存储而言，云存储改变了数据垂直存储在某一台物理设备的存放模式，通过宽带网络（比如万兆以太网或Infiniband技术）集合大量的存储设备，通过存储虚拟化、分布式文件系统...与行业相比，IBM的“云+端”战略更加开放，在扩展性、兼容性、安全性以及分析能力等方面优势明显。
在前三期，我们借鉴社会生产力与生产关系的发展历史，小结了一下存储技术的发展： 内置磁盘存储（原始社会）-> DAS存储（奴隶制社会）-> SAN存储（封建社会）-> NAS存储（资本主义社会）-> 基于以太网...+IP的分布式存储 （社会主义社会）-> NVMe固态+SPDK （共产主义社会） 附上前三期链接： 云存储硬核技术内幕——(1) 马克思主义存储社会发展极简史 (上) 云存储硬核技术内幕——(2) 马克思主义存储社会发展极简史...(中) 云存储硬核技术内幕——(3) 马克思主义存储社会发展极简史 (下) 方老师有个迷妹叫子虚，喜欢研究云计算技术，创作歌曲和去旅行。...方老师没有说话，给了子虚一个空空的盒子，问子虚：“这是什么？” 子虚问：“这是盲盒吗？” 方老师说：“这是记忆。” 子虚问：“记忆呢？” 方老师笑了，指了指天。 子虚仰望天空，看见了一团团的白云。...由于云计算技术演进到社会主义时代的水平扩容需求，FC SAN Switch显然无法满足数百台宿主机节点的要求——光纤导向器没那么多物理端口，集中式FC SAN存储也没有那么高性能。
在上期提到，对象存储作为低成本，接口通用开放，可远程访问的一种新型云存储形式，得到了广泛的应用，而AWS的S3(Simple Storage Service)也成为了对象存储的事实标准。...然而，AWS的对象存储，并不能部署在私有化环境中。对于安全要求高的系统，如医院PACS影像系统等，就不适合使用AWS的公有对象存储服务。 怎么办呢？...鲁迅说过，对于难以解决的技术问题，可以跟随方老师读一段诗或者散文，就可以解决了。 极乐鸟 传说中有一种极乐的鸟， 它用尽一生唱出最美的歌； 歌声穿过大海飞呀飞， 给人们带来清新与欢乐。...解决方案A：市场上高端FC SAN存储一般也支持S3协议，可以购置昂贵的集中式专用存储设备，通过开历史倒车的方式解决这个问题； 解决方案B：顺应历史潮流，使用分布式存储来实现对象存储。...Swift是一个高效的，安全的和低成本的分布式对象存储系统。
改用混合云存储模式有助于应对安全和合规方面的问题，但随之带来了诸如数据同步和广域网延迟之类的问题。 数据安全和合规问题帮助促使企业对混合云而不是纯公有云或纯私有云解决方案产生兴趣。...在这种混合模式下，公司的一部分数据驻留在私有云上，一部分数据驻留在公有云上，而大部分数据驻留在私有云和公有云上。 然而，混合云存储方案也有其问题。虽然它确实有助于应对合规问题，但是无法消除合规问题。...压缩和缓存的好处取决于具体的使用场合，但通常而言压缩可以实现耗用带宽缩减约6倍(云端的存储数据也可以缩减约6倍)，同时缓存通常可以将流量减少约4倍。...主机托管的私有存储可以在一定程度上缓解广域网带宽问题，存储池位于电信公司的设施，并由专用链路连接到公有云。但是通向私有云的连接仍然速度偏慢，所以光纤到电信公司的连接依然是个问题。...在某个时刻，纯公有云解决方案很吸引人。从技术的角度来看，最合适的主机托管就是放在公有云提供商的内部，而这有可能连接纯公有云解决方案。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
