现有的存储系统经过长期发展，种类及其繁多，架构也各不相同，仅靠一文不可能讲得完全详尽。笔者试图在各个存储系统中，按照从底层到上层的思路，抽象出某些共性，也就是：物理层、协议层、架构层、连接层四个层次。...这种层次划分不一定对所有存储系统通用，但可以帮助初学者对市面上主流的存储技术架构建立一个大体的认识，接下来我们由下往上详细分析。 物理层： 顾名思义，就是用来存储数据的各种设备。...架构层： 在协议层，我们了解了存储设备是如何对使用者呈现数据的，再往上，我们需要考虑如何对各个服务器、机房、资源池进行管理，我们将这一层称为架构层，可分为集中式存储和分布式存储两种。...分布式存储是采用分布式架构的存储集群，将数据分布在不同物理位置，并通过网络把它连接起来。...以上分类仅是笔者的一家之言，读者不必将其理解为计算机网络那样层次分明的结构，实际上各类型数据存储技术仍在不断的完善和创新，以适应日益增长和不断变化的数据存储需求，形成了多层级、广泛覆盖的产品体系结构，本文更多意义上是提供了一个从不同视角去对众多存储系统进行分类的方法
通过提供更低的成本，更高的性能并减少数据的丢失，混合云可以帮助一些企业优化其分层存储系统。 分层存储架构并不是什么新鲜事。...这已经是多年来常见的一种做法，创建一个拥有主，次级和归档存储的系统，来保护企业的信息。然而，事实证明传统的分层存储模式和技术既昂贵又复杂。...该存储系统存储文件和应用程序的数据，并且应当是分层存储架构中性能最高的存储系统。 二级存储系统主要存放于公有云。...分层存储架构的优势和挑战 使用混合云的分层存储架构对企业有几个好处。首先，由于它建立了两个或三个不同价格和性能水平的存储系统，分层存储可以帮助开发人员和管理员创建应用程序特定的存储策略。...企业必须精心设计和规划他们的多层存储架构以及自动化过程。对系统进行测试以确保你的混合云分层存储系统是满足预期的。
常见的Ceph RBD和腾讯云的CBS驱动就是这种工作方式，在虚拟机中可以看到存储卷/dev/vd*，就是Frondend驱动识别出来的虚拟卷设备； 硬件虚拟化，让PCIe设备支持SR-IOV，虚拟化为多个设备...，这种工作方式常见于网卡(NIC)，对于存储设备很少见。...我们刚才提到，在KVM虚拟出的虚拟机中，挂载的云存储卷的设备名一般为vd*, 如vda, vdb, vdc... 而挂载在本地的硬盘设备名一般为sda, sdb......SPDK在后端通过轮询机制，读取Frontend驱动向队列中写入的SCSi命令字，并且利用零拷贝技术消除VirtIO的性能卡点。...对于分布式块存储的场景，有没有好的办法让虚拟机访问远端云盘也取得同样的加速效果呢？ 请看下回分解。
在前几期，我们提到了，在云计算时代，由于对存储IO及吞吐的要求迅速增加，传统SAN存储难以满足需求，基于标准x86节点的分布式存储成为了主流。 开源分布式存储的代表是Ceph。...Ceph本质上是对象存储(后面会讲到)，以image的形式提供RBD块，在KVM的QEMU中安装RBD块驱动，将RBD块直接挂载给虚拟机。...出于这点考虑，工程师们在服务器上安装了两块硬盘，通过RAID卡，让来自系统的IO被复制到两块硬盘，令两块硬盘存储的内容完全一致。当一块硬盘损坏或被意外拔出时，另一块硬盘还能够读出完整的数据。...这种冗余技术叫做RAID-0。 但是，RAID-0有一个致命缺陷：在用新的硬盘替换掉损坏的硬盘的时候，需要将好的那块硬盘内容完全复制一份到新的硬盘，这个过程叫重构，将持续几个小时。...因此，在分布式存储中，通常使用多副本机制，最常见的是三副本： 如图，PG落到主OSD后，主OSD所在的Node会将内容复制到另外两个副本对应的OSD节点，并最终落盘。
[1501466823180_1478_1501466824713.jpg] 作者介绍：Yh， 2010年加入腾讯，有12年的存储经验，在弹性块存储技术方面经验丰富，本文将其在TEG TALK上的分享内容进行整理...，干货满满，内容包含腾讯云云硬盘产品（CBS）的后台系统的演进历程、核心技术以及大道至简的方法论。...还有一个问题是高性能场景的使用性问题：在前边的架构图里可以看到，腾讯云硬盘的数据请求从用户到数据落地存储，经过了两个集群、四个层次，每一层的网络延时在几十个微秒级别，而这和作为高性能场景的存储介质SSD...两层架构的CBS3.0的技术难题？ 一、数据组织：数据按什么样的数据结构存在后台分布式系统中。 二、数据路由：怎么确定数据存放的位置。 三、路由同步：路由信息怎么在集群节点之间同步。...两层架构的CBS3.0已经上线，上线后普通云硬盘的成本降低46%；两层架构的CBS3.0提供了一个统一的平台，不仅支持通用的普通云硬盘，也支持高性能场景的高效云硬盘和SSD云硬盘。
然而，由于大家不可能实时监测到群里所有图片，因此，大家打算众筹开发一个小程序，利用机器视觉（CV）来识别偶像和呕像，并委托方老师搞定运行小程序的云资源。...X博：“若想训练电脑识别人脸，需要多给神经网络喂素材……” 原来，CV训练的过程，需要GPU集群做以下的事情： 读取海量的图片素材； 将训练的模型持久化存储； 回到1，迭代模型； 最后，将识别出的江疏影和方方的结果存放在结构化的数据库中...显而易见地，在云上运行这个应用，需要云提供以下的存储资源： 1、可高效访问海量的图片的存储； 2、可快速迭代的神经网络权重模型的持久化存储； 3、高性能随机读写的数据库存储； 那么，用什么样的存储技术...让我们开启新的专题——云存储硬核技术内幕。
上回说到，勤劳勇敢的中国人民，受到《康熙字典》中古老的智慧启发，在对象存储中引入了索引，帮助“觅影”产品快速地从对象存储中筛选出了带有covid-19和Sternum这两个标签的影像用于深度学习。...我们在上期提到，对象存储的metadata，实际上就是key-value的键值对形式的数据。 让我们举一个栗子。 Johnny同学搞到了一本《金瓶梅》，打算把它保存在对象存储里面。...实际上，绝大部分IaaS云服务提供商实现的对象存储，都包括了类似的查询与索引功能。...以腾讯云的COS (Cloud Object Storage)为例，可以设定用户自定义的x-cos-meta-[自定义后缀]，来存储用户自行设定的metadata，并可以通过sql等方式查询metadata...当然，如果我们想把对象存储用于生产业务，仅仅提供基于http的RestAPI、一致性哈希、查询与存储功能，还是不够的。 请看下回分解。
云数据管理架构包括本地、多云和云间部署，数据被分散部署在各种分布式部署环境中，企业需要平衡其中的风险和收益。云数据管理架构分为混合云、多云、互联云三种。混合云串联了本地和云两个环境。...混合云架构也分两种：主动型和按需型。主动型混合云顾名思义，可以主动管理本地和云端的数据。例如 DBMS 能够将一些副本、分区或分片驻留在本地，而将一些副本、分区或分片驻留在同一数据库的云中。...多云架构其实可以理解为在按需型混合云的基础上，有多个云提供服务。因此，也需要注意环境之间组件的兼容性。多云方案会吸引那些担心云供应商锁定的用户。...这些软件通常来自独立软件供应商 （ISV） ，因为 ISV 要确保其软件在尽可能多的环境中运行，而云供应商只需要考虑对自己的产品实现兼容。互联云架构是指跨多个云进行主动的数据管理。...互联云引入了新的复杂程度。例如，访问控制和身份管理可能难以统一，并且可能需要将此功能扩展到云对象存储、DBMS 或应用程序级别，而不是依赖于云供应商的服务。
一、云存储系统的优势 云存储系统底层存储基于对象存储存储资源 云存储资源访问完全兼容原有老图库访问规则 图片访问资源转换规则服务，基于动态弹性扩缩容相关部署，避免大流量访问带来的服务器压力 云存储访问资源...CDN资源子域名共享CDN缓存 二、云存储系统相关功能 三、云存储适用的场景 1.块存储 传统的文件系统，是直接访问存储数据的硬件介质的。...反过来，单个介质的容量、性能有限，可以通过某些技术手段把多个物理块设备组合成一个逻辑块设备，例如各种级别的RAID，JBOD，某些操作系统的卷管理系统（Volume Manager）如Windows的动态磁盘...这就是块存储，比较常见的块存储协议是iSCSI，SCSI,FC。 块存储读写速度最快，但查询速度最慢。（磁带机就是一种块存储设备）数据管理难度最高。 块存储是底层存储，直接写入或读取硬盘扇区（块）。...适用场景：各大公有云存储系统及网盘（OSS、S3、COS、七牛云对象存储），专业的存储系统，对存储量要求较高的大型存储系统，对高可用要求较高的存储系统，专业的企业网盘 目前开源的对象存储系统：MinIO
初始阶段 在介绍初始阶段的早期的小型图片服务器架构之前，首先让我们了解一下NFS技术，NFS是Network File System的缩写，即网络文件系统。...阿里云存储服务(OpenStorageService，简称OSS)，是阿里云对外提供的海量，安全，低成本，高可靠的云存储服务。...在以下图片云存储主要以阿里云的云存储OSS为切入点介绍，上图为OSS云存储的简单架构示意图。...真正意义上的“云存储”，不是存储而是提供云服务，使用云存储服务的主要优势有以下几点： 1)用户无需了解存储设备的类型、接口、存储介质等。 2)无需关心数据的存储路径。...从整个业界来看，最近这样的面向个人用户的云存储如国外的DropBox和Box.net非常受欢迎，国内的云存储目前比较不错的主要有七牛云存储和又拍云存储。
先回答在《云存储硬核技术内幕——小结(上)》最后留下的三个问题： Q1、对于大量的小文件的存储，使用什么样的方案合适？ A1、可以利用对象存储的热数据存储解决，使用三副本甚至五副本保证性能。...在这段时间里，我们小结了云存储的基本知识、块存储和对象存储的基本实现，以及如何让块存储和对象存储为云计算的基本单位——虚拟机，提供存储服务。...在云计算时代，由于需要访问存储的计算节点迅速增加，传统的FC网络扩展性能有限，同时，集中式存储控制器也难以应对无限扩展的计算节点的IO请求，因此，需要构建分布式的存储系统，利用分布式的存储节点扛住海量的并发存储请求...因此，各大云运营商在借鉴Ceph的基础上，都自行开发了分布式存储引擎，如腾讯云的CBS等，通过控制集群规模及引入云原生仲裁等手段实现高可靠的块存储集群。...云对象存储(Cloud Object Storage)就是完美适应这一场景的存储服务产品。 对象存储的访问方式是HTTP。
考虑到纵向扩展体系架构中可扩展性的限制，烟囱式架构往往难以管理，因此在陈旧的传统存储系统上也不太可能通过负载均衡来利用新的物理容量。...集成公有云 展望未来，世界并不只是由公有或私有化技术组成，还有许多两者的混合体。因此势必会有在私有和公有基础架构之间迁移数据和应用的需要，并由后者提供额外的数据保护（备份）并增加可用性。...同时，虚拟化技术供应商也开始与云服务供应商合作，以便将应用程序迁移到公有云。例如VMware最近在Amazon Web Services上宣布了VMware Cloud，并与IBM建立了合作伙伴关系。...VMware还引入了跨云平台的体系架构，可以管理多个云端部署的环境。...将来APPI将推动自动化并在存储配置中减少绝大多数的人工干预，使得私有云存储对更广泛的企业更加实用。 更广泛的堆栈 云存储，无论是内部还是公共的，构成了更广泛的基础架构的组成部分。
在前段时间，我们介绍了云存储的基本知识和Ceph的实现，在这里做一个小结： 在云计算时代，由于需要访问存储的计算节点迅速增加，传统的FC网络扩展性能有限，同时，集中式存储控制器也难以应对无限扩展的计算节点的...最常见的分布式存储系统是Ceph。Ceph可以提供块存储、文件存储和对象存储三种服务方式。 传统的块存储，客户端(initiator)与服务器端(target)通过TCP协议通讯。...前期链接在这里： 云存储硬核技术内幕——开篇 云存储硬核技术内幕——(1) 马克思主义存储社会发展极简史 (上) 云存储硬核技术内幕——(2) 马克思主义存储社会发展极简史 (中) 云存储硬核技术内幕...——(3) 马克思主义存储社会发展极简史 (下) 云存储硬核技术内幕——(4) 记忆的行囊 云存储硬核技术内幕——(5) 七月上，不负勇往 云存储硬核技术内幕——(6) 面壁十年 邃密群科 云存储硬核技术内幕...——(7) 正趣果上果 云存储硬核技术内幕——(8) 只缘身在此山中 云存储硬核技术内幕——(9) 相见时难别亦难 云存储硬核技术内幕——(10) 大叔的迷惑行为 云存储硬核技术内幕——(11) 女子会所的秘密
在这段时间里，我们小结了云存储的基本知识、块存储和对象存储的基本实现，以及如何让块存储和对象存储为云计算的基本单位——虚拟机，提供存储服务。...因此，各大云运营商在借鉴Ceph的基础上，都自行开发了分布式存储引擎，如腾讯云的CBS等，通过控制集群规模及引入云原生仲裁等手段实现高可靠的块存储集群。...云对象存储(Cloud Object Storage)就是完美适应这一场景的存储服务产品。 对象存储的访问方式是HTTP。...操作需要从用户态切换到内核态，造成昂贵的CPU时间用在等待中，Intel发布了SPDK (Storage Performance Develop Kit)，以类似DPDK的机制，提供用户态驱动，轮询机制，内存零拷贝技术等机制...而在远端的分布式存储上，工程师们又利用NVMe Over Fabric技术，特别是NVMe Over RoCE的实现，将NVMe盘的性能发挥到极致。
上篇文章介绍了云帮的设计思想，了解了产品设计思想之后咱们本篇文章开始介绍云帮的＃技术架构＃。 架构 云帮是按照面向服务的架构来设计的。目前大多数集群组件都是通过容器镜像的形式发布和运行的。...应用引擎将容器相关的操作都进行了封装，云帮通过抽象出了一个应用的概念来屏蔽底层所有与技术（容器、调度、网络……）相关的概念。...用户通过对应用进行属性和行为的设置来操作应用，通过应用与应用直接的依赖关系来进行微服务架构的设计。 技术架构 ?...后端服务 后端服务云帮集群的核心服务，包括Kubernetes、etcd、数据存储、日志处理、监控等。 ? 部署结构 ?...管理节点 云帮集群的管理服务都运行在管理节点的机器中，包括自动构建服务、容器调度、SDN网络管理、应用引擎、日志汇总与实时处理等等…… 分布式存储 存放应用持久化数据以及自动化构建所需要的公共文件。
最后，参与本书编写的 30 多位作者都是阿里云一线的研发工程师、产品经理、架构师，他们实实在在地描述了在真实的生产系统中，存储技术和产品是如何大规模落地的。...专家亲笔书评 本书系统地讲解了与存储相关的技术体系和技术细节，以及阿里云存储的关键技术与组件，还对云存储的未来进行了展望。...本书在具体介绍阿里云存储的技术和架构之前，介绍了一些基础性的技术知识，可使读者循序渐进地学习，大大增强了可读性。...——蒋江伟 阿里云高级研究员 作者简介 阿里云基础产品委员会主要负责阿里云的计算、存储、网络、安全、云原生、稳定性等产品技术架构设计与开发，权威定义了包括云存储在内的云计算产业标准。...本书福利：免费领取数字藏品 为了让读者更好地了解本书以及存储技术架构，阿里云存储依托蚂蚁链技术同期发行了同名数字藏品，限量2000个（现在还剩1490个）。
更新进度(共6节)： 01：项目技术选型简介，架构图解说明 02：业务架构设计，系统分层管理 03：数据库选型，业务数据设计规划 04：中间件集成，公共服务管理 05：SpringCloud 基础组件应用设计...06：通过业务、应用、存储、技术等，聊聊架构 一、架构的概念 ?...架构分类可细化的分为业务架构、应用架构、技术选型、代码规划、部署环境架构等。业务架构是核心的驱动力，应用架构是实现的思路，技术选型落地是结果。...数据架构是确定数据库模型的设计，不同业务场景下的数据可以选择不同种类的库来存储，例如搜索的数据可以使用ES，热点数据可以使用Redis，普通业务数据可以选择MySQL。 五、项目代码规划 ?...六、技术选型落地 选择合适的基础框架，数据库，中间件，基于项目的开发规范，把应用架构完整的实现，这样项目就很难走偏。
一、写在开头 vivo 云服务提供给用户备份手机上的联系人、短信、便签、书签等数据的能力，底层存储采用 MySQL 数据库进行数据存储。...随着 vivo 云服务业务发展，云服务用户量增长迅速，存储在云端的数据量越来越大，海量数据给后端存储带来了巨大的挑战。云服务业务这几年最大的痛点，就是如何解决用户海量数据的存储问题。...3、垂直分库、垂直分表 荆棘之路3：最初云服务各个模块的数据存储都冗杂在一起。...（下图为云服务当时的数据存储空间分布图） 第三、四板斧，垂直分库、垂直分表：我们将联系人数据、短信数据和其他模块数据进行存储解耦。将联系人数据、短信数据都单独拆分成库。...经过技术组沟通讨论，结合云服务联系人业务的自身特性（老用户的联系人数量基本上是稳定的，不会频繁的添加大量的联系人,老用户联系人数据增长的速率可控），我们最终采用了基于路由表的动态扩容方案。
随着云计算、移动通信、IoT的发展，传统的块设备和文件系统的方式访问面临着越来越多的局限，对象存储应运而生。对象存储使得应用或端设备直接通过web或http访问数据成为可能。...其次，由于对象存储的分布式存储的特点，天然地适合于大规模非结构化数据的存储的应用场景，如备份、归档、文件共享等。...本文介绍如何基于开源的Swift对象存储技术设计并构建一套海量、安全、高可靠、低成本的云存储集群。 构建之前 在进行正式的设计和构建之前，一定要清楚存储系统的使用场景并且明晰存储的需求。...目前云存储主要适用于以下场景： 提供企业内部使用的云盘及文件共享等服务； 备份和归档 作为公有云厂商提供云存储服务 作为私有云的一部分，提供存储 针对具体的场景，我们可以从以下两个方面考虑具体的需求：...2）存储架构设计 一个典型的Swift集群拓扑如下图。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
