作者简介：一名云计算网络运维人员、每天分享网络与运维的技术与干货。 ...座右铭：低头赶路，敬事如仪 个人主页：网络豆的主页 前言 本章将会讲解云计算中常见的存储类型 ---- 一.存储类型 现网中的存储设备为存储虚拟化的实现提供了资源基础。...常见的存储类型有： 本地磁盘 DAS NAS SAN ---- 1.本地磁盘 云计算虚拟化场景下的本地磁盘是指使用服务器本地的磁盘资源，经过RAID（磁盘阵列）化后提供给虚拟化平台进行使用。...Storage)网络附加存储：将分布、独立的数据进行整合，集中化管理，以便对不同主机和应用服务器进行访问的技术。...是一种高速的、专门用于存储操作的网络，通常独立于计算机局域网。
计算云存储成本似乎看起来很简单。当用户查看云计算供应商提供的存储服务的定价时，显而易见的成本是数据的存储成本。但是如果深入研究的话，就会发现与云存储成本相关的其他各种费用。...当用户查看云计算供应商提供的存储服务的定价时，显而易见的成本是数据的存储成本。但是如果深入研究的话，就会发现与云存储成本相关的其他各种费用。...云存储间接成本 上述直接云存储成本只是云存储总拥有成本的一部分。用户还必须考虑与设置和管理云存储相关的云存储间接成本。 这些云存储成本在很大程度上是无形的。用户无法像云存储直接成本那样确定地进行计算。...尽管如此，在考虑将数据存储在公共云中是否是正确选择时，用户应该评估最终要付出多少存储间接成本。 主要的云存储间接成本包括： 云计算数据监控：为了防止意外，监控基于云计算的数据至关重要。...尽管可能无法精确地量化这些类型的云存储成本，但是用户可以通过确定员工的工作时间和支出大致了解云存储的间接费用。使用该数字，以及用于管理云计算数据的许可软件工具的费用，可以计算出上述各种任务的成本。
作者简介：一名云计算网络运维人员、每天分享网络与运维的技术与干货。 ...座右铭：低头赶路，敬事如仪 个人主页：网络豆的主页 ---- 前言 本章将会讲解云计算中所需要的关键技术。...一.云计算关键技术 1.虚拟化技术 虚拟化是一种能够更有效地利用物理计算机硬件的过程，是云计算的基础。 虚拟化，将各种IT实体资源抽象，转换成另一种形式的技术都是虚拟化。...正符合云计算快速高效的处理海量数据的优势。在数据爆炸的今天这个技术至关重要，为保证数据资料的高可靠性。...云计算常用分布式数据存储的技术，将数据存储于不同物理设备中，不仅摆脱物理设备的限制，扩展性更好，满足快速响应用户需求的变化。 ---- （1）云计算的分布式存储与传统的存储是不同的。
术语“云存储”和“云计算”通常可以互换使用。也许有人会相信它们具有相同的含义，但这与事实相去甚远。尽管云计算和云存储有很多共同点，并且它们源自同一资源，但它们实际上是不同的概念。...它为您提供了几乎无限的数据存储空间。而且，它比传统的存储介质更便宜，更安全。难怪云存储正在迅速取代物理存储系统！ 云计算 您使用云存储来保存和保留数据。另一方面，云计算用于处理和完成指定的项目。...云计算与云存储相关联，因为您必须先将数据移至云（云存储），然后才能使用云计算系统。但是，一旦将数据移动到云中，您或其他人便可以将其处理为有用的材料并将其发送回给您。...云存储和云计算之间的一些区别因素包括： 1. 云计算比云存储需要更高的处理能力。另一方面，云存储需要更多的存储空间。 2. 云计算本质上是针对企业的。另一方面，出于专业和个人原因，都使用了云存储。...云存储只是一种数据存储和共享介质，而云计算使您能够远程处理和转换数据。 这些是云存储和云计算系统之间的本质区别。就它们之间的相互联系而言，它们是不同的概念，不应混为一谈。
作者简介：一名云计算网络运维人员、每天分享网络与运维的技术与干货。 ...座右铭：低头赶路，敬事如仪 个人主页：网络豆的主页 ---- 前言 本章将会讲解云计算中存储虚拟化功能 ---- 一.存储虚拟化功能 存储虚拟化可以提高硬件资源的使用效率，简化系统管理的复杂度...，增强云存储平台的可靠性。...数据一致性：通过将COW技术与快照结合，可以确保在数据修改过程中保持数据的一致性和完整性。 性能优化：COW技术减少了数据复制的频率，从而提高了性能。...---- 5.虚拟磁盘文件迁移 将虚拟机的磁盘从一个数据存储迁移到另一个数据存储。可以将虚拟机的所有磁盘整体迁移，也可以单个磁盘分别迁移。
阅读本文大概需要 5 分钟 01 磁带 对存储技术进行了大量的研究，到 1951 年，Eckert 和 Mauchly 创立了自己的公司，设计了一台叫 UNIVAC 的新电脑，最早进行商业销售的电脑之一...02 磁鼓存储器 1950,60年代，有个类似技术是 "磁鼓存储器"，有金属圆筒，盖满了磁性材料以记录数据，滚筒会持续旋转，周围有数十个读写头，等滚筒转到正确的位置读写头会读或写 1 位(bit) 数据...到 1953 年，磁鼓技术飞速发展，可以买到存 80,000 位的"磁鼓存储器"，也就是 10 KB。...如今，存储技术在朝固态前进，没有机械活动部件。比如这个硬盘，以及 U 盘，里面是集成电路，我们在前面讨论过。...但还是比 RAM 慢很多倍，所以现代计算机 仍然用存储层次结构。
那么，在这些概念背后，又隐藏着哪些有趣的技术实现呢？如何架构，使用了什么新技术，又催生了哪些技术的发展？接下来的几篇，我将去了解云计算背后的技术要素。 这一篇的目标，是对云计算背后主要技术元素的理解。...有了网络的供应，云计算要将传统的数据中心搬到云上，也就是将这些物理世界的网络设施，汇入一个资源池，以供各个节点的租户来接入，这部分该如何实现？这里用到的技术，就是云计算的核心技术，虚拟化技术。...虚拟化技术到底做了什么？ 简单地来说，虚拟化技术，就是在物理层面的 IT 资源，例如服务器集群、网络设备、存储设备等上面架设一层封装，将这些资源通过这项技术，标准化处理之后，汇入一个大的资源池之中。...租户接触到的将是一个购买流程、部署、运营和维护都标准化的产品，不需要理会这件产品背后的物理节点在哪里，你选取的云服务器可能在云厂商北京数据中心，而存储节点又在上海。...所以虚拟化过程包括服务器虚拟化、存储虚拟化、网络虚拟化、应用虚拟化以及目前流行的容器技术等。由于虚拟化技术云计算的核心，这一条后面还要专开一篇细说。
过去大多数都是采用数据计算的模式，但随着数据、运行模式及运行环境的复杂化，导致了传统的计算模式出现了较多的弊端，而如今云计算服务网格技术能力的提升使得成为了动态解决虚拟共享资源的技术当中核心使用的方案。...云计算服务网格技术能力 与传统的技术相比云计算服务网格技术能力上有哪些差别呢，首先是侧重点的不同，传统的云计算是需要通过互联网来做为媒介按照需求来提供计算，云计算是属于各类计算融合起来之后的云处理方案。...云计算网格技术的优势 而云计算服务网格技术能力是基于服务网格的框架，为计算和服务提供资源。...无论是云计算还是服务网格技术在数据处理能力上都同样的出众，同时在虚拟资源和动态伸缩上都具有系统调控和存储的能力。但最大的区别是云计算属于专用，而服务网格更侧重的是资源共享式服务。...以上就是关于云计算服务网格技术能力的相关介绍，通过这一类计算模式也能够带来特殊的应用解决方案，使得IT技术也能得到提升。
美国国家标准与技术研究院（NIST）定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供...从云计算的定义可以看出，云计算后端具有非常庞大、可靠的云计算中心，对于云计算使用者来说，在付出少量成本的前提下，即可获得较高的用户体验！功能强大的云计算还具有以下特点： 1. ...超大规模 一般云计算都具有超大规模，Google云计算拥有100多万台服务器，Amazon、IBM、微软、Yahoo等的云计算均拥有几十万台服务器，企业私有云一般也拥有数百上千台服务器，并且云计算中心能通过整合和管理这些数目庞大的计算机集群来赋予用户前所未有的计算和存储能力...节能环保 云计算技术能将许许多多分散在低利用率服务器上的工作负载整合到云中，来提升资源的使用效率，而且云由专业管理团队运维，所以其PUE（Power Usage Effectiveness，电源使用效率值...以上是云计算所具有的特点，这些特点的存在，使得云计算能为用户提供更方便的体验和更低廉的成本，同时，这些特点的存在，也是云计算能够脱颖而出，并且被大多数业界人士所推崇的重要原因之一。
本来这种场景是比较适合集算器的集文件（集算器特有的压缩二进制格式）存储并计算，但据说这个用户的历史数据还会经常变动，而集文件目前没有提供改写能力（为了保证压缩率和性能），也就不容易直接用。...于是想推荐用户采用nosql产品做存储，集算器在上面做计算。 赶快打住！如果用户真的听了，那会恨死我们。 ---- 这个场景中有三个要素：数据量大、复杂计算、频繁改动。...集算器其实比RDW在大数据计算性能方面更好，不过作为计算引擎并不太关注存储，而大数据需求中还是会比较在意的可维护管理能力就要弱了。...集算器进一步发展出来的仓库版将支持少量修改的存储方案，这样可以在保证复杂运算能力的基础上再提供数据维护能力，可以逐步替代数据仓库，不过也不合适频繁修改。...而另一个方向的云库版则更注重结构多样性，同时也支持事务一致性，能适应频繁改，而且有集算器提供复杂计算能力，但同前面分析NoSQL的理由，这时候它又不适合大数据遍历了。
由于云计算分为IaaS、PaaS和SaaS三种类型，不同的厂家又提供了不同的解决方案，目前还没有一个统一的技术体系结构，对读者了解云计算的原理构成了障碍。...0.jpg 云计算技术体系结构分为4层：物理资源层、资源池层、管理中间件层和SOA构建层，如图3所示。...物理资源层包括计算机、存储器、网络设施、数据库和软件等；资源池层是将大量相同类型的资源构成同构或接近同构的资源池，如计算资源池、数据资源池等。...管理中间件和资源池层是云计算技术的最关键部分，SOA构建层的功能更多依靠外部设施提供。 云计算的管理中间件负责资源管理、任务管理、用户管理和安全管理等工作。...基于上述体系结构，本文以IaaS云计算为例，简述云计算的实现机制，如图2所示。 1.jpg 用户交互接口向应用以Web Services方式提供访问接口，获取用户需求。
这种云计算最大的特征就是消费者并不购买任何实体的产品，而是购买具有与实体产品同等功能的服务。 以前，我们是花钱购买的是服务器上的存储空间。现在，我们花钱购买的是Dropbox的存储服务。...这种云计算最大的特征在于，它并不像传统的服务器租赁商一样出租具体的服务器实体，它出租的是服务器的计算能力和存储能力。...AWS将Amazon计算中心的所有的服务器的计算能力和存储能力整合成一个整体，然后将其划分为一个个虚拟的实例，每一个实例代表着一定的计算能力和存储能力。...基础架构即服务是云计算的基石，平台即服务和软件即服务构建在它的上面，分别为开发者和消费者提供服务，而它本身则为大数据服务。 4 云计算技术体系结构可分为哪几层？...资源池和管理中间件层为云计算技术的重要部分 其实虚拟化的就是资源池层，然后管理中间件层负责管理。SOA层应该类似于外部接口。 5 在性价比上云计算相比传统技术为什么又压倒性的优势？
作者简介：一名云计算网络运维人员、每天分享网络与运维的技术与干货。 ...座右铭：低头赶路，敬事如仪 个人主页：网络豆的主页 ---- 前言 本章将会讲解云计算存储虚拟化与存储模式的讲解 ---- 一.存储虚拟化介绍 把多个存储介质（如硬盘，RAID）通过一定的技术将他们集中起来...---- 1.云计算存储基本概念 存储资源 表示实际的物理存储设备，例如DAS（直连存储），NAS（网络附加存储），SAN（存储区域网络）等。...---- 2.云计算存储模型 ---- 3.创建虚拟存储流程 在主机软件界面添加存储资源（SAN,DAS等），对主机的启动进行配置。...---- 二.存储模式及方法 存储模式分类 在存储虚拟化中，以是否使用虚拟化技术将存储模式分为： 非虚拟化存储 虚拟化存储 裸设备映射 ---- 非虚拟化存储 传统的存储模式，就是把磁盘进行分区，分割成不同的逻辑卷
常见的Ceph RBD和腾讯云的CBS驱动就是这种工作方式，在虚拟机中可以看到存储卷/dev/vd*，就是Frondend驱动识别出来的虚拟卷设备； 硬件虚拟化，让PCIe设备支持SR-IOV，虚拟化为多个设备...，这种工作方式常见于网卡(NIC)，对于存储设备很少见。...我们刚才提到，在KVM虚拟出的虚拟机中，挂载的云存储卷的设备名一般为vd*, 如vda, vdb, vdc... 而挂载在本地的硬盘设备名一般为sda, sdb......SPDK在后端通过轮询机制，读取Frontend驱动向队列中写入的SCSi命令字，并且利用零拷贝技术消除VirtIO的性能卡点。...对于分布式块存储的场景，有没有好的办法让虚拟机访问远端云盘也取得同样的加速效果呢？ 请看下回分解。
在前几期，我们提到了，在云计算时代，由于对存储IO及吞吐的要求迅速增加，传统SAN存储难以满足需求，基于标准x86节点的分布式存储成为了主流。 开源分布式存储的代表是Ceph。...这种冗余技术叫做RAID-0。 但是，RAID-0有一个致命缺陷：在用新的硬盘替换掉损坏的硬盘的时候，需要将好的那块硬盘内容完全复制一份到新的硬盘，这个过程叫重构，将持续几个小时。...RAID-5和RAID-6的实现方式是，对一整块数据，切分成M块，根据这些数据计算出N块冗余校验数据。对于RAID-5，N=1，对于RAID-6，N=2。...假设Ceph集群由6台服务器构成，其中每台有12块SATA机械盘，单盘IO能力为150 IOPS，那么，我们可以计算出，整个集群有72个OSD，总体IO能力为 150 * 72 / 3 = 3600...以70%读，30%写计算，IO能力约为1.5M IOPS。 这是一个很不错的性能。 但是，我们也注意到，NVMe或SATA SSD的价格不菲。
[1501466823180_1478_1501466824713.jpg] 作者介绍：Yh， 2010年加入腾讯，有12年的存储经验，在弹性块存储技术方面经验丰富，本文将其在TEG TALK上的分享内容进行整理...，干货满满，内容包含腾讯云云硬盘产品（CBS）的后台系统的演进历程、核心技术以及大道至简的方法论。...用户只需要在腾讯云上购买一台云主机，就可以方便的使用腾讯云硬盘。 如何实现云硬盘（弹性块存储）系统？...Chunk，提供3副本存储的存储引擎。 Master，总控节点，多机互备提供高可用性。 两层架构的CBS3.0的技术难题？ 一、数据组织：数据按什么样的数据结构存在后台分布式系统中。...当前端数据访问时，它携带diskid、blockid或者说lba、snap id（快照id号），CBS系统将这3个参数通过一致性哈希，计算出对应的Partition；而Partition和物理服务器、物理硬盘的对应关系是在集群初始化的时候配置的
然而，由于大家不可能实时监测到群里所有图片，因此，大家打算众筹开发一个小程序，利用机器视觉（CV）来识别偶像和呕像，并委托方老师搞定运行小程序的云资源。...X博：“若想训练电脑识别人脸，需要多给神经网络喂素材……” 原来，CV训练的过程，需要GPU集群做以下的事情： 读取海量的图片素材； 将训练的模型持久化存储； 回到1，迭代模型； 最后，将识别出的江疏影和方方的结果存放在结构化的数据库中...显而易见地，在云上运行这个应用，需要云提供以下的存储资源： 1、可高效访问海量的图片的存储； 2、可快速迭代的神经网络权重模型的持久化存储； 3、高性能随机读写的数据库存储； 那么，用什么样的存储技术...让我们开启新的专题——云存储硬核技术内幕。
上回说到，勤劳勇敢的中国人民，受到《康熙字典》中古老的智慧启发，在对象存储中引入了索引，帮助“觅影”产品快速地从对象存储中筛选出了带有covid-19和Sternum这两个标签的影像用于深度学习。...我们在上期提到，对象存储的metadata，实际上就是key-value的键值对形式的数据。 让我们举一个栗子。 Johnny同学搞到了一本《金瓶梅》，打算把它保存在对象存储里面。...实际上，绝大部分IaaS云服务提供商实现的对象存储，都包括了类似的查询与索引功能。...以腾讯云的COS (Cloud Object Storage)为例，可以设定用户自定义的x-cos-meta-[自定义后缀]，来存储用户自行设定的metadata，并可以通过sql等方式查询metadata...当然，如果我们想把对象存储用于生产业务，仅仅提供基于http的RestAPI、一致性哈希、查询与存储功能，还是不够的。 请看下回分解。
云计算似乎是归档存储数据的理想场所。它提供了按需付费的增长模式，并使组织能够缩减其内部存储空间。但问题是，三大供应商(亚马逊AWS，微软Azure和谷歌计算)并没有提供交钥匙归档的服务体验。...此外，归档存储系统本身需要某种形式的保护，这意味着是在另一个位置上进行磁带备份或第二个归档存储系统。 云归档的要求 最佳的存储策略包括逐渐将数据归档存储到二级存储设备。...云计算是一次可以购买1TB以上而不是几百TB的存储系统。此外，这个存储不是在本地的数据中心中，这意味着不需要额外的数据中心占地面积，电力或冷却设备。...任何维护都由云计算提供商完成，其复制就是点击一个简单的复选框选项而已。 云归档的问题 不幸的是，使用云存储进行归档并不完美。...此外，组织利用云计算的能力，通过弹性计算来解决数据管理问题，如内容索引，存储分析，视频和音频转录，复杂的合规性和数据治理，以及其他服务。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
