60分钟

第4章 云存储

【学习目标】

1.知识目标

了解硬盘接口类型。

了解磁盘分类。

了解分布式存储技术的特点。

了解云存储的应用场景。

掌握几种磁盘阵列的优缺点。

掌握逻辑卷技术。

掌握云硬盘的创建与管理。

掌握对象存储的创建与管理。

掌握文件存储的创建与管理。

2.技能目标

创建磁盘阵列。

创建逻辑卷。

创建云硬盘及其管理。

创建对象存储及其管理。

创建文件存储及其管理

【认证考点】

了解硬盘接口。

理解磁盘阵列。

掌握存储分类。

掌握逻辑卷技术。

掌握云硬盘、对象存储、文件存储的创建及管理。

项目引导:云存储的应用

【项目描述】

小A的云上论坛运行一段时间后,发现论坛的资料越来越多,并且面临着不同类型的数据的上传与存储等问题。经过一番调研,小A准备采用云存储的方式来保存这些数据,并希望云存储能做到数据与服务器的分离,提高数据安全性和可靠性。

知识储备

4.1 存储技术基础

随着计算机存储技术不断的发展,存储设备发展经历了从早期的软盘、到只有几十兆字节大小的硬盘,到如今TB级大小的硬盘、GB容量的U盘等几个过程。在企业级存储中,为了追求更高的速度和更大的容量,使用独立磁盘冗余阵列(Redundant Arrays of Independent Disks,RAID)技术将每个独立的磁盘组成阵列,联合存储数据,加快数据存储速度。由于数据爆发式增长,将传统的硬盘放到计算机机箱内的做法已经不能满足现代应用对存储容量的需求,这就催生了网络存储技术。网络存储是网络上的一个节点,供其它节点来访问。

4.1.1 磁盘及硬盘接口

磁盘是指利用磁记录技术存储数据的存储器,它分为软盘和硬盘。磁盘是计算机主要的存储介质,可以存储大量的二进制数据,并且断电后也能保持数据不丢失。早期计算机使用的磁盘是软盘(Floppy Disk),如今常用的磁盘是硬盘(Hard disk)。

磁盘读取数据时,需要有一个接口,通过接口才能从磁盘上读取数据。硬盘接口是硬盘与主机系统间的连接部件,其作用是在硬盘缓存和主机内存之间传输数据。不同的硬盘接口决定着硬盘与计算机之间的连接速度,在整个系统中,硬盘接口的优劣直接影响着程序运行快慢和系统性能好坏。

硬盘从接口的类别来分,常见的有以下几种:

1.IDE(Integrated Drive Electronics)硬盘

IDE即电子集成驱动器,是指把控制电路和盘片、磁头等放在一个容器中的硬盘驱动器。把盘体与控制器放在一起的做法减少了硬盘接口的电缆数目与长度。IDE接口硬盘也叫ATA硬盘,IDE硬盘的缺点为速度比较慢,而且对于接口电缆的长度有很严格的控制,兼容性好的优势随着硬盘技术的发展也渐渐失去。

2.SCSI(Small Computer System Interface)硬盘

SCSI小型计算机系统接口并不是专为硬盘设计的接口,而是一种广泛应用于小型机上的一种高速数据传输技术。SCSI是同IDE(ATA)完全不同的接口,IDE接口是普通PC的标准接口,SCSI接口具有应用范围广、多任务、带宽大、CPU占用率低以及热插拔等优点,但较高的价格使得它很难如IDE硬盘般普及,因此SCSI硬盘主要应用于中、高端服务器和高档工作站中。

3.SATA(Serial Advanced Technology Attachment)硬盘

SATA接口的硬盘已经是现在个人PC的主流。最新的SATA3标准接口的硬盘理论极限速度已经达到600 MB/s。

硬盘从不同的种类来分,分别有以下3种:

(1)HDD(Hard Disk Drive)硬盘

HDD是日常生活中最常见种类的硬盘,价格便宜且容量较大,缺点是速度较慢,由于采用了机械结构,因此防震抗摔性差。

(2)SSD(Solid State Drive)硬盘

SSD也常被称为固态硬盘。具有速度快、功耗小、重量轻等诸多优点。由于采用了闪存颗粒作为存储介质,所以SSD也摆脱了传统硬盘机械结构的限制,抗震抗摔性能极佳。

(3)HHD(Hybrid Hard Drive)混合硬盘

HHD可以视为SSD和HDD的混合体,既有SSD的闪存模块,又有传统HDD中的磁盘。HHD在读取常用数据的时候与SSD速度相当,但在写入和读取大量数据的时候,由于硬盘中数据的寻址时间更长,速度有时不如HDD。

4.1.2 RAID技术

一块磁盘的容量是有限的,读取速度也是有限的,对于企业而言,有时需要上百GB甚至TB级的分区来存放数据,用一块磁盘容量远远不够。这时就产生了(Redundant Arrays of Independent Disks,RAID)技术。RAID是由很多块独立的磁盘来组合成一个容量巨大的磁盘组,将存储的数据切割成许多区段,分别存放在各个硬盘上。

RAID技术是在1987年由美国柏克莱大学提出RAID理论基础上发展起来的,它作为高性能的存储系统,已经得到了越来越广泛的应用,并成为一种工业标准。RAID的级别从RAID概念的提出到现在,已经发展了多个级别,RAID有明确标准级别分别是0、1、2、3、4、5、 6、7、10、30、50等。接下来着重介绍RAID0、RAID1、RAID3、RAID5、RAID6和RAID10。

1.RAID 0

RAID 0是指将两块以上的硬盘合并成“一块”,数据同时分散在每块硬盘中。由于采用RAID 0技术所组成的硬盘在读写数据时同时对几块硬盘进行操作,因此读/写速度加倍,理论速度是单块硬盘的N倍。但是由于数据不是保存在一块硬盘上,而是分成数据块保存在不同硬盘上,所以安全性也下降N倍,只要任何一块硬盘损坏就会丢失所有数据,如图4-1-1所示。

图4-1-1 RAID 0原理图

在图4-1-1中,逻辑磁盘是指在系统中所表现的磁盘,但实际上由两块磁盘所构成。系统在读取数据时是将数据分为不同的数据块(A、B、C、D、…N),同时将数据块进行写入/读取操作,所以在增加存储容量的同时也提高了读写速度。

RAID 0是最简单的一种RAID形式,其目的只是把多块硬盘连接在一起形成一个容量更大的存储设备,因此它不具备冗余和校验功能,只适用于单纯增大存储容量的场所而不能用于对数据安全有所要求的场所。

2.RAID 1

RAID 1也叫磁盘镜像,至少需要两块硬盘共同构建。RAID 1技术是以一块硬盘作为工作硬盘,同时以另外一块硬盘作为备份硬盘,数据写入工作硬盘的同时也写入备份硬盘,也就是将一块硬盘的内容完全复制到另一块硬盘。为了保证两块硬盘的数据一致性,RAID控制器必须能够同时对两块硬盘进行读写操作,而速度以慢的硬盘速度为准。同时,由于两块硬盘上的数据一致,因此对数据的存储量而言,硬盘空间的有效存储量只有一块硬盘的存储量,其构成原理图如图4-1-2所示。

图4-1-2 RAID 1原理图

在图4-1-2中,与RAID 0技术相同,逻辑磁盘实际上也是由两块磁盘所构成,数据也分为多个数据块(A、B、C、D、…N)进行写入/读取操作。但与RAID 0技术不同的是,系统在写入数据块时是将数据块同时写入两块硬盘中,在读取数据时只需要读取一块硬盘中的数据即可。

RAID 1是磁盘阵列中单位成本最高的一种形式,但提供了很高的数据安全性和可用性。当一个硬盘失效时,系统可以自动切换到镜像硬盘上读/写,而不需要重组失效的数据。它主要适用于对数据安全性要求较高而对成本没有特别要求的场所。

3.RAID 3

RAID 3也称为专用奇偶位条带,在条带技术的基础上为了提高数据的安全性而使用一块硬盘专门用于存储校验数据,因此至少需要三块硬盘。其名称中的所谓“奇偶位”,是指奇偶位校验方式,奇偶校验值的计算是以各个硬盘的相对应位作异或逻辑运算,然后将结果写入奇偶校验硬盘,其构成原理图如图4-1-3所示。

图4-1-3 RAID 3原理图

4.RAID 5

RAID 5也称为分布奇偶位条带,它是一种奇偶校验独立存取的阵列,与RAID 3技术相类似也是使用奇偶校验来提高数据的安全性,与RAID 3技术不同的是其奇偶校验数据不是存放在一个专门的硬盘中而是分别存储在所有的数据盘。

逻辑磁盘至少由三块物理磁盘所构成,数据以块为单位存储在各个硬盘中。其中P1代表A、B数据块的校验值,P2代表C、D数据块的校验值,P3代表E、F数据块的校验值等。由于奇偶校验值存储在不同的硬盘上,因此任何一个硬盘上的数据损坏都可以通过其他硬盘上的奇偶校验值来恢复损坏的数据,提高了数据的安全性,其构成的原理图如图4-1-4所示。

图4-1-4 RAID 5原理图

如果一个物理磁盘发生故障,那么来自故障磁盘的数据会重建到更换磁盘中。在单个磁盘故障时,数据不会丢失,但是如果在数据可以重建到更换硬盘之前第二个磁盘发生故障,那么阵列中的所有数据将丢失。需要至少三个磁盘才能创建RAID 5卷。RAID 5提供与RAID 0差不多的性能,优点是可以保护数据。

5.RAID 6

RAID6是一种双维奇偶校验独立存取的磁盘阵列。它的冗余纠错信息均匀分布在所有磁盘上,存储的数据则以大小可变的块为单位采用交叉的方式存在各个盘中。这类盘阵列可容许双盘出错。RAID 6在跨卷中的两个同等块中并行写入数据,如果一个物理磁盘发生故障,那么来自故障磁盘的数据会重建到另外一个磁盘中。

如果每个数据库有两个同等块,RAID 6最多支持两个磁盘故障而不会丢失数据。因为使用双重同等性,RAID 6来自故障磁盘的同步比RAID 5更慢。需要至少四个磁盘才能创建RAID 6卷,RAID 6提供极佳的数据保护,与RAID 5相比,性能损失很小,磁盘安全可用性提升不少。

6.RAID 10

RAID 10是RAID 1与RAID 0相结合。如图4-1-5所示,RAID 10技术是先将数据块按照RAID 0技术分别存储在不同的硬盘中,同时对每个硬盘分别采用RAID 1技术进行数据的镜像,其性能既具有RAID 0技术的读写迅速,又具有RAID 1技术的数据安全性,但是很明显的缺点就是硬盘的空间利用率不高。主要适用于对容量要求不太高,但是对数据存取速度和安全性有要求的场所。

图4-1-5 RAID 10读写过程

4.1.3 逻辑卷技术

逻辑卷是系统的一种磁盘管理方式,目的是把硬盘空间从物理硬盘的管理方式中跳出来,进行更方便的统一管理分配。每个卷可以看作一个逻辑盘,可以是一个物理硬盘的逻辑盘,也可以是两个硬盘或两个硬盘的部分空间组成的RAID 0或RAID 1阵列,或更多硬盘组成其他RAID 5阵列,但系统层面上看都是一个本地磁盘。

逻辑卷管理实际上是由卷管理器(Volume manager,VM)完成。如图4-1-6所示,首先打开计算机的“控制面板”,然后选择“管理工具”→“计算机管理”打开“计算机管理”窗口,再选择“存储”→“磁盘管理”。

图4-1-6 Windows磁盘管理

LVM(Logical Volume Manager)是基于Linux系统的逻辑卷管理器。逻辑卷(Logical Volume,LV)是将几个磁盘分区或者块组织起来形成一个大的扩展分区,该扩展分区不能直接用,需要将其划分成LV才能使用,可以格式化成不同的文件系统,挂载后直接使用。LV的扩展和缩减是不会影响原有数据的,但逻辑卷缩减操作的风险大于逻辑卷扩展的风险,逻辑卷可以支持快照功能。

LVM使用逻辑卷,不会受限于物理磁盘的大小,硬件相关的存储设置会被其屏蔽,通过LVM不需停止应用或卸载文件系统来调整卷大小或数据迁移,提高了易操作性。

4.2 云存储概述

云存储(Cloud storage)是一种在线存储的模式,即把数据存放在数据中心的多台虚拟服务器,而非专属的服务器上。数据中心营运商根据客户的需求,在后端准备存储虚拟化的资源,并将其以存储资源池(Storage pool)的方式提供,客户便可自行使用此存储资源池来存放文件或对象,实际上,这些资源可能被分布在众多的服务器主机上。

简单来说,云存储就是将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方,经过互联网连接到云上方便地存取数据。

4.2.1 存储的分类

存储分类从传统网络存储方式、存储类型、存储介质、存储级别等几个维度进行分类,不同维度分类的方式也不同。

1.按传统网络存储方式来分类

传统的网络存储技术主要有直接连接存储(Direct Attached Storage ,DAS)、

网络连接存储(Network Attached Storage,NAS)、对象存储技术(Object-Based Storage ,OBS)等。

(1)直接连接存储

直连式存储依赖服务器主机操作系统进行数据的IO读写和存储维护管理,数据备份和恢复要求占用服务器主机资源(包括CPU、系统IO等),数据流需要回流主机再到服务器连接着的磁带机(库),数据备份通常占用服务器主机资源20%~30%,因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行,以免影响正常业务系统的运行。直连式存储的数据量越大,备份和恢复的时间就越长,对服务器硬件的依赖性和影响就越大。

直连式存储与服务器主机之间的连接通常采用SCSI连接,带宽分为10MB/s、20MB/s、40MB/s、80MB/s等多种,随着服务器CPU的处理能力越来越强,存储硬盘空间越来越大,阵列的硬盘数量越来越多,SCSI通道将会成为IO瓶颈,服务器主机SCSI ID资源有限,能够建立的SCSI通道连接也是有限的。

无论是从直连式存储还是服务器主机上进行扩展,从一台服务器扩展为多台服务器组成的群集,或扩展存储阵列的容量,都会造成业务系统的停机,从而给企业带来经济损失,对于银行、电信、传媒等行业7×24小时服务的关键业务系统,这是不可接受的。

(2)网络连接存储

网络连接存储是指连接在网络上的具备存储功能的装置,因此也称为“网络存储器”。它是一种专用的数据存储服务器,以数据为中心,将存储设备与服务器彻底分离,集中管理数据,从而释放带宽、提高性能、降低总拥有成本、保护投资。其成本低于直接使用服务器存储的成本,但效率却高于服务器存储。

网络连接存储被定义为一种特殊的专用数据存储服务器,包括存储器件(例如磁盘阵列、CD/DVD驱动器、磁带驱动器或可移动的存储介质)和内嵌系统软件,可提供跨平台文件共享功能。网络连接存储通常在一个LAN上占有自己的节点,无需应用服务器的干预,允许用户在网络上存取数据,网络连接存储采用浏览器就可以对其设备进行集中管理并处理网络上的所有数据,这样管理起来就更加直观和方便。

网络连接存储能够支持多种协议(如NFS、CIFS、FTP、HTTP等),而且能够支持各种操作系统。

网络连接存储将存储设备连接到现有的网络上来提供数据和文件服务。网络连接存储服务器一般由存硬件、操作系统以及其上的文件系统等几个部分组成。网络连接存储通过网络直接连接磁盘存储阵列,磁阵列具备了高容量、高效能、高可靠等特征。网络连接存储将存储设备通过标准的网络拓扑结构连接,可以无需服务器直接上网,不依赖通用的操作系统,而是采用一个面向用户设计的,专门用于数据存储的简化操作系统,内置与网络连接所需的协议,从而使整个系统的管理和设置较为简单。

(3)对象存储技术

对象存储,也叫做基于对象的存储,是用来描述解决和处理离散单元方法的通用术语,这些离散单元被称作为对象。对象包含数据,与文件类似,但与文件不同点是对象在一个层结构中不会再有层级结构,每个对象都在存储池地址空间的同一级别里,一个对象不会属于另一个对象的下一级。

对象有包含的数据相关的元数据,每个对象都被分配一个唯一的标识符,允许一个服务器或者最终用户来检索对象,而不必知道数据的物理地址。这种方法对于在云计算环境中自动化和简化数据存储有帮助。

2.按存储类型分类

按存储类型分类,存储分为块存储、文件存储和对象存储。

(1)块存储

块存储指在一个RAID中,提供固定大小的RAID块作为LUN(逻辑单元号)的卷。块存储主要是将裸磁盘空间整个映射给主机使用的,操作系统需对挂载的裸硬盘进行分区、格式化后才能使用,与平常主机内置的硬盘无差异。

块存储的优点:成本低、并行写入、SAN组网、提升传输速度与读写效率。

块存储的缺点:较高成本投入、数据共享实现较难、不能实现跨系统共享。

(2)文件存储

文件存储解决了文件无法共享的问题,它的典型设备是FTP、NFS服务器。文件存储也可以采用软硬一体化来实现,如一台普通的PC机,装上操作系统和软件,也可以架设FTP与NFS服务,这样就能实现文件存储。主机可以直接对文件存储进行文件的上传和下载,与块存储不同,主机是不需要再对文件存储进行格式化的,因为文件存储本身已经具备文件管理的功能了。

文件存储的优点是造价低。配置普通一台电脑就可以,直接采用以太网通信,不需要专用的SAN网络,所以造价低也方便文件共享。

文件存储的缺点是读写速率低、传输速率慢。因为以太网的上传下载速度较慢,除此所有读写都是通过服务器的硬盘来承受,与磁盘阵列中的几十块或上百块的硬盘同时读写,文件存储的速度是慢了很多。

(3)对象存储

对象存储是无层次结构的数据存储方法,通过管理节点中存储的元数据索引信息找到对象文件本身。典型设备为内置大容量硬盘的分布式服务器。

对象存储常用的方案,就是多台服务器内置大容量硬盘,再装上对象存储软件,用几台服务器作为管理节点,并安装上对象存储管理软件,管理节点还可以管理其他服务器对外提供读写访问功能。

对象存储是为了克服块存储与文件存储各自的缺点,发扬各自的优点。简单来说块存储读写快、不利于共享、文件存储读写慢,利于共享。能否有一个读写快且利于共享的存储出来呢?于是就有了对象存储。

对象存储中一个文件包含属性和内容,其中属性有元数据、文件的大小、修改时间、存储路径等,内容则是数据。对象存储将元数据独立出来,控制节点叫元数据服务器,它由服务器和对象存储管理软件构成,主要负责存储对象的属性。其他负责存储数据的分布式服务器(Object-based Storage Device,OSD),主要负责存储文件的数据部分。当用户访问对象,会先访问元数据服务器,元数据服务器只负责反馈对象存储在哪个OSD,假设反馈文件A存储在B、C、D三台OSD,用户就会再次直接访问3台OSD服务器去读取数据。

对象存储很好的结合了块存储和文件存储的优点,它的优点表现在对象存储同时兼具SAN高速直接访问磁盘特点及NAS的分布式共享特点。

3.按存储介质分类

从存储介质的角度,将存储分为磁盘、HDD机械硬盘、SSD固态硬盘。其中磁盘是指利用磁记录技术存储数据的存储器;HDD机械硬盘即是传统普通硬盘,主要由盘片、磁头、盘片转轴及控制电机、磁头控制器、数据转换器、接口、缓存等几个部分组成,固态硬盘是用固态电子存储芯片阵列而制成的硬盘。

4.按存储分级分类

存储分级的方式要考虑多个因素,如要考虑数据访问频率、性能要求与成本、存储的迁移等因素。基于上述因素,所以按存储分级将存储分为标准存储、低频存储、离线存储三种类型。

(1)标准存储

标准存储适用于频繁访问的数据,拥有较低的延迟和较高的吞吐量性能,主要应用场合有热点视频、社交图片、移动应用、游戏程序、动态网站等。

(2)低频存储

低频存储适用于不频繁访问但在需要时也要求快速访问的数据,拥有与标准存储相同的较低延迟及高吞吐量性能。主要应用场合有网盘数据、大数据分析、政企业务数据、低频档案、监控数据等。

(3)离线存储

离线存储是对在线存储的数据进行备份,以防范可能发生的数据灾难,因此又称备份级的存储,而且主要使用光盘或磁带存储。随着档案信息化的发展,我国各级各类档案馆所保存的数字档案信息急剧增加,且呈持续快速增长趋势。海量档案信息的安全管理问题已成为各级档案部门面临的重要问题。随着国家电子政务的进一步推进,该问题将愈加突出。离线存储主要的应用场合有档案数据、医疗影像、科学资料、影视素材等。

4.2.2 云存储系统

目前越来越多企业的业务都是跑在云端,企业存储业务也是跑在云端。云存储跟传统的存储有什么区别?接下来我们来详细讲解云存储。

云存储是一种网上在线存储的模式,即把数据存放在通常由第三方托管的多台虚拟服务器,而非专属的服务器上。

1.云存储的工作原理

云存储的工作原理,通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统,保证数据的安全性,并节约存储空间。

2.云存储结构模型

云存储的结构模型分为存储层、基础管理层、应用接口层、访问层四层结构。

存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备,可以是NAS、ISCSI等IP存储设备,也可以是SCSI、SAS等DAS存储设备。云存储中的存储设备往往数量庞大且分布于不同地域。彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。存储设备之上是一个统一存储设备管理系统,可以实现存储设备的逻辑虚拟化管理、多链路冗余管理,以及硬件设备的状态监控和故障维护。

基础管理层是云存储最核心的部分,也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术,实现云存储中多个存储设备之间的协同工作,使多个的存储设备可以对外提供同一种服务,并提供更大更强更好的数据访问性能。CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问,同时通过各种数据备份及容灾技术的措施可以保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。

应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘应用平台、远程数据备份应用平台等。

访问层,任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统,享受云存储服务。云存储运营单位不同,云存储提供的访问类型和访问手段也不同,就如同云状的广域网和互联网一样,云存储对使用者来讲,不是指某一个具体的设备,而是指一个由许多个存储设备和服务器所构成的集合体。使用者使用云存储,并不是使用某一个存储设备,而是使用整个云存储系统带来的一种数据访问服务。云存储的核心是应用软件与存储设备相结合,通过应用软件来实现存储设备向存储服务的转变。

3.云存储实现的前提条件

条件1:宽带网络的发展。真正的云存储系统将会是一个多区域分布、遍布全国、甚至于遍布全球的庞大公用系统,使用者需要通过ADSL、DDN等宽带接入设备来连接云存储。只有宽带网络得到充足的发展,使用者才有可能获得足够大的数据传输带宽,实现大量容量数据的传输,真正享受到云存储服务。

条件2:Web2.0技术。Web2.0技术的核心是分享。只有通过Web2.0技术,云存储的使用者才有可能通过PC、手机、移动多媒体等多种设备,实现数据、文档、图片和视音频等内容的集中存储和资料共享。

条件3:应用存储的发展。云存储不仅仅是存储,更多的是应用。应用存储是一种在存储设备中集成了应用软件功能的存储设备,它不仅具有数据存储功能,还具有应用软件功能,可以看作是服务器和存储设备的集合体。应用存储技术的发展可以大量减少云存储中服务器的数量,从而降低系统建设成本,减少系统中由服务器造成单点故障和性能瓶颈,减少数据传输环节,提供系统性能和效率,保证整个系统的高效稳定运行。

条件4:集群技术、网格技术和分布式文件系统。云存储系统是一个多存储设备、多应用、多服务协同工作的集合体,任何一个单点的存储系统都不是云存储。

条件5:CDN内容分发、P2P技术、数据压缩技术。CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问,同时,通过各种数据备份和容灾技术保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。

条件6:存储虚拟化技术、存储网络化管理技术。云存储中的存储设备数量庞大且分布多在不同地域,如何实现不同厂商、不同型号甚至于不同类型(如FC存储和IP存储)的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题,这个问题得不到解决,存储设备就会是整个云存储系统的性能瓶颈,结构上也无法形成一个整体,而且还会带来后期容量和性能扩展难等问题。

云存储中的存储设备数量庞大、分布地域广造成的另外一个问题就是存储设备运营管理问题。虽然这些问题对云存储的使用者来讲根本不需要关心,但对于云存储的运营单位来讲,却必须要通过切实可行和有效的手段来解决集中管理难、状态监控难、故障维护难、人力成本高等问题。因此,云存储必须要具有一个高效的类似与网络管理软件一样的集中管理平台,可实现云存储系统中所有存储设备、服务器和网络设备的集中管理和状态监控。

4.2.3 分布式云存储

由于传统存储架构存在着横向扩展性较差、不同厂家传统存储管理局限等问题,这时就出现了分布式存储系统。分布式存储系统是采用大量PC服务器通过Internet互联,对外提供一个整体的服务。

1.分布式存储的特点

(1)可扩展

分布式存储系统可以扩展到几百台甚至几千台这样的一个集群规模,系统的整体性能线性增长。

(2)低成本

分布式存储系统的自动容错、自动负载均衡的特性,允许分布式存储系统可以构建在低成本的服务器上。另外,分布式存储系统具有线性的扩展能力,能在增加、减少服务器时减低成本,实现分布式存储系统的自动运维。

(3)高性能

无论是单台服务器,还是整个分布式的存储集群,都要求分布式存储系统具备高性能。

(4)易用

分布式存储系统对外提供方便易用的接口,同时也提供监控、运维工具,并且能与其他的系统进行集成。

2.分布式云存储常见产品

在云端分布式存储主要通过云储存产品来表示,主要云存储产品有云硬盘、文件存储、对象存储、归档存储、存储网关等。

3.分布式存储的挑战

分布式存储系统的挑战主要在于数据和状态信息的持久化,要求在自动迁移、自动容错和并发读写的过程中,保证数据的一致性。

4.2.4 云存储的应用场景

云存储的使用场景,不同的存储类型使用场景不同,这里主要讲解块存储、文件存储和对象存储的使用场景。

1.块存储的应用场景

块存储技术在云存储中是通过云硬盘来实现的。块存储应用场景主要是在网速要求高、数据可靠性和安全性要求高、数据共享的性能要求高的应用环境。

2.文件存储的应用场景

文件存储应用场景有企业应用程序、媒体和娱乐工作流、大数据分析、内容管理和Web服务、容器存储等。

3.对象存储的应用场景

对象存储具有高可用性、高扩展性、低成本、安全可靠等特点,适用于有大量热点文件,需要频繁访问数据的业务场景。如UGC社交媒体存储场景、大规模数据存储场景、海量数据和超大文件存储场景。

项目实施

小A的云上论坛运行一段时间后,用户访问量剧增,需要存储的资料的量越来越大,并且资料的类型越见庞杂。经过多方比对,小A选择了腾讯云的云存储产品。其中运用腾讯云的云硬盘来扩容云服务器容量,运用对象存储来实现共享云盘,运用文件存储实现文件共享。

需要完成的任务:

  • 云硬盘扩容云服务器
  • 对象存储实现共享云盘
  • 文件存储实现文件共享

4.3 任务1:云硬盘扩容云服务器

云硬盘是云端提供的用于云服务器实例的持久性数据块级存储,可以扩容云服务器。云硬盘中的数据自动地在可用区内以多副本冗余方式存储,避免数据的单点故障风险。

4.3.1云硬盘的概述

云硬盘是一种基于分布式架构的、可弹性扩展的数据块级存储设备,它可以支持在线操作和管理,也可以像物理硬盘一样,对挂载到云主机的云硬盘做格式化、创建文件等操作。云硬盘是云存储的一种产品。

1.云硬盘的特性

(1)多样化持久性存储设备,可灵活选择磁盘种类,并自动在磁盘上进行存储文件、搭建数据库等操作。

(2)有三种磁盘类型。云硬盘支持三种磁盘类型,分别为普通云硬盘、SSD云硬盘、高性能云硬盘。

(3)可以弹性挂载/卸载。普通云硬盘支持弹性挂载、卸载,可为一台云服务器搭建大容量的文件系统。

(4)支持弹性扩容。单盘最大支持4TB的空间,可随时对硬盘进行扩容。

(5)支持快照备份。支持创建快照和快照回滚,及时备份关键数据;支持使用快照创建磁盘,可快速实现业务部署。

2.云硬盘类型的比较

云硬盘有普通云硬盘、SSD云硬盘、高性能云硬盘三种类型,他们各自的特征见表4-1所示。

表4-1 云硬盘比较

3.云硬盘的快照

云硬盘快照是云硬盘某个时刻的数据备份,云硬盘的数据写入和修改不会对已创建的快照造成影响。基于此特性,用户可以使用快照记录云硬盘不同时刻的数据,用于满足系统恢复、容灾以及云硬盘复制等需要。快照仅保存云硬盘里被写入或修改过的数据块,所以一般情况下云硬盘对应快照的大小会小于云硬盘的大小。

云硬盘快照应用场景有数据日常备份、数据快速恢复、数据的多副本等。

(1)数据日常备份。系统盘、数据盘的日常备份,可以利用快照定期备份重要业务数据,以应对误操作、攻击或病毒等导致的数据丢失风险。

(2)数据快速恢复、更换操作系统、升级应用软件或迁移业务数据等重大操作前,可以创建一份或多份数据快照。一旦操作过程中出现任何问题,可以通过数据快照及时将业务恢复到正常的系统数据状态。

(3)生产数据的多副本应用。用户可以通过创建生产数据快照,为数据挖掘、报表查询、开发测试等应用提供近实时的真实生产数据。

4.云硬盘的优势

云硬盘的优势在于它的可靠性、弹性伸缩、高性能、易用性等。

(1)可靠性。在每个存储写入请求返回给用户之前,云硬盘就已确保数据已被成功写入三份,且跨机架存储。后台数据复制机制能够保证任何一个副本故障时快速进行数据迁移恢复,时刻保证用户数据3份副本可用,可靠度能达到99.9999999%,保证核心业务数据不丢失。

(2)弹性伸缩。可以自由配置存储容量,按需扩容,且无须中断业务;单磁盘容量为10~16000GB,单云服务器累计可挂载40TB的存储,单云硬盘集群存储容量无上限,高效应对TB/PB级数据的处理场景。

(3)高性能。SSD云硬盘采用NVMe标准,单盘提供24000随机IOPS,260MB/s吞吐,实现了超强性能与超高可靠性的集合。高性能的SSD云盘能提高业务的高吞吐量的访问。

(4)易用性。通过简单的创建、挂载、卸载、删除等操作即可管理及使用云硬盘,节省人工管理部署成本。

4.3.2云硬盘创建与管理

云硬盘的应用主要包括云硬盘的创建、挂载、扩容、快照、撤销/退还等内容。

1.云硬盘的创建

在腾讯云中云硬盘分为系统盘和数据盘,单独购买云硬盘时,云硬盘只能作为数据盘,而系统盘则是在创建云服务器实例时同时创建的。创建云硬盘有两种方法,一种方法在购买云服务器时,可以添加多个数据盘,还有一种方法是单独购买云硬盘,然后再把云硬盘挂载到某一个云服务器实例中。

方法1:在购买云服务器实例时购买云硬盘。

在腾讯云控制台中进入云服务器控制台,选择左栏中的实例,单击“新建”,在新建云服务器实例中,选择“自定义配置”,在自定义配置页面中有系统盘和数据盘,数据盘是可选。

系统盘是购买云服务器时,会默认购买系统盘。系统盘的类型有高性能云硬盘和SSD云硬盘,默认的容量是50G,容量的大小可以设置。

数据盘的购买,点击“新建云硬盘数据盘”,数据盘购买的数量是有限制的,最多购买20块,数据盘的类型有高性能云硬盘和SSD云硬盘,可以设置购买硬盘的容量和数量,如图4-3-1所示。

图4-3-1 购买云服务器实例时购买云硬盘

在购买云服务器实例时,还可以对云硬盘设置快照,可以分别对系统盘和数据盘设置快照。

云服务实例创建好后,登录云服务器实例中,查看“磁盘管理”,发现了新硬盘如图4-3-2所示,这个新硬盘就是购买的数据盘。需要对这个数据盘进行分区、创建卷、格式化等操作生成逻辑盘,这样数据盘才能真正使用起来,如图4-3-3所示。

图4-3-2 发现新硬盘
图4-3-3 对新硬盘分区

方法2:单独购买云硬盘

在腾讯云控制台中进入云服务器控制台,选择左栏中的云硬盘,单击“新建”,也可以创建云硬盘,如图4-3-4所示。

图4-3-4 单独购买云硬盘

在新建云硬盘的页面中要设置云硬盘的可用区、云硬盘的类型(高性能云硬盘、SSD云硬盘)、可以设置快速建盘(使用快照创建云硬盘)、容量、定期快照、硬盘名称等信息,如图4-3-5所示。

图4-3-5 创建云硬盘

采用这种方式创建云硬盘,创建好的云硬盘如图4-3-6所示。云硬盘的状态属于“待挂载”状态,此时,需要把创建好的云硬盘挂载到某个云服务器实例中。

图4-3-6 云硬盘待挂载

2.云硬盘的挂载

从腾讯云控制台中进入云服务器控制台,选择左栏中的云硬盘,选择未挂载的“云硬盘ID”,单击右边“更多”→“挂载”,如图4-3-7所示。在挂载的窗口中,选择云服务器实例,将云硬盘挂载到该服务器中,可以选择云硬盘随实例释放,如图4-3-8所示。

图4-3-7 挂载云硬盘
图4-3-8 云硬盘挂载到云服务器

登录到云服务器实例中,对挂载的云硬盘进行分区、创建卷、文件系统变成逻辑盘,这样云硬盘就可以正常的使用了。

3.云硬盘的扩容

在某些业务高峰时,出现容量不够用,这时我们需要对云硬盘进行扩容。要实现云硬盘扩容,它的前提条件为该云硬盘是“未挂载”的状态才能实现扩容。从腾讯云控制台中进入云服务器控制台,选择左栏中的云硬盘,选择“云硬盘ID”,点击右边“更多”选择“扩容”,如图4-3-9所示。在扩容的窗口中设置云应用扩容的容量即可,这样就实现云硬盘的扩容。

图4-3-9 云硬盘的扩容

4.云硬盘的快照

从腾讯云控制台中进入云服务器控制台,选择左栏中的云硬盘,选择“云硬盘ID”,点击右边“创建快照”,就可以给云硬盘创建快照了。在创建快照前,建议进行以下操作,即数据库业务的Flush&LockTable(对数据库进行锁操作)和文件系统的Sync操作,将内存数据强制刷入硬盘内。

5.云硬盘的撤销/退还

云硬盘的卸载前提条件为云硬盘的状态是“未挂载”,才能实现云硬盘的销毁和退还。从腾讯云控制台中进入云服务器控制台,选择左栏中的云硬盘,选择“云硬盘ID”,点击右边“更多”选择“销毁/退还”,如图4-3-10所示。

图4-3-10 云硬盘的销毁

如果云硬盘还挂载在某一个云服务器实例中,则要登录该云服务器实例中通过磁盘管理,将该硬盘状态设置为“脱机”。

4.4 任务2:对象存储实现共享云盘

共享云盘,是云存储系统下的一项应用,它是一种专业的互联网存储工具,是互联网云技术的产物,它通过互联网为企业和个人提供信息的储存、读取、下载等服务,具有安全稳定、海量存储的特点。在腾讯云平台中,采用对象存储可以实现共享云盘。

4.4.1对象存储的概述

SAN和NAS是目前两种主流网络存储架构,而对象存储是一种新的网络存储架构,基于对象存储技术的设备就是对象存储设备。对象存储综合了NAS和SAN的优点,同时具有SAN的高速直接访问和NAS的分布式数据共享等优势,提供了具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系结构。

1.对象存储的概念

对象存储是一种基于对象的存储设备,具备智能、自我管理能力,通过Web服务协议(如REST、SOAP)实现对象的读写和存储资源的访问。

对象存储系统包含两种数据描述容器和对象。容器和对象都有一个全局唯一的ID。对象存储采用扁平化结构管理所有数据,用户应用通过接入码(AccessKey)认证后,只需要根据ID就可以访问容器和对象相关的数据(Data)、元数据(Metadata)和对象属性(Attribute)。

对象存储核心是将数据通路(数据读或写)和控制通路(元数据)分离,并且基于对象存储设备构建存储系统,每个对象存储设备具有一定的智能,能够自动管理其上的数据分布。

2.对象存储与传统网络存储的区别

对象存储在很多重要方面与SAN和NAS迥然不同,对存储管理员而言最显著的区别在于对象存储没有LUNS、卷以及RAID等要素。对象数据不是存储在固定的块,而是在大小可变的“容器”里。鉴于元数据和数据本身可通过传统数据访问方法进行访问,对象存储允许数据被直接访问。此外支持对象级和命令级的安全策略设置。

3.对象存储的特性

(1)优秀的扩展性

对象存储采用扁平化的数据结构允许对象存储容量从TB级扩展到EB级,管理数十个到百亿个存储对象,支持从数字节(Byte)到数万亿字节(TB)范围内的任意大小对象,解决了文件系统复杂的iNode机制带来的扩展性瓶颈,并使得对象存储无需像SAN存储那样管理数量庞大的逻辑单元号(LUN)。对象存储系统通常在一个横向扩展(或网格硬件)架构上构建一个全局的命名空间,这使得对象存储非常适用在云计算环境中使用。某些对象存储系统还可支持升级、扩容过程中业务零中断。

(2)基于策略的自动化管理

由于云环境中的数据往往是动态、快速增长的,所以基于策略的自动化将变得非常重要。对象存储支持从应用角度基于业务需求设置对象/容器的属性,如数据保护级别、保留期限、合规状况、远程复制的份数等。这使得对象存储具备云的自服务特征同时,有效的降低运维管理的成本,使得客户在存储容量从TB增长到ZB时,运维管理成本不会随之升高。

(3)多租户技术

多租户特性可以使用同一种架构,同一套系统为不同用户和应用提供存储服务,并分别为这些用户和应用设置数据保护、数据存储策略,并确保这些数据之间相互隔离。

多租户技术或称多重租赁技术,是一种软件架构技术,它是指如何实现于多用户的环境下共用相同的系统或程序组件,并且仍可确保各用户间数据的隔离性。

云计算可以划分为以下几个层次的服务——IaaS、PaaS和SaaS,而多租户架构就是一种常见的SaaS软件架构模式。简单来讲在一台服务器上运行单个应用实例,它为多个租户提供服务。

4.对象存储结构

对象存储结构由对象、对象存储设备、元数据服务器、对象存储系统的客户端四部分组成。对象存储结构如图4-4-1所示。

图4-4-1 对象存储结构

(1)对象

对象(Object)是系统中数据存储的基本单位,一个对象实际上就是文件的数据和一组属性信息(Meta Data)的组合,每个对象是数据和数据属性集的综合体,数据属性可以根据应用的需求进行设置,包括数据分布、服务质量等。

(2)对象存储设备

每个对象存储都是一个智能设备,具有自己的存储介质、处理器、内存以及网络系统等,负责管理本地的对象,是对象存储系统的核心。对象存储同块设备的不同不在于存储介质,而在于两者提供的访问接口。对象存储主要功能包括数据存储和安全访问。目前国际上通常采用刀片式结构实现对象存储设备。

对象存储设备提供两个主要功能。数据存储功能表现在对象存储管理对象数据,并将它们放置在标准的磁盘系统上,对象存储不提供块接口访问方式,客户端请求数据时用对象ID、偏移进行数据读写。智能分布功能表现在对象存储用其自身的CPU和内存优化数据分布,并支持数据的预取。由于对象存储可以智能地支持对象的预取,从而可以优化磁盘的性能。对象存储能对每个对象的元数据进行管理,元数据与传统的iNode元数据相似,通常包括对象的数据块和对象的长度。

(3)元数据服务器

元数据服务器(Metadata Server,MDS)控制客户端与对象的交互,为客户端提供元数据,主要是文件的逻辑视图,包括文件与目录的组织关系、每个文件所对应的对象存储等。

(4)对象存储系统的客户端

为了有效地访问OSD上的对象,需要在计算节点提供对象存储系统的客户端(Client)。现有的应用对数据的访问大部分都是通过POSIX文件方式进行的,对象存储系统提供给用户的也是标准的POSIX文件访问接口。

5.云存储中对象存储

在云端的对象存储是什么样的呢?首先来了解云端的对象存储的几个基本概念,以腾讯云平台为例。

(1)存储桶,即Bucket。在对象存储中用于存储对象,一个存储桶中可以存储多个对象。

(2)对象,即Object。对象存储中存储的基本单元。

(3)地域,即Region。表示对象存储的数据中心所在的地域。用户可以根据费用、请求来源等综合选择数据存储的地域。建议根据自己的业务场景选择就近的地域存储,可以提高对象上传、下载速度。地域是在创建存储桶的时候指定的,一旦指定之后就不允许更改。该存储桶下所有的对象都存储在对应的数据中心,目前不支持对象级别的地域设置。

(4)APPID是腾讯云账户的标识之一,用于关联云资源。在用户成功申请腾讯云账户后,系统自动为用户分配一个APPID,一个APPID下可以创建多个项目。

(5)默认访问地址由APPID、存储桶名、对象存储地域标识和对象名组成,通过默认访问域名可寻址COS中唯一对应的对象。

4.4.2 对象存储的创建与管理

以腾讯云平台为实践平台,在腾讯云平台上对象存储实验要经过几个过程,分别为创建存储桶,创建文件夹并上传对象、下载对象、清除对象存储。

1.创建存储桶

创建存储桶的方法有两种。

方法一:

通过云对象存储控制台的概览页面创建存储桶。登录对象存储控制台后,当首次创建存储桶时,请单击概览页上的“创建存储桶”,在弹出的存储桶列表对话框中,填写存储桶名称,选定存储桶所属地域,单击“确定”,即可快速创建一个存储桶,如图4-4-2所示。

图4-4-2 创建对象存储

其中,存储桶默认提供三种访问权限分别是私有读写、公有读写和公有读私有写。其中私有读写是指只有该存储桶的创建者及有相应权限的账号才对该存储桶中的文件有读写权限,其他任何人对该存储桶中的文件都没有读写权限;公有读写是指可对对象进行匿名读操作和写操作;公有读私有写是指任何人(包括匿名访问者)都对该存储桶中的文件有读权限,但只有存储桶创建者及有相应权限的账号才对该存储桶中的对象有写权限。在设置权限时,选择公有读私有写和公有读写时,需要注点是公有读权限可以通过匿名身份直接读取存储桶中的数据,存在一定的安全风险,为确保数据安全,不推荐此配置,建议选择私有。

方法二:

通过云对象存储控制台的“存储桶列表”。登录对象存储控制台后,请单击左侧导航“存储桶列表”,进入存储桶列表。单击“创建存储桶”,弹出创建Bucket对话框,在其中填写存储桶名称,选定存储桶所属地域,单击“确定”即可快速创建一个存储桶,如图4-4-3所示。

图4-4-3 创建存储桶

2.为存储桶设置防盗链

为了避免恶意程序使用资源URL盗刷公网流量或使用恶意手法盗用资源,给用户带来不必要的损失。腾讯云对象存储支持防盗链配置,通过控制台的防盗链设置配置黑/白名单,来进行安全防护。

通过对象存储控制台,存储桶列表中选择“存储桶ID”,进入存储桶的详情页面,选择“基础配置”→“防盗链设置”选项,如图4-4-4所示。

图4-4-4 进入防盗链设置

设置防盗链的名单类型。防盗链的名单类有黑、白名单两种。其中,黑名单限制名单内的域名访问存储桶的默认访问地址,若黑名单内的域名访问存储桶的默认访问地址,则返回“403”。白名单限制名单外的域名访问存储桶的默认访问地址,若白名单外的域名访问存储桶的默认访问地址,则返回“403”。

进入存储桶的详情页面,在“基础配置”→“防盗链设置”选项,点击“编辑”,打开当前状态,就可以设置黑、白名单,如图4-4-5所示。

图4-4-5 设置黑、白名单

如图4-4-5中,“允许空referer”选项,表示HTTP请求中,header为空,即不带referer字段或referer字段为空。

在防盗链设置中,配置Referer的黑白名单,Referer最多支持10条域名,这些域名要求有相同前缀匹配,每条一行,多条请换行,可以支持域名、IP和通配符等形式的地址。示例配置“www.example.com”,可限制如“www.example.com/123”或“www.example.com.cn”等以“www.example.com”为前缀的地址;也支持带端口的域名和IP,如“www.example.com:8080”、“10.10.10.10:8080”等地址;也支持通配符“”,如配置“.example.com”,可限制如“a.b.example.com/123”、“a.example.com”等地址。配置Referer的黑白名单如图4-4-6所示。

图4-4-6 配置黑白名单实例

3.创建文件夹并上传对象

对象是对象存储的基本单元,对象必须存储在存储桶中。用户可以通过腾讯云控制台、API、SDK等多种方式管理对象。

对象名称采用Unicode字符,虽然可以在名称中使用任何UTF-8字符,但是不同应用程序对特殊字符的分析方式可能不同。所以,采用Unicode字符能有助于最大程度符合DNS、Web安全字符、XML分析器和其他API的要求。

以下是合法的对象名称示例:

my-organization
my.great_photos-2016/01/me.jpg
videos/2016/birthday/video1.wmv

对象的访问地址都是基于存储桶的访问地址和对象名称的,腾讯云的对象访问地址构成为“存储桶域名”/“对象名称”。如,APPID为1234567890的用户创建了名为example,所属地域为广州(华南)的存储桶,并在根目录上传了名为example.exe的对象。example.exe的访问地址如下:

JSON API:
example-1234567890.cosgz.myqcloud.com/example.exe
XML API:
example-1234567890.cos.ap-guangzhou.myqcloud.com/example.exe

(1)创建文件夹

创建文件夹进入存储桶的详情页面中“文件列表”→“创建文件夹”,如图4-4-7所示。创建文件夹时,文件夹名称长度限制在20字符内,不支持保留字符、字段及保留ASCII控制字符。

图4-4-7 创建文件夹

(2)上传文件

通过对象存储控制台上传单个文件最大支持512G,超512G的文件将无法成功上传。同时,文件夹名称包含保留字符和字段的也无法上传成功。文件上传支持断点续传,就是在传输过程中,上传中断的对象会以“不完整的文件”的形式存储下来,可查看该“不完整的文件”文件信息,但无法进行正常的下载、修改访问权限、设置自定义权限等,当下次上传相同文件时,文件会自动从断点部分继续上传。

进入存储桶详情页面中的“文件列表”,单击创建好的文件夹,单击“上传文件”,就可以实现文件的上传,如图4-4-8所示。

图4-4-8 上传文件

4.下载对象

下载对象的过程需要设置对象权限后,然后进行对象的下载。

(1)设置对象权限

对象存储提供基于对象维度的访问权限设置,且该配置优先级高于存储桶的访问权限。对象的访问权限只在用户通过默认域名访问时有效。通过CDN加速域名和自定义域名访问时,以存储桶访问权限为准。通过设置对象的访问权限,可以实现,在私有读写的存储桶中设置个别允许公有访问的对象,或在公有读写存储桶中设置个别需要鉴权才可以访问的对象。

对象权限有如下类型:

①继承存储桶权限。对象权限与存储桶的访问权限一致,当访问对象时,读取到对象权限为继承存储桶权限,会匹配存储桶的权限来响应访问,任何新对象被创建时,默认继承存储桶权限。

②公有读私有写。当访问对象时,对象存储读取到对象的权限为公有读,此时无论存储桶为何种权限,对象都可以被直接下载。

③私有读写。当访问对象时,对象存储读取到对象的权限为私有读写,此时无论存储桶为何种权限,对象都需要通过签名鉴权才可访问。

对象权限的操作步骤。单击存储桶的详情页面中“文件列表”,进入到文件夹,单击上传的某个文件,单击右边的“详情”,选择“对象权限”,就可以进行对象权限的设置,如图4-4-9所示。

图4-4-9 对象权限

(2)搜索下载对象

如果对象很多,通过搜索找到要下载的对象。搜索要下载的对象的方法有两种,一是直接在存储桶中输入对象前缀进行搜索,二是通过多级目录搜索。如图4-4-10所示是通过输入对象前缀的方式进行的搜索。

图4-4-10 搜索对象

(3)查看对象信息并下载对象

在对象存储详情页面中,可以查看对象名称、对象大小、修改时间、文件地址等信息,如图4-4-11所示。

图4-4-11 查看对象信息

下载对象有两种方法,一种是在对象存储的详情页面中点击“下载对象”,就可以直接下载对象;另一种是在对象存储的详情页面中的“对象地址”复制,粘贴到浏览器上进行访问并下载。

5.删除对象

当对象不需要使用的时候,可以选择删除对象。但是删除对象操作需谨慎,因为删除后的数据不可恢复和访问。在对象存储控制台找到想要删除的对象,单击“删除”,弹出删除文件对话框,如图4-4-12所示。

图4-4-12 删除对象

6.删除文件夹和存储桶

当不再需要使用某个存储桶时,可以对其进行删除操作。在对象存储控制台找到想要删除的存储桶,先把存储桶中的文件夹进行删除,再找到存储桶列表,单击“删除”。

7.对象存储客户端工具COSBrowser

对象存储有独立的桌面版工具COSBrowser,支持的操作系统有Windows、MacOS、Linux、Android、iOS等。使用该工具进行可视化管理,方便进行数据上传、下载等操作。

下载客户端工具。在对象存储控制台的左边栏点击“工具”→“客户端下载”,根据需要下载支持不同操作系统的客户端工具,如图4-4-13所示。

图4-4-13 客户端工具下载

4.5任务3:文件存储实现文件共享

文件共享是指在网络上共享自己的计算机文件,可以用文件共享轻轻松松的与其他人分享文件。在腾讯云平台中,采用文件存储实现文件共享。 文件存储技术,它采用NFS或CIFS命令集访问数据,以文件为传输协议,通过TCP/IP实现网络化存储,可扩展性好、价格便宜、用户易管理。

4.5.1文件存储的概述

文件存储是安全可靠、可扩展的共享文件存储服务。文件存储可以与云服务器、容器服务、批量计算等服务搭配使用,它可以为多个计算节点提供容量和性能可弹性扩展的高性能共享存储服务。

1.文件存储的特点

(1)集成管理

文件存储兼容POSIX接口,可跨平台访问,并保证文件数据的一致性。用户的云服务器实例可通过标准NFS协议访问文件存储系统。

(2)共享访问

多台云服务器实例或容器服务可以共享一个文件存储系统,运行在不同可用区下的计算节点也可以通过私有网络使用同一文件存储系统,实现多计算节点的协同工作及数据共享。

(3)弹性扩展

文件存储系统的存储容量可弹性扩展、且不影响应用或服务。同时,文件系统的性能会随存储容量线性增长,提供高可靠、高性能的服务。

(4)安全可靠

文件存储系统中标准文件存储为3份冗余,具有极高的可用性和可靠性。文件存储系统可以通过用户隔离、网络隔离以及来访白名单等方式来限制客户端的操作权限。

2.文件存储支持的平台

文件存储系统可以支持的平台包括Linux 、Unix、Windows等。

4.5.2文件存储创建与管理

文件存储的实现过程,以腾讯云为实践平台。登录到腾讯云控制台,进入到文件存储的控制台上,首先创建网络文件系统(如Windows网络文件系统或Linux网络文件系统),然后管理文件系统,最后访问文件系统。

1.创建文件系统

这里以创建Windows网络文件系统为例。进入腾讯云的文件系统控制台。在腾讯云控制台中,点击“云产品”进入到搜索栏中,输入“文件存储”,点击“文件存储”就进入到文件存储控制台中,如图4-5-1所示。

图4-5-1 进入到文件存储控制台

2.创建Windows网络文件系统

在云平台中,创建云服务器实例,选择Windows操作系统。

3.创建文件系统及挂载点

在Windows系统中创建文件系统需要两个过程,首先创建文件系统,接着设置挂载点。

(1)创建文件系统

进入到文件存储的控制台,点击“新建”,弹出创建文件系统弹窗。在创建文件存储窗口中设置存储类型为标准存储;文件服务协议为NFS(若客户端以Linux为主,推荐使用NFS协议;若客户端以Windows为主,推荐使用SMB协议)这里文件服务协议下拉菜单只有NFS协议;网络类型为基础网络和私有网络,文件系统需要与云主机同在基础网络或一个私有网络下才能直接访问,所以这里选择与创建的云服务器实例同一个私有网络,最后点击“提交”,这样文件系统就创建好了,如图4-5-2所示。

图4-5-2 创建文件存储

(2)设置挂载点

在文件存储控制台中,进入创建好文件存储的详情页面,选择“挂载点信息”,进行文件存储的挂载。挂载时可以在Linux系统和Windows系统下挂载,如图4-5-3所示。

图4-5-3 设置挂载点

(3)云服务器实例上挂载文件系统

以Windows操作系统的云服务器实例进行挂载文件系统,首先登录Windows实例,接着安装NFS服务器角色,安装NFS客户端功能,然后验证NFS服务是否启动,添加匿名访问用户和用户组,最后挂载文件系统。

①登录云服务器实例。登录Windows系统的云服务器实例,采用远程桌面方式登录,如图4-5-4所示。

图4-5-4 远程桌面登录云服务器实例

②安装NFS服务器角色。挂载前,首先开启NFS服务,请确保系统已经启动NFS服务。以Windows Server 2012 R2为示例,开启NFS服务。打开“控制面板”→“程序”→“打开或关闭windows功能”→“服务器角色”,在页面中勾选“NFS server”,如图4-5-5所示,接着安装NFS服务器,这样就开启了NFS服务了。

图4-5-5 开启NFS服务器

③安装NFS客户端功能。打开“控制面板”→“程序”→“打开或关闭Windows功能”→“功能”→“NFS客户端”,勾选“NFS客户端”,即可开启Windows NFS客户端服务,如图4-5-6所示。

图4-5-6 安装NFS客户端

④然后验证NFS服务和NFS客服端是否启动。在登录的Windows云服务器实例中,在Windows管理工具中,点击“NFS服务”,如图4-5-7所示。进入到网络文件系统服务窗口,查看 NFS服务器和NFS客户端是否存在,如果存在则说明NFS服务和NFS客服端启动成功,如图4-5-8所示。

图4-5-7 NFS服务
图4-5-8 网络文件系统服务

⑤挂载文件系统。打开Windows下的命令行工具,在面板中执行命令“mount ?”,若返回NFS相关信息则表示NFS客户端正常运行中,如图4-5-9所示。

图4-5-9 mount命令运行

挂载创建的文件系统。在Windows的命令行工具中输入命令“mount -o nolock 172.27.0.2:/48j2zr0v x:”,其中IP地址为文件存储内网地址,文件系统挂载成功后的显示信息,如图4-5-10所示。

图4-5-10 挂载文件系统

4.访问文件系统

获取创建的文件存储服务器的IP地址(以172.27.0.2为例),在Windows系统云服务器实例中输入文件存储服务器的IP地址“\172.27.0.2”,如能正常访问则说明文件存储创建成功,如图4-5-11所示。

图4-5-11 访问文件系统

5.终止资源

终止资源,首先要卸载共享目录。卸载共享目录,使用命令“umount X:”,其中“目录名称”为根目录或者文件系统的完整路径,如图4-5-12所示。接着终止云服务器实例,最后终止文件系统。进入腾讯云文件存储控制台,选中需要终止的文件系统,单击“删除”并“确认”即可删除文件系统。

图4-5-12 卸载共享目录

本章小结

本章以云存储的应用为引导,讲解了存储技术基础、云存储概述及云硬盘扩容云服务器、对象存储实现共享云盘、文件存储实现文件共享。通过本章的学习,读者应了解磁盘与硬盘接口、磁盘阵列、存储分类、分布式存储及云存储的应用场景,掌握云硬盘的创建与管理、对象存储的创建与管理、文件存储的创建与管理。

本章习题

一、单项选择题

1.SAN存储属于哪一种存储方式( )。

A.对象存储

B.文件存储

C.块存储

D.IP存储

2.下列哪种RAID技术的数据可靠性最低( )。

A.RAID 1

B.RAID 0

C.RAID 10

D.RAID 5

3.文件存储根本解决( )的问题。

A. 文件共享

B.容灾备份

C.异地存储

D.容量扩充

4.下列对低频存储描述正确的是( )。

A. 低频存储是用于对在线存储的数据进行备份,以防范可能发生的数据灾难。

B.低频存储适用于不频繁访问但在需要时也要求快速访问的数据。

C.低频存储适用于频繁访问的数据。

D.以上描述都不正确。

二、多选题

1.下列哪些选项是按存储介质分类的( )。

A. 磁盘

B.机械硬盘

C.固态硬盘

D.软盘

2.在对象存储中,一个文件主要包含( )内容。

A. 元数据

B. 文件属性

C. 文件内容

D.MHDK虚拟磁盘

3.云硬盘支持的磁盘类型有( )。

A.普通云硬盘

B.SSD云硬盘

C.高性能云硬盘

D.NAS