科普｜对象存储的入门级科普！

#firefly#

这是星际萤火第21期科普

出品｜星际萤火（Fireflyblock88）

本期内容是对象存储的入门级干货分享，主要以数据存储、存储介质、传统存储方式、对象存储的优点等方面为主。

No.1

ipfs&filecoin

数据存储

数据存储对象包括数据流在加工过程中产生的临时文件或加工过程中需要查找的信息。数据以某种格式记录在计算机内部或外部存储介质上。

数据存储要命名，这种命名要反映信息特征的组成含义。数据流反映了系统中流动的数据，表现出动态数据的特征；数据存储反映系统中静止的数据，表现出静态数据的特征。

No.2

ipfs&filecoin

存储介质

磁盘和磁带都是常用的存储介质。数据存储组织方式因存储介质而异。在磁带上数据仅按顺序文件方式存取；在磁盘上则可按使用要求采用顺序存取或直接存取方式。

数据存储方式与数据文件组织密切相关，其关键在于建立记录的逻辑与物理顺序间对应关系，确定存储地址，以提高数据存取速度。

No.3

ipfs&filecoin

传统存储方式

在很长的一段时间里，直连式存储(DAS)、存储局域网（SAN)和网络附加存储（NAS）几乎统治了数据存储市场。所有行业用户的数据存储需求，都是在这三者中进行选择。

DAS存储架构

DAS是Direct Attached Storage的缩写，即“直接连接存储”，是指将外置存储设备通过连接电缆，直接连接到一台计算机上。采用直接外挂存储方案的服务器结构如同PC机架构，外部数据存储设备采用SCSI技术，或者FC(Fibre Channel)技术，直接挂接在内部总线上的方式，数据存储是整个服务器结构的一部分，在这种情况下往往是数据和操作系统都未分离。

SAN存储架构

SAN是Storage Area Network的缩写，即“存储区域网络”。它采用SCSI快I/O命令集，通过磁盘或FC（iber Channel）级的数据访问提供高性能的随机I/O个数据吞吐率，它具有高宽带、低时延的优势，在高性能计算中占有一席之地，如SGI的CXFS文件系统就是基于SAN实现高性能文件存储的，但是由于SAN系统的价格较高，且扩展性较差，已不能满足成千上万个CPU规模的系统。

NAS存储架构

NAS是英文Network Attached Storage的缩写，即“网络附加存储”。它采用NFS或CIFS命令集访问数据，以文件为传输协议，通过TCP/IP实现网络化存储，可扩展性好、价格便宜、用户易管理，如目前在集群计算中应用较多的NFS文件系统，但由于NAS的架构开销高、带宽低、延迟大，不利于在高性能集群中使用。

No.4

ipfs&filecoin

对象存储的产生

20世纪末，随着互联网的爆发，数据存储需求发生了两个重大的变化。

第一是数据量爆炸式增长

Web应用的崛起、社交需求的刺激，极大地推动了多媒体内容的创作和分享。人们开始上传大量的照片、音乐、视频，加剧了数据量的爆发。此外，信息技术的发展、企业数字化的落地，也产生了大量的数据，不断吞食着存储资源。

第二是非结构化数据的占比显著增加

什么是非结构化数据？

举例我们经常做的excel表格，姓名、身高、体重、年龄、性别，这种用二维表结构可以进行逻辑表达的数据，就是结构化数据。而图像、音频、视频、word文章、演示胶片这样的数据，就是非结构化数据。

目前，全球数据总量的80%，将是非结构化数据。面对这两大趋势，因为本身技术和架构的限制，DAS、SAN和NAS无法进行有效应对。于是，一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备（Object-based Storage Device）简称OSD就应运而生。

No.5

ipfs&filecoin

OSD存储架构

OSD是bject-based Storage的缩写，即“对象存储”。其核心是将数据通路（数据读或写）和控制通路（元数据）分离，并且基于对象存储设备构建存储系统，每个对象存储设备具有一定的职能，能够自动管理其上的数据分布。

对象存储结构由对象、对象存储设备、元数据服务器、对象存储系统的客户端四部分组成。

对象

对象是系统中数据存储的基本单位，每个Obeject是数据和数据属性集的综合体，数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。在传统的存储系统中用文件或块作为基本的存储单位，块设备要记录每个存储数据块在设备上的位置。

Object维护自己的属性，从而简化了存储系统的管理任务，增加了灵活性。Object的大小可以不同，可以包含整个数据结构，如文件、数据表项等。

在存储设备中，所有对象都有一个对象标识，通过对象标识OSD命令访问对象。通常由多种类型的对象，存储设备上的根对象标识存储设备和该设备的各种属性，组对象是存储设备上共享资源管理策略的对象集合。

Data是用户数据本身。

Key是用于检索对象，服务器和用户不需要知道数据的物理地址，也能通过它找到对象。这种方法极大地简化了数据存储。

Metadata叫做元数据，它是对象存储一个非常独特的概念，其类似数据的标签。标签的条目类型和数量是没有限制的，可以是对象的各种描述信息。例如，如果对象是一张人物照片，那么元数据可以是姓名、性别、国籍、年龄、拍摄地点、拍摄时间等。在传统的文件存储里，这类信息属于文件本身，和文件一起封装存储。而对象存储中，元数据是独立出来的，并不在数据内部封装。这样做的好处非常明显，可以大大加快对象的排序，分类和查找。

对象存储设备

每个OSD都是一个智能设备，具有自己的存储介质、处理器、内存以及网络系统等，负责管理本地的Object，是对象存储系统的核心。OSD同块设备的不同不在于存储介质，而在于两者提供的访问接口。OSD的主要功能包括数据存储和安全访问、目前国际上通常采用刀片式结构实现对象存储设备。