在分布式存储技术体系当中，分布式文件存储是其中的分类之一，也是大数据架构当中常常用到的。得益于Hadoop的高人气，Hadoop原生的HDFS分布式文件系统，也广泛为人所知。但是分布式文件存储系统，并非只有HDFS。今天的大数据开发分享，我们就主要来讲讲常见的分布式文件存储系统。
在分布存储式存储技术体系当中，分布式文件存储是其中的分类之一，也是大数据架构当中常常用到的。得益于Hadoop的高人气，Hadoop原生的HDFS分布式文件系统，也广泛为人所知。但是分布式文件存储系统，并非只有HDFS。今天的大数据开发分享，我们就主要来讲讲常见的分布式文件存储系统。
**分布式存储：**通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。
本文主要对杨传辉（日照）《大规模分布式存储系统原理解析与架构实战》、大话存储、网络资源(具体参考文末链接)及个人理解进行整理，意在构建出存储发展基本轨迹和一些基本常识，让更多像我一样的初入者有个宏观上的认知。
在了解什么是分布式存储之前，我们先来简单了解一下存储几十年来的大概历程。
OSS（Object Storage Service）俗称对象存储，主要提供图片、文档、音频、视频等二进制文件的海量存储功能。目前除了公有云提供对象存储服务外，一般私有云比较关心一些开源的分布式对象存储解决方案，本文列举了一些常见的技术方案供参考。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/huyuyang6688/article/details/73730500
https://blog.csdn.net/enweitech/article/details/51445087
现有的存储系统经过长期发展，种类及其繁多，架构也各不相同，仅靠一文不可能讲得完全详尽。笔者试图在各个存储系统中，按照从底层到上层的思路，抽象出某些共性，也就是：物理层、协议层、架构层、连接层四个层次。这种层次划分不一定对所有存储系统通用，但可以帮助初学者对市面上主流的存储技术架构建立一个大体的认识，接下来我们由下往上详细分析。
Ceph 是一个去中心化的分布式存储系统， 提供较好的性能、可靠性和可扩展性。 Ceph 项目最早起源于Sage就读博士期间的工作（最早的成果于 2004 年发表），并随后贡献给开源社区， 遵循 LGPL 协议 （LESSER GENERAL PUBLIC LICENSE 的简写，中文译为 “ 较宽松公共许可证 ” ）。在经过了数年的发展之后，目前已得到众多云计算厂商（OpenStack 、 CloudStack 、 OpenNebula 、 Hadoop ）的支持并被广泛应用。
根据IDC在2018年底的预测显示，由于大数据、AI、物联网、5G等因素的驱动，全球的数据量在2025年将高达175ZB（1ZB=1024EB，1EB=1024PB)。在中国市场，由于AI技术在安防等领域的大规模落地与应用，IDC预计，中国将在2025年成为拥有数据量最大的地区，甚至超过整个EMEA（欧洲+中东+非洲），其中绝大部分数据是非结构化数据。
我们为什么要关注业务的IO行为，或者IO访问模型呢？原因很简单，任何系统都要关注自己服务的对象，存储系统服务的对象就是上层应用，所以存储的研发离不开对业务行为的分析和研究。存储系统的整体设计和架构，是多种因素综合权衡的结果。在存储系统性能达到极限的时候，无论是存储的开发者还是使用者，都想知道IO的具体表现行为，开发者是为了能够找到瓶颈点，更好地优化存储系统，使用者是为了能够更优地使用存储系统，让业务稳定运行。
现有的存储系统经过长期发展，种类及其繁多，架构也各不相同，按照从底层到上层的思路，大致可以分为：物理层、协议层、架构层、连接层四个层次。接下来我们由下往上详细分析。
2022 年 6 月 15 日，云原生计算基金会 (CNCF) 宣布，分布式存储系统 Curve 被正式接纳为 CNCF 沙箱（Sandbox）项目。Curve 由网易开源，提供块存储和文件存储能力，旨在以网易分布式架构和云原生实践经验反哺社区，填补高性能、易运维、云原生的开源分布式存储的空白。
Ceph使用C++语言开发，Sage Weil(Ceph论文发表者)于2011年创立了以Inktank公司主导Ceph的开发和社区维护。2014年Redhat收购inktank公司，并发布Inktank Ceph企业版（ICE）软件，业务场景聚焦云、备份和归档，支持对象存储和块存储以及文件系统存储应用。出现Ceph开源社区版本和Redhat企业版。
存储，是我们码农每天都要打交道的事情，而当我们面对RAID，SAN，对象存储，分布式数据库等技术的时候，又往往似是而非，存储成了我们熟悉的陌生人。
常见的分布式文件系统有：GlusterFS、GoogleFS、FastDFS、TFS等，各自适用的领域不同，它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。
随着文件数据的越来越多，传统的文件存储方式通过tomcat或nginx虚拟化的静态资源文件在单一的服务器节点内已经无法满足系统需求，也不利于文件的管理和维护，这就需要一个系统来管理多台计算机节点上的文件数据，这就是分布式文件系统。
1 什么是MongoDBmemory 内存引擎，NoSQL最大特点：默认支持分布式（内置分布式解决方案）高性能，高可用性和可伸缩性NoSQL的MongoDB是最像关系型数据库的非关系型数据库。2 MongoDB应用场景2.1 适用范围网站实时数据。如日志、Timeline、用户行为（代替方案：用日志）数据缓存：缓存的数据，一定是临时的大尺寸、低价值数据存储：搜索引擎的图片文件、视频文件(结构化)，一份存磁盘、一份存MongoDB高伸缩性场景：机器可任意增减对象或JSON数据存储：完全可选择用Redis不规则
1. Hadoop 介绍、发展简史 文章目录 1. Hadoop 介绍、发展简史 1.1 狭义上Hadoop指的是Apache的一款开源软件。 2.1 Hadoop核心组件 3.1 官网：https://hadoop.apache.org/ 4.1 广义上Hadoop指的是围绕Hadoop打造的大数据生态圈。 5.1 Hadoop发展简史 6.1 总结 2. Hadoop 特性优点、国内外应用 2.1 Hadoop 特性优点 2.1 Hadoop 国外应用 2.2 Hadoop 国内应用 2.3 总结
1、 如何通过最简单的方式基于今天我们学习的轻量级文件系统改造成升级为一个分布式文件系统呢？
我们看到，戴尔和IBM作为老牌存储厂商，依然没有一点意外地牢牢盘踞在魔力象限图的最右上角。
子虚期望让云上的虚拟机背起记忆的行囊浪迹天涯，但却发现虚拟机如果采用本地磁盘根本无法自由迁移，而基于FC的共享存储方案又具有极大的局限性。子虚自行思考答案，却发现自己的思考和Ceph殊途同归……
[TOC] 0x01 基础信息 描述:本文主要针对以下方面的进行记录学习 (1) 对象存储、文件存储和块存储介绍与区别? (2) 0x02 多种存储类型差异 Q:对象存储、文件存储和块存储介绍?
这三者的本质差别是使用数据的“用户”不同：块存储的用户是可以读写块设备的软件系统，例如传统的文件系统、数据库；文件存储的用户是自然人；对象存储的用户则是其它计算机软件。
在开发中经常会用到的就是文件存储了，以前经常都是在服务器目录上映射一个目录用来存储文件，这个当然也没有问题，如果存储量不大的话。当然还有的会选择使用。
QoS对于服务多租户多业务的整体系统来说，不管对网络还是存储，都格外重要，没有QoS，会造成不同租户及业务之间对资源的抢占，用户A用爽了，用户B却遭了殃，频频投诉，这是系统管理员最头疼的事情。我们今天就来讨论一下分布式存储系统中的QoS算法。进入正题之前，我们先来了解背景知识，即什么是QoS，分布式QoS又是什么，有哪些常见的QoS算法。最后我们再来讨论本文正题：mClock算法和dmClock算法。
•功能：Hbase是一个分布式的、基于分布式内存和HDFS的按列存储的NoSQL数据库 •应用：Hbase适合于需要实时的对大量数据进行快速、随机读写访问的场景
架构师在做架构设计时一定绕不开存储的设计，本文我们一起来了解一下存储的相关知识。主要内容包括存储使用方式、常见协议、链接方式以及分布式存储架构中的典型架构案例。
memory 内存引擎，NoSQL最大的特点： 1、默认支持分布式（内置分布式解决方案） 2、高性能，高可用性和可伸缩性
软件定义存储(SDS)是一个软件层，在物理存储设备和数据请求之间提供个抽象层，实现存储虚拟化功能，将底层存储设备和服务器汇集到虚拟存储空间中。这些虚拟空间通过各种冗余方式，提供恢复能力和容错能力。软件定义存储解决方案可以按照业务或基础设施的发展速度进行扩展,使用通用硬件，基于分布式环境构建存储。
因为主存通常不能容纳处理器需要的所有程序和数据，计算机采用了被称为虚拟存储器的存储器管理系统。就像使用cache来匹配主存储器和CPU之间的速度差异一样，虚拟存储器用来加速二级存储器使其匹配主存储器。
今天，无论是大数据、人工智能、物联网等技术的广泛应用，还是金融、医疗、媒体等行业对实时数据访问和分析的需求，都推动了对高容量、高速度存储解决方案的需求。与此同时，由于数据泄露和被盗的风险增大，数据安全和隐私保护成为了人们关注的焦点，这也进一步推动了对具有高级加密、冗余和灾难恢复功能的存储解决方案的需求。
最近要用到fastDFS，所以自己研究了一下，在搭建FastDFS的过程中遇到过很多的问题，为了能帮忙到以后搭建FastDFS的同学，少走弯路，与大家分享一下。FastDFS的作者淘宝资深架构余庆，这个优秀的轻量及的分布式文件系统的开源没多久，立马就火了。由于篇幅较大，本博文共四篇，第一篇主要介绍FastDFS，下载相关软件包，为搭建做好准备。第二篇会讲到在CentOS下搭建FastDFS的详细过程。第三篇，会讲到整合nginx详细内容。第四篇主要讲FastDFS在怎么用fastdfs-client-java连接，并结合实例。
分布式文件系统用来存储各种非结构化数据，例如海量的图片，海量的视频，海量的xml等数据。在这种分布式存储中，是不支持随机的读写的，要么直接覆盖，要么删除然后再修改。
随着各行各业电子信息化的不断加深，线上交易数据保持了长时间高速增长的态势，对数据存储的需求越来越大，数据库管理系统（DBMS）面临越来越大的性能、空间和稳定性压力。在此过程中，得利于计算&存储&网络等硬件领域的不断进步，业界流行的数据库管理系统逐步从单机架构向分布式架构演变。笔者希冀从梳理数据库管理系统所面临的一个又一个实际挑战及业界所提出的诸多解决方案的过程中，发现片缕灵感以指引未来的数据库开发工作。
时光进入2021年，首届中国海量存储系统MassStor100排行榜发布，曙光ParaStor自研分布式存储战绩骄人。业内人士预计，曙光存储得MassStor100排行榜加持，将有望成为曙光新名片和新代名词。
{row, column, version}元组就是一个HBase中的一个 cell。
随着文件数据的越来越多，通过tomcat或nginx虚拟化的静态资源文件在单一的一个服务器节点内是存不下的，如果用多个节点来存储也可以，但是不利于管理和维护，所以我们需要一个系统来管理多台计算机节点上的文件数据，这就是分布式文件系统。
两阶段提交协议（Two-phase Commit，2PC）经常用来实现分布式事务，在两阶段协议中，系统一般包含两类节点：一类为协调者（coordinator），通常一个系统中只有一个；另一类为事务参与者（participants，cohorts或者workers），一般包含多个。协议中假设每个节点都会记录操作日志并持久化到非易失性存储介质，即使节点发生故障日志也不会丢失。执行过程如下：
目前Ceph 是一种已经震撼了整个存储行业的最热门的软件定义存储技术。它是一个开源项目，为块存储、文件存储和对象存储提供了统一的软件定义解决方案。Ceph 旨在提供一个扩展性强大、性能优越且无单点故障的分布式存储系统。从一开始，Ceph 就被设计为能在通用商业硬件上运行，并且支持高度扩展（逼近甚至超过艾字节的数量）。
近日，Gartner发布了2019年全球分布式文件存储关键能力报告（Critical Capabilities for Distributed File Systems），Dell EMC、IBM、浪潮、华为、Qumulo、Pure Storage、Red Hat共7家全球主流厂商入围测评。
分布式文件系统 分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源并不直接与本地节点相连，而是分布于计算网络中的一个或者多个节点的计算机上。目前意义上的分布式文件系统大多都是由多个节点计算机构成，结构上是典型的客户机/服务器模式。流行的模式是当客户机需要存储数据时，服务器指引其将数据分散的存储到多个存储节点上，以提供更快的速度，更大的容量及更好的冗余特性。 目前流行的分布式文件系统有许多，如MooseFS、FastDFS、GlusterFS、Ceph、Mogile
在这段时间里，我们小结了云存储的基本知识、块存储和对象存储的基本实现，以及如何让块存储和对象存储为云计算的基本单位——虚拟机，提供存储服务。
随着云计算的发展，云存储作为一种更基础的云上资源池设施也越来越受到重视和欢迎。从云存储的类型来讲，目前流行的有块存储、文件存储和对象存储三种。今天的主角是对象存储，不过我们在介绍对象存储之前，先来了解下另外两种存储，做个对比，这样才能更好的了解对象存储。
因此，业界也出现了一系列其他分布式存储系统，最常见的是HDFS、GlusterFS和Openstack Swift。
块存储一般体现形式是卷或者硬盘（比如windows的c盘），数据是按字节来访问的，对于块存储而言，对里面存的数据内容和格式是完全一无所知的。好比上面图中，数据就像玉米粒一样堆放在块存储里，块存储只关心玉米粒进来和出去，不关心玉米粒之间的关系和用途。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
