精读Ulord白皮书（二）：为什么是Ulord的分布式存储？

目前大数据技术非常流行,提到大数据就不得不提Hadoop技术,而Hadoop生态都建立在一个Hadoop分布式文件存储系统之上.

比如我们使用到的百度云盘就是使用的HDFS(Hadoop File System)实现的.

今天,我将分析下传统的互联网分布式存储HDFS与Ulord的分布式文件系统之间有什么区别,以及为什么是Ulord分布式存储?

首先从表面上看两者都是分布式文件系统,但是着本质的区别:

HDFS是中心化的存储,Ulord分布式存储是去中心化的存储.

HDFS是由互联网巨头自己建设搭建的大数据系统,数据归巨头所有;Ulord分布式文件存储数据由所有参与到Ulord网络生态用户搭建起来,数据归整个网络所有.

HDFS文件的存储方案

HDFS是一个开源的商业软件,对于硬件的要求非常低,在HDFS的系统中,主要的架构如下:

在HDFS中的节点角色主要有两个,NameNode节点和DataNode节点,其中NameNode节点是用来存储HDFS系统中的文件所在位置,大小,存储日期等(文件的元数据).DataNode节点的主要作用就是用来存储文件的.

数据被存储HDFS之前,数据会被按照128M为单位进行切割成一个一个的数据块,然后根据HDFS中的算法机制(判断哪个DataNode存储空间较大),将这些数据块(Block)保存到不同的DataNode的节点中.

同时将数据块保存多个副本,来提高容错性.

这种传统的分布式文件存储系统的优点是:

但是也有相应的局限和不足:

Ulord的分布式存储方案

在Ulord服务中,提供了以Ulord协议为基础,集成了P2P下载,分布式文件系统等不同的功能模块.

其中Ulord的分布式文件系统通过集成了区块链技术使得分布式存储更加高效:

Ulord提供了基于元数据的资源分类功能,每一个用户资源可以安装传统的基于描述信息的搜索功能.

提供基于内容寻址的资源快速定位.使得文件的内容存在具有唯一性,即一个文件加入到Ulord网络后,基于计算,对内容赋予一个唯一的加密Hash值.

Ulord网络上运行的区块链除了存储交易Hash外,还对其进行了扩展,支持采用存储文件的哈希值表,每次网络访问Ulord分布式文件系统,会去区块链中查询该文件地址.

这样做有什么好处呢?

首先基于文件内容进行Hash加密后为内容赋予一个唯一的Hash值,可以使得网络对于相同数据内容只存在一个寻址的地址,可以避免用户搜索使用的时候全是相同内容.

由于内容在网络中具备了唯一性,所以更加容易找到,一个Ulord分布式文件节点加入到Ulord网络中后,只需要将自己节点文件的Hash值广播到Ulord网络,即可知道这个节点中存入了什么样的数据.同时节点通过Hash值就可以判断该节点是否存在该文件内容是否已经冗余.

区块链的账本的特点就是不可篡改和可溯源,这样盗版无处可逃,如果有人企图盗版并上传一个视频,根据内容唯一性算法会得到一个唯一的Hash值,而这个Hash值在区块链中已经存在,那么无疑,新上传的视频就是一个盗版.

同时Ulord的下一步计划是提供文件的历史版本控制器,支持多节点使用并保存不同版本的文件,实现文件历史的状态跟踪.

Ulord的存储节点来源

Ulord使用P2P的超媒体协议,可以让网络更快,更安全,更开放,Ulord网络中的所有节点构成了一面向全球的,点对点的分布式文件系统.将所有相同的文件系统的计算设备连接在了一起.

Ulord的分布式文件系统节点来自于全球Ulord社区的参与者,节点的所有者可以自由选择要存储的数据,对于存储大量内容信息的节点,Ulord有计量模型通过文件下载服务的数据量来自动计算用户的收益,用来激励用户升级其硬件资源提供更加全面的数据存储和维护服务来获取收益.

Ulord的分布式存储节点即Ulord主节点,主节点设置的目的就是让UT的持有者能够加入到Ulord网路经济的建设中来.

Ulord分布式文件系统点对点的内容分发

Ulord在区块链记账的基础上集成了BitTorrent点对点数据分发协议,采用高效的软件分发系统和点对点的共享大体积文件,并让每个用户向网络重新分配节点那样提供上传服务.

下载方式通常分为两种,一种是类似网站下载站点,有一个下载服务器,下载服务器为每一个发出下载请求的用户提供下载服务.而这是传统的低效下载方式.

而BitTorrent工作方式不与之不同,分配器或文件持有者将文件发送给其中一名用户,然后这名用户转发给其他用户,用户之间会相互转发自己拥有的文件部分.直到每个用户下载都已经完成.

就像是迅雷BT下载和快播技术一样,用户下载资源的同时也在充当服务器上传资源.

Ulord分布式文件系统的自净化和计费

Ulord是一个去中心化的网络,没有中心化管理员对文件内容进行审查控制,因此可能出现’不当’内容资源.

Ulord设计了网络投票的方式,支持用户节点发出提案,对网络中不当资源进行投票,当投票满足条件,视为’不当内容’,系统可根据Hash值使’不当’资源不可被访问.实现去中心化自治网络.

Ulord分布式存储系统中进行资源的传播,发布,下载,转发,发起提案都视为在区块链中发起了一笔交易存入到了区块链中,主要计费行为包括:

对应传统互联网,由于其主要商业模式为中心化和’免费’,所以使得用户体验很差,价值分配不合理,’不当’内容传播流通等问题.Ulord的计费和自净化实现了内容互联网向价值互联网的转换.

Ulord分布式存储与传统分布式存储对比

总之,Ulord给我们描绘一个高效的,去中介化的,自带激励机制的价值互联网.而能否实现的关键就是Ulord的分布式存储系统,

而不是传统的HDFS系统,而这也是区块链在内容存储方面的重要应用,期待Ulord早日实现这个分布式文件系统.