IPFS Cluster 的演进和发展

最近 IPFS 之上的激励层 Filecoin 的开发传出好消息,有部分矿机厂商已经收到建立测试网络和参与测试的邀请。虽然参与的门槛不低,但Filecoin的测试网络能够如期推出,对于翘首以待的业界参与者们显然是一个大大的鼓励了。尤其在这币市的寒冬,这股气打的正是时候。

IPFS 集群 - 必然之路

Filecoin的推出的门槛要求矿场提供较大量的存储(据说要10P的存储空间),虽然没有详细说明如何配置和加入测试,但矿主们必然需要考虑起来,如何把分散的设备集中起来,统一作为一个提供商进行服务。

集中分散的设备,统一进行服务,也就是集群。Filecoin如何支持集群,目前不得而知,但我们可以通过IPFS集群,来做一些探讨。初步考虑,可能涉及到如下问题:

一般集群所面临的问题:成员之间的识别,协调,管理,上线下线等

存储内容的管理:复制份数支持,有失效节点时的自动修复

Filecoin的支持:统一报价,统一服务质量,复制证明/时空证明,存储位置变更登记等

IPFS 集群的现状

IPFS集群 (IPFS cluster)是IPFS的项目的一部分,已经发展多年,但广泛使用的不多,很多都是使用IPFS集群在私有IPFS网络中来提供多数据中心的冗余备份,或内容加速。IPFS集群本身目的是为了加速IPFS网络的采用。其包含以下一些小目标:

为IPFS在数据中心等生产环境进行部署提供支持

为存储数据到多个节点实现自动备份和保护提供支持

支持大容量存储,尤其是单个IFPS节点不能支持完整的DAG的情况

为在IPFS之上建立数据与其他系统协作式备份服务等提供支持

当前IPFS Cluster为 0.7.0 版本,协议实验室在此项目上投入不大,开发持续进展,但相对较慢。毕竟 Filecoin 才是近期的重头戏。 当前版本已经支持大部分基本功能,例如:

在直接添加文件时自动复制,并长期保存(Pin)到IPFS的多个节点

实现通过IPFS 集群对内容直接获取或设置保存

基于Raft共识协议来实现网络分区或节点失效等的保护机制

最大和最小复制份数设置

在集群内实现内容复制的均匀分布

……

更多内容参见: https://cluster.ipfs.io/documentation/overview/

IPFS 集群的发展

以上的一些实现对于支持现实的网络也应用还远远不够,许多开发还在进行之中。大致而言,以下功能将在一年之中提供:

DAG分片支持 (针对超大容量数据的支持)

统计和日志跟踪

与现有流行的分布式文件系统的互操作性

在IPFS网络中直接针对IPFS Cluster添加,删除和移动数据 (相当于大型节点)

在生产环境中对超大容量数据的支持

根据地理位置优化数据访问策略的优化

……

更多内容参见:https://cluster.ipfs.io/roadmap/

利用 IPFS 集群解决现实问题

IPFS 集群可以由大型存储提供商提供,也可以形成联盟,从而实现联盟服务。在IPFS公共网络中,集群将是一个十分重要的存在,其不仅为整个公共网络提供支撑,而且可以集群本身,可以提供增值服务。比如说,提供更好的质量,提供更完备的备份服务,提供冷热数据的处理,提公高速访问的支持。举例来说:

企业的私有数据可能需要进行容灾备份,但数据非常敏感,这个时候需要提供加密支持,但数据的访问速度要求不高;

对于一些实时视频数据,要求非常高的访问速度,但可能不需要保存很长时间。这就需要CDN加速,现有的IPFS网络不适合进行高速加速,但通过IPFS Cluster可以根据地理位置进行同时多个复制,进行一定程度上的加速。

在集群的基础之上,可以提供不同的激励层,支持Filecoin或支持其他类型的激励管理。管理可以建立在集群之上,从而提供更好的服务。

另外,可以考虑多级集群的概念,集群之上可以建立联盟,形成统一的服务和管理。这也许是一个必然之路。类似于现有的一些矿场模式,有了专业的矿场,整个网络的服务质量可以提升,不同的节点可以提供差异化的服务,分别获得不同的收益。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181202G0A9XB00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券