问在多台服务器上安全存储数据的最佳方法？

EN

听起来你的要求太不切实际了。

首先，100 TB的数据非常多。你真的需要所有的东西同时可用吗？如果是这样的话，您需要查看的不仅仅是将其分散到多个服务器上。需要考虑的是网络和访问方面的考虑和性能限制。如果你真的对如此多的在线数据有合法的需求，你将有很多同时访问它的机会。您的服务器是否能够完成所有这些IOPS的任务？还有备份的问题..。要备份数据的100+ TB，您将需要一个巨大的备份系统，需要多个磁带库和/或D2D备份系统。你问这个问题的方式让我完全相信你没有考虑过这些问题，你需要这样做。

设置这么多数据是一个项目中的几个项目(或一个非常大的项目，取决于您的公司是如何工作的)。请不要把这件事看错了，但你显然不能胜任这项任务。事实上，世界上很少有人能够独自完成这类任务，而且没有人会评论喜欢RAID5，并想知道如何将其扩展到多个服务器或做同样事情的文件系统。

更重要的是，没有空间高效、容错的方法来分配大数据集.从根本上讲，您为了容错牺牲了空间效率，因为如果您的一个分布式节点出现故障，则继续提供对其所持有数据的访问的唯一方法是以某种形式拥有该数据的另一份或多份副本。因此，您既可以对数据进行容错访问，也可以有效地利用可用的磁盘空间，而不是两者兼而有之。要对数据的100+ TB进行基本的容错存储，至少需要两倍(200+ TB)磁盘空间。

在与上述几个点/切线有某种关联的情况下，RAID5不是魔术。它通过奇偶校验比特的计算来实现冗余。这样可以节省空间，节省计算时间。作为一种容错方法，它在大数据集上也不是一个好主意，因为您几乎肯定会在某个时候遇到一个比特级的错误，从而消除了您的容错性，而且计算量非常大。在大型ish RADI5数组上重建一个失败的磁盘可能需要几天时间.您认为需要多长时间才能对失败节点上的20 to数据进行更复杂的奇偶计算？

例如，GlusterFS可以做到这一点。

但是您可以在这里找到许多其他文件系统：http://en.wikipedia.org/wiki/List_的_文件_systems#Distributed_容错性_文件_系统

看一看MooseFS，3年来我们在这里使用105 we，它工作得很好。