分布式小文件系统fastdfs与weedfs的对比

小编小文件存储用的一直是Mongodb，Tair和FastDFS风评一直很不错，最近1年Net界用的比较多的基本上都是FastDFS或者Mongodb（分布式图片服务器集群）。我也是今天才看到seaweedfs，小编挺看好的，Net和Go的项目混搭在中大型Net技术主线公司是越来越常见了~~~~

最近拿一台双核1G的kvm vps搭建了一个图片的服务器，前面用百度云加速扛着，有了个专业图片存储及CDN的样子。每天还是有50W左右的PV，流量在30G左右。总结一下最近接触过的两个分布式小文件系统weedfs和fastdfs。

astdfs的详细介绍看这里=》 https://github.com/happyfish100/fastdfs

weedfs官方地址= >https://github.com/chrislusf/seaweedfs

在两个系统中都有一个负责管理存储节点或者存储卷的服务，weedfs中叫master,而fastdfs中叫做tracker。下面是在文档中对各自的master的解释

根据上面的解释就可以知道，master在上传和下载文件的过程中都承载着定位文件需要上传或者下载的具体的卷。

在具体存储小文件的时候，weedfs是通过将多个小文件的二级制存储到一个大文件中，然后通过索引进行具体的位置的定位。而fastdfs是通过文件夹散列的方式将文件直接存储在硬盘上面。但从这里就可以看出来，在海量小文件的情况下，weedfs产生的文件的元数据是很少的，因他他至于每个数据卷的元数据。而weedfs会产生大量的元数据，因为他依赖的是操作系统的文件管理系统，对每一个文件的定位以及验证都是通过元数据来进行的。

从上面的对比就可以看出来，在海量小文件的情况下肯定是weedfs的性能更高，因为他的文件元数据是相当少的，所以这部分经常被访问的元数据能够被操作系统或者内存直接缓存住，这样就减少了对磁盘的操作，而磁盘的操作只需要进行一次，就是在进行文件读取的时候。而fastdfs回产生海量的文件的元数据，大到一定程序了操作系统的缓存或者内存就无法进行全部存储了，这样就造成了在硬盘上进行随机读写来查找文件了，两个效率和速度以及对系统和硬盘造成的负载显而易见了。

总结：小文件存储不同于大文件，大文件的性能和时间消耗，主要在传输的带宽等限制上。而小文件主要在于系统本身的读取速度上。所以综合来说，个人觉得weedfs比fastdfs更先进，更能承受数量更大的小文件