FastDFS V5.12分布式文件系统介绍

似水的流年

发布于 2019-12-06 14:07:16

4880

发布于 2019-12-06 14:07:16

1.绪论

最近要用到fastDFS，所以自己研究了一下，在搭建FastDFS的过程中遇到过很多的问题，为了能帮忙到以后搭建FastDFS的同学，少走弯路，与大家分享一下。FastDFS的作者淘宝资深架构余庆，这个优秀的轻量及的分布式文件系统的开源没多久，立马就火了。由于篇幅较大，本博文共四篇，第一篇主要介绍FastDFS，下载相关软件包，为搭建做好准备。第二篇会讲到在CentOS下搭建FastDFS的详细过程。第三篇，会讲到整合nginx详细内容。第四篇主要讲FastDFS在怎么用fastdfs-client-java连接，并结合实例。

2.应用场景

FastDFS是为互联网应用量身定做的一套分布式文件存储系统，非常适合用来存储用户图片、视频、文档等文件。对于互联网应用，和其他分布式文件系统相比，优势非常明显。其中有好几家是做网盘的公司。其中存储量最大的一家，集群中存储group数有400个，存储服务器超过800台，存储容量达到6PB，文件数超过1亿，Group持续增长中。以下是使用FastDFS的用户列表： UC （http://www.uc.cn/，存储容量超过10TB）支付宝（http://www.alipay.com/）京东商城（http://www.360buy.com/）淘淘搜（http://www.taotaosou.com/）飞信（http://feixin.1008.cn/）赶集网（http://www.ganji.com/）淘米网（http://www.61.com/）迅雷（http://www.xunlei.com/）蚂蜂窝（http://www.mafengwo.cn/）丫丫网（http://www.iyaya.com/）虹网（http://3g.ahong.com） 5173（http://www.5173.com/）华夏原创网（http://www.yuanchuang.com/）华师京城教育云平台（http://www.hsjdy.com.cn/）视友网（http://www.cuctv.com/）搜道网（http://www.sodao.com/） 58同城（http://www.58.com/）商务联盟网（http://www.biz72.com/）中青网（http://www.youth.cn/）缤丽网（http://www.binliy.com/）飞视云视频（http://www.freeovp.com/）梦芭莎（http://www.moonbasa.com/）活动帮（http://www.eventsboom.com） 51CTO（http://www.51cto.com/）搜房网（http://www.soufun.com/）

3.详细介绍

FastDFS是一个开源的分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。

存储节点存储文件，完成文件管理的所有功能：存储、同步和提供存取接口，FastDFS同时对文件的meta data进行管理。所谓文件的meta data就是文件的相关属性，以键值对（key value pair）方式表示，如：width=1024，其中的key为width，value为1024。文件meta data是文件属性列表，可以包含多个键值对。

FastDFS系统结构如下图所示：

跟踪器和存储节点都可以由一台多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。

为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。

在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。

当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。 FastDFS中的文件标识分为两个部分：卷名和文件名，者缺一不可。