FastDFS实现分布式文件系统

呆嘎吼，又到每天该晨博的时间了!

—

“

今日小姐姐...

看博客是一件痛苦却需要坚持的事情，能够让你不断前进不掉队。而写博客则是将看过的知识点消化复现的过程，同样需要坚持。

FastDFS

FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。

存储节点存储文件，完成文件管理的所有功能：就是这样的存储、同步和提供存取接口，FastDFS同时对文件的metadata进行管理。所谓文件的meta data就是文件的相关属性，以键值对（key value）方式表示，如：width=1024，其中的key为width，value为1024。文件metadata是文件属性列表，可以包含多个键值对。

跟踪器和存储节点都可以由一台或多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。

为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。

在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。

当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。

FastDFS中的文件标识分为两个部分：卷名和文件名，二者缺一不可。

上传交互过程

client询问tracker上传到的storage，不需要附加参数；

tracker返回一台可用的storage；

client直接和storage通讯完成文件上传。

下载交互过程

搭建环境文件下载列表

FastDFS_v5.05.tar.gz

nginx-1.14.0.tar.gz

fastdfs-nginx-module_v1.16.tar.gz

fastdfs_client_v1.20.jar

libfastcommonV1.0.7.tar.gz

搭建FastDFS环境

1、上传所有下载的压缩源码包

选择CentOS6.4系统，具体安装见JavaEE进阶——CentOS开发环境搭建

2、安装FastDFS之前，先安装libevent工具包

3、安装libfastcommon工具包。

4、安装Tracker服务

修改配置文件：

启动tracker：

5、安装Storage服务

如果是在不同的服务器安装，需要在新的机器编译FastDFS_v5.05.tar.gz源码包，不需要配置Tracker服务而已。

修改配置文件：

启动storage服务：

测试服务

1、修改配置/etc/fdfs/client.conf

2、启动测试

搭建nginx提供http服务

解压插件压缩包fastdfs-nginx-module_v1.16.tar.gz

修改/root/fastdfs-nginx-module/src/config文件，把其中的local去掉。

对nginx重新config，添加Fastdfs-nginx-module：

把/root/fastdfs-nginx-module/src/mod_fastdfs.conf文件复制到/etc/fdfs目录下，进行编辑：

nginx的配置

}

将libfdfsclient.so拷贝至/usr/lib下:

启动nginx。