搭建分布式文件系统FastDFS

阅读文本大概需要3分钟。

0x01：前言

FastDFS(Fast Distributed File System)是一款开源轻量级分布式文件系统；

FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。

• 跟踪器（tracker）

　　tracker Server是fastDFS的协调者（中间人角色）；完整的fastDFS服务运行期间，我们将对无法对storage Server进行直接管理，仅仅我们发起的操作会对storage Server内的文件进行操作，而真正对storage Server进行管理的是tracker Server——每个storage Server在启动后，会连接tracker Server并告知之自己的信息（如所在group），并且在tracker Server与该storage Server之间保持连接，两个角色之间会进行信息的交流，tracker Server会根据storage Server的反馈信息，在内存中（tracker Server不需要持久化任何数据）建立group==>[storage server list]映射表。

　　在fastDFS集群中，多个tracker Server之间的信息数据会进行同步，而这一机制并不是由tracker Server之间互相完成的，而是由storage Server完成的。因为在storage Server的配置文件有该fastDFS服务中的所有tracker Server，storage Server会为每一个tracker Server创建一个通信线程，在storage Server与tracker Server通信过程中，如果该tracker Server返回的该group的storage Server列表信息相对于本机较少，那么storage Server就会将该tracker Server上所没有的该group的storage Server列表信息同步给该tracker Server。这就使得各tracker Server之间的数据保持一致。

• 存储节点（storage）

　　storage Server是存储的角色，存储文件由storage Server进行管理。每一个storage Server的数据存储目录会有两级子目录，每一级都有256个子文件夹，一共有256*256=65536个文件夹。当有新文件被写入时，会以hash的方式被路由到其中的某个子目录下，然后新文件数据直接作为一个本地文件存储到该目录中。

　　storage Server以group【或volume（一个意思）】为单位组织，即便整个fastDFS只有一个storage Server，它也有一个group。

　　在fastDFS集群中，以group为单位可以方便负载均衡，由tracker Server配合可以实现改组内访问压力的均衡；也可以方便副本（即备份）数量的定制，同一组内的storage Server的数量减一，即为副本的数量。

　　在一个group内的storage Server之间的数据会互为备份，这一功能是由后台线程完成的。当客户端将一个文件写入group内的一个storage Server，则会认为文件写入成功，后台线程便会将文件同步到该group内的storage Server。注意：由于一个group内的storage Server数据互为备份，所以存储空间的容量由该group内的最小容量的storage Server决定。

　　同一个group内的storage Server在写文件后，会写一份binlog，这个binlog记录着文件名等元信息，它用于后台的同步，每个storage Server会记录向该group内其他storage Server的同步进度，记录进度的方式是时间戳，为的是避免机器down掉失去同步进度，以便在机器重启后接着进度继续同步。同时storage Server的同步进度会以元数据发送给tracker Server，以便在client访问文件时，作为tracker Server选择服务的storage Server的参考（即哪台strong Server上有该文件）。

0x02：安装libfastcommon

1. 获取libfastcommon安装包： wget https://github.com/happyfish100/libfastcommon/archive/V1.0.38.tar.gz
2. 解压安装包：tar -zxvf V1.0.38.tar.gz
3. 进入目录：cd libfastcommon-1.0.38
4. 执行编译：./make.sh
5. 安装：./make.sh install

可能遇到的问题：

-bash: make: command not found
-bash: gcc: command not found

解决方案：

debian通过apt-get install gcc make安装
centos通过yum -y install gcc make安装

0x03：安装FastDFS

1. 获取fdfs安装包： wget https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz
2. 解压安装包：tar -zxvf V5.11.tar.gz
3. 进入目录：cd fastdfs-5.11
4. 执行编译：./make.sh
5. 安装：./make.sh install

1. 查看可执行命令：ls -la /usr/bin/fdfs*

0x04：配置Tracker服务

1. 进入/etc/fdfs目录，有三个.sample后缀的文件（自动生成的fdfs模板配置文件），通过cp命令拷贝tracker.conf.sample，删除.sample后缀作为正式文件：

1. 编辑tracker.conf：vi tracker.conf，修改相关参数 base_path=/home/mm/fastdfs/tracker #tracker存储data和log的跟路径，必须提前创建好 port=23000 #tracker默认23000 http.server_port=80 #http端口，需要和nginx相同
2. 启动tracker（支持start|stop|restart）： /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start
3. 查看tracker启动日志：进入刚刚指定的base_path(/home/mm/fastdfs/tracker)中有个logs目录，查看tracker.log文件

1. 查看端口情况：netstat -apn|grep fdfs

可能遇到的报错：

/usr/bin/fdfs_trackerd: error while loading shared libraries:

libfastcommon.so: cannot open shared object file:

 No such file or directory

解决方案：建立libfastcommon.so软链接

ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so

0x05：配置Storage服务

1. 进入/etc/fdfs目录，有cp命令拷贝storage.conf.sample，删除.sample后缀作为正式文件;
2. 编辑storage.conf：vi storage.conf，修改相关参数： base_path=/home/mm/fastdfs/storage #storage存储data和log的跟路径，必须提前创建好 port=23000 #storge默认23000，同一个组的storage端口号必须一致 group_name=group1 #默认组名，根据实际情况修改 store_path_count=1 #存储路径个数，需要和store_path个数匹配 store_path0=/home/mm/fastdfs/storage #如果为空，则使用base_path tracker_server=10.122.149.211:22122 #配置该storage监听的tracker的ip和port
3. 启动storage（支持start|stop|restart）： /usr/bin/fdfs_storaged /etc/fdfs/storage.conf start
4. 查看storage启动日志：进入刚刚指定的base_path(/home/mm/fastdfs/storage)中有个logs目录，查看storage.log文件

1. 此时再查看tracker日志：发现已经开始选举，并且作为唯一的一个tracker，被选举为leader

1. 查看端口情况：netstat -apn|grep fdfs

1. 通过monitor来查看storage是否成功绑定： /usr/bin/fdfs_monitor /etc/fdfs/storage.conf 

0x06：安装Nginx和fastdfs-nginx-module模块

1. 下载Nginx安装包 wget http://nginx.org/download/nginx-1.15.2.tar.gz
2. 下载fastdfs-nginx-module安装包 wget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz
3. 解压nginx：tar -zxvf nginx-1.15.2.tar.gz
4. 解压fastdfs-nginx-module：tar -xvf V1.20.tar.gz
5. 进入nginx目录：cd nginx-1.10.1
6. 安装依赖的库 apt-get update apt-get install libpcre3 libpcre3-dev openssl libssl-dev libperl-dev
7. 配置，并加载fastdfs-nginx-module模块： ./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/fastdfs-nginx-module-1.20/src/
8. 编译安装： make make install
9. 查看安装路径：whereis nginx

1. 启动、停止： cd /usr/local/nginx/sbin/ ./nginx ./nginx -s stop #此方式相当于先查出nginx进程id再使用kill命令强制杀掉进程 ./nginx -s quit #此方式停止步骤是待nginx进程处理任务完毕进行停止 ./nginx -s reload
2. 验证启动状态：wget "http://127.0.0.1"

1. 查看此时的nginx版本：发现fastdfs模块已经安装好了

可能的报错：

/usr/include/fastdfs/fdfs_define.h:15:27: fatal error: common_define.h: 
No such file or directory


解决方案：修改fastdfs-nginx-module-1.20/src/config文件，然后重新第7步开始

ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

0x08：配置Nginx和fastdfs-nginx-module模块

1. 配置mod-fastdfs.conf，并拷贝到/etc/fdfs文件目录下 cd fastdfs-nginx-module-1.20/src/ cp mod_fastdfs.conf /etc/fdfs
2. 进入/etc/fdfs修改mod-fastdfs.conf： base_path=/home/mm/fastdfs tracker_server=10.122.149.211:22122 #tracker的地址 url_have_group_name=true #url是否包含group名称 storage_server_port=23000 #需要和storage配置的相同 store_path_count=1 #存储路径个数，需要和store_path个数匹配 store_path0=/home/mm/fastdfs/storage #文件存储的位置
3. 配置nginx，80端口server增加location如图： cd /usr/local/nginx/conf/ vi nginx.conf 

1. 最后需要拷贝fastdfs解压目录中的http.conf和mime.types： cd /usr/local/src/fastdfs-5.11/conf cp mime.types http.conf /etc/fdfs/

0x09：FastDFS常用命令测试

上传文件

1. 进入/etc/fdfs目录，有cp命令拷贝client.conf.sample，删除.sample后缀作为正式文件;
2. 修改client.conf相关配置： base_path=/home/mm/fastdfs/tracker //tracker服务器文件路径 tracker_server=10.122.149.211:22122 //tracker服务器IP地址和端口号 http.tracker_server_port=80 # tracker服务器的http端口号，必须和tracker的设置对应起来
3. 新建一个测试文档1.txt，内容为abc
4. 命令： /usr/bin/fdfs_upload_file <config_file> <local_filename>
5. 示例： /usr/bin/fdfs_upload_file /etc/fdfs/client.conf 1.txt 

组名：group1 磁盘：M00 目录：00/00 文件名称：CnqV01trmeyAbAN0AAAABLh3frE677.txt

1. 查看结果，进入storage的data目录：

1. 通过wget和浏览器方式访问成功： wget http://10.122.149.211/group1/M00/00/00/CnqV01trmeyAbAN0AAAABLh3frE677.txt



下载文件：

1. 命令： /usr/bin/fdfs_download_file <config_file> <file_id> [local_filename]
2. 示例： /usr/bin/fdfs_download_file /etc/fdfs/client.conf group1/M00/00/00/CnqV01trmeyAbAN0AAAABLh3frE677.txt a.txt
3. 查看结果：

删除文件：

1. 命令： /usr/bin/fdfs_delete_file <config_file> <file_id>
2. 示例： /usr/bin/fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/CnqV01trmeyAbAN0AAAABLh3frE677.txt
3. 查看结果，进入storage的data目录文件不存在，通过wget再次获取404：