5分钟教你轻松搭建FastDFS分布式文件系统

原创

Lion Long

发布于 2024-12-23 20:51:48

16300

代码可运行

文章被收录于专栏：后端开发技术

运行总次数：0

代码可运行

一、搭建环境

操作系统：Ubuntu 16.04 前提：开启root权限；如果没有，则在操作的时候需要使用sudo去获取一些执行权限。版本（保证匹配）：（1）libfastcommon 1.0.50，是基础库（网络封装、线程封装等）。（2）fastdfs 6.0.7，包含tracker、storage、client等的实现。

二、安装libfastcommon

libfastcommon 的github下载地址(https://github.com/happyfish100/libfastcommon)。安装FastDFS前，需要先安装libfastcommon。

git clone https://gitee.com/fastdfs100/libfastcommon.git
cd libfastcommon
git checkout V1.0.50
./make.sh
sudo ./make.sh install

注意版本的切换，V是大写。这里使用的gitee，因为从github可能存在下载失败的情况。

三、安装 FastDFS

git clone https://gitee.com/fastdfs100/fastdfs.git
cd fastdfs
git checkout V6.07
./make.sh
sudo ./make.sh install

注意版本的切换，V是大写。这里使用的gitee，因为从github可能存在下载失败的情况。

四、配置Tracker

# 创建 Tracker 的存储日志和数据的根目录
sudo mkdir -p /home/fastdfs/tracker
cd /etc/fdfs
sudo cp tracker.conf.sample tracker.conf
# 配置 tracker.conf
sudo vim tracker.conf

在这里，tracker.conf 只是修改一下 Tracker 存储日志和数据的路径：

# 启用配置文件（默认为 false，表示启用配置文件）
disabled=false
# Tracker 服务端口（默认为 22122）
port=22122
# 存储日志和数据的根目录
base_path=/home/fastdfs/tracker

主要修改base_path路径。 base_path是存储日志和数据的根目录，在设置时要保证目录的存在；如果不存在可以自己去创建，也可以改为其他的目录。

port是Tracker的服务端口，如果是云服务器，一定要开放对应的端口。比如腾讯云或阿里云，要在web后台安全组放行端口，不是防火墙后台（注意）。

五、配置Storage

# 创建 Storage 的存储日志和数据的根目录
sudo mkdir -p /home/fastdfs/storage
cd /etc/fdfs
sudo cp storage.conf.sample storage.conf
# 配置 storage.conf
sudo vim storage.conf

在这里，storage.conf 只是修改一下 storage 存储日志和数据的路径：

# 启用配置文件（默认为 false，表示启用配置文件）
disabled=false
# Storage 服务端口（默认为 23000）
port=23000
# 数据和日志文件存储根目录
base_path=/home/fastdfs/storage
# 存储路径，访问时路径为 M00
# store_path1 则为 M01，以此递增到 M99（如果配置了多个存储目录的话，这里只指定 1 个）
# store_path0 M00
store_path0=/home/fastdfs/storage
# Tracker 服务器 IP 地址和端口，单机搭建时也不要写 127.0.0.1
# tracker_server 可以多次出现，如果有多个，则配置多个
tracker_server=114.215.169.66:22122
# 设置 HTTP 访问文件的端口。这个配置已经不用配置了，配置了也没什么用
# 这也是为何 Storage 服务器需要 Nginx 来提供 HTTP 访问的原因
http.server_port=8888

主要修改：base_path、store_path0、tracker_server。 Tracker 服务器 IP 地址和端口，单机搭建时也不要写 127.0.0.1。 tracker_server 可以多次出现，如果有多个，则配置多个（切记写自己的IP地址）

port如果是云服务器，一定要开放对应的端口。比如腾讯云或阿里云，要在web后台安全组放行端口，不是防火墙后台（注意）。

注意，只有多个磁盘才配置多个路径，因为多个磁盘才可以同时写入和同时读取；一个磁盘多个路径同时只能读取一个路径一个文件；所以设置一个磁盘多个路径是没有意义的。

tracker server是可以配置多个的，因为fastDFS支持tracker server集群。

六、启动 Tracker 和 Storage 服务

6.1、启动服务

# 启动 Tracker 服务
# 其它操作则把 start 改为 stop、restart、reload、status 即可。Storage 服务相同
sudo /etc/init.d/fdfs_trackerd start
# 启动 Storage 服务
sudo /etc/init.d/fdfs_storaged start

提示：

Starting FastDFS tracker server: 

Starting FastDFS storage server:

6.2、查看服务是否正常启动

可以通过对应服务的端口查看服务是否正常启动（如果是云服务器，注意要开放对应端口）。（1）sudo lsof -i:22122

COMMAND     PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
fdfs_trac 37158 root    5u  IPv4  84121      0t0  TCP *:22122 (LISTEN)
fdfs_trac 37158 root   18u  IPv4  80882      0t0  TCP 192.168.0.104:22122->192.168.0.104:37166 (ESTABLISHED)

（2）sudo lsof -i:23000

COMMAND     PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
fdfs_stor 37171 root    5u  IPv4  84155      0t0  TCP *:23000 (LISTEN)

（3）可以通过 fdfs_monitor 查看集群的情况。

sudo /usr/bin/fdfs_monitor /etc/fdfs/storage.conf

提示：

[2022-11-06 13:56:44] DEBUG - base_path=/home/fastdfs/storage, connect_timeout=5, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=1, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0

server_count=1, server_index=0

tracker server is 192.168.0.104:22122

group count: 1

Group 1:
group name = group1
disk total space = 99,701 MB
disk free space = 87,732 MB
trunk free space = 0 MB
storage server count = 1
active server count = 1
storage server port = 23000
storage HTTP port = 8888
store path count = 1
subdir count per path = 256
current write server index = 0
current trunk file id = 0

	Storage 1:
		id = 192.168.0.104
		ip_addr = 192.168.0.104  ACTIVE
		http domain = 
		version = 6.07
		join time = 2022-11-06 13:50:11
		up time = 2022-11-06 13:50:11
		total storage = 99,701 MB
		free storage = 87,732 MB
		upload priority = 10
		store_path_count = 1
		subdir_count_per_path = 256
		storage_port = 23000
		storage_http_port = 8888
		current_write_path = 0
		source storage id = 
		if_trunk_server = 0
		connection.alloc_count = 256
		connection.current_count = 0
		connection.max_count = 0
		total_upload_count = 0
		success_upload_count = 0
		total_append_count = 0
		success_append_count = 0
		total_modify_count = 0
		success_modify_count = 0
		total_truncate_count = 0
		success_truncate_count = 0
		total_set_meta_count = 0
		success_set_meta_count = 0
		total_delete_count = 0
		success_delete_count = 0
		total_download_count = 0
		success_download_count = 0
		total_get_meta_count = 0
		success_get_meta_count = 0
		total_create_link_count = 0
		success_create_link_count = 0
		total_delete_link_count = 0
		success_delete_link_count = 0
		total_upload_bytes = 0
		success_upload_bytes = 0
		total_append_bytes = 0
		success_append_bytes = 0
		total_modify_bytes = 0
		success_modify_bytes = 0
		stotal_download_bytes = 0
		success_download_bytes = 0
		total_sync_in_bytes = 0
		success_sync_in_bytes = 0
		total_sync_out_bytes = 0
		success_sync_out_bytes = 0
		total_file_open_count = 0
		success_file_open_count = 0
		total_file_read_count = 0
		success_file_read_count = 0
		total_file_write_count = 0
		success_file_write_count = 0
		last_heart_beat_time = 2022-11-06 13:56:15
		last_source_update = 1970-01-01 08:00:00
		last_sync_update = 1970-01-01 08:00:00
		last_synced_timestamp = 1970-01-01 08:00:00

PS: 可以去查看/etc/init.d/fdfs_trackerd文件， fdfs_trackerd的实际执行程序为：/usr/bin/fdfs_trackerd，配置文件为：/etc/fdfs/tracker.conf。这样后续也可以单台机器通过修改端口的方式去启动多个tracker、storage。

6.3、查看日志的方式

tracker：

sudo tail -f /home/fastdfs/tracker/logs/trackerd.log

storage：

sudo tail -f /home/fastdfs/storage/logs/storaged.log

6.4、其他服务命令

tracker：

# 启动：
sudo /etc/init.d/fdfs_trackerd start
# 停止：
sudo /etc/init.d/fdfs_trackerd stop
# 重启 ：
sudo /etc/init.d/fdfs_trackerd restart

storage：

# 启动：
sudo /etc/init.d/fdfs_storaged start
# 停止：
sudo /etc/init.d/fdfs_storaged stop 
# 重启 ：
sudo /etc/init.d/fdfs_storaged restart

七、测试上传文件

# 修改 Tracker 服务器客户端配置文件
sudo mkdir -p /home/fastdfs/client
sudo cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
sudo vim /etc/fdfs/client.conf

client.conf 中修改 base_path 和 Tracker 服务器的 IP 地址与端口号即可，主要修改base_path和tracker_server。

# 存储日志文件的基本路径
base_path=/home/fastdfs/client
# Tracker 服务器 IP 地址与端口号
tracker_server=114.215.169.66:22122

格式：

/usr/bin/fdfs_upload_file 配置文件 要上传的文件

示例：

sudo /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /etc/fdfs/client.conf.sample

结果：

group1/M00/00/00/wKgAaGNnUJSAR4QWAAAHdTVMtgU.sample

当返回文件 ID 号，如：group1/M00/00/00/wKgAaGNnUJSAR4QWAAAHdTVMtgU.sample 则表示上传成功。如果报错：tracker_query_storage fail, error no: 2, error info: No such file or directory，一般都是因为路径没有设置对。可以使用如下命令查看日志：

tail -f /home/fastdfs/storage/logs/storaged.log

八、测试下载文件

在client所在的机器完成下载、删除测试。（1）下载：格式：

/usr/bin/fdfs_download_file 配置文件 要下载的文件

示例：

sudo /usr/bin/fdfs_download_file /etc/fdfs/client.conf group1/M00/00/00/wKgAaGNnUJSAR4QWAAAHdTVMtgU.sample

结果：

# ls
wKgAaGNnUJSAR4QWAAAHdTVMtgU.sample

（2）删除：格式：

/usr/bin/fdfs_delete_file 配置文件 文件名

示例：

sudo /usr/bin/fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/wKgAaGNnUJSAR4QWAAAHdTVMtgU.sample

查看文件是否已经被删除可以进去/home/fastdfs/storage/data/00/00路径查看刚才的文件是否被删除。

九、小结

以上则完成了 FastDFS 的安装与配置，可以使用 api 来完成文件的上传、同步和下载。当然，接下来还会安装 Nginx。目的如下：（1）Storage 安装 Nginx，为了提供 http 的访问和下载服务，同时解决 group 中 Storage 服务器的同步延迟问题。（2）Tracker 安装 Nginx，主要是为了提供 http 访问的反向代理、负载均衡以及缓存服务。