NFS操作和部署

原创

jackxiao

发布于 2021-11-16 16:58:10

4600

发布于 2021-11-16 16:58:10

文章被收录于专栏：DevOps运维DevOps运维

1 基础知识

1.1 简述和应用场景

简述 NFS :网络文件系统（network file system）,通过网络让不同的主机系统之间可以共享文件或目录，客户端通过挂载服务端目录到本地的方式访问服务端
应用场景：多台web集群通过负载均衡器对外提供访问时，将所有图片、附件、视频等存储在一个特定服务器上，避免了分散存储在web服务器上的数据同步问题

1.2 好处和原理

现共享存储好处：
- 实现数据统一一致
- 节省网站磁盘资源
- 节省网站访问带宽
端口和RPC： NFS没有固定的对外端口，每次启动都会随机选择空闲端口，要让客户端能够通过网络访问NFS共享，就要用到RPC服务，RPC服务相当于中介，NFS每次启动都会向RPC通知端口信息，客户访问NFS共享也是先找RPC获取NFS的端口再以该端口访问NFS共享的资源 RPC服务要先于NFS服务启动，NFS才能正常工作
NFS共享存储服务的原理： nfs服务端创建共享存储目录 nfs客户端创建远程挂载点目录 nfs客户端进行远程挂载实现客户端数据信息统一一致

2 NFS服务部署

2.1 环境信息

2.1.1 系统信息

[root@xxx ~]# cat /etc/redhat-release 
CentOS release 6.9 (Final)
uname -r
2.6.32-696.el6.x86_64

2.1.2 服务器信息

服务器名	IP地地址	服务器用途
nfs01	192.168.1.41	nfs备份服务器
web01	192.168.1.7	web服务器
web02	192.168.1.8	web服务器
web03	192.168.1.9	web服务器

2.2 服务端部署

检查并安装NFS服务

rpm -aq|egrep "nfs-utils|rpcbind"
yum install nfs-utils rpcbind -y
rpm -aq|egrep "nfs-utils|rpcbind"

#检查这两个软件是否安装，安装完成后再次检查 2) 编辑nfs配置文件

cat >>/etc/exports <<"EOF"
/data  172.16.1.0/24(rw,sync)
EOF

该文件默认存在 3) 创建共享目录并授权

mkdir /data
chown -R nfsnobody.nfsnobody /data
# nfsnobody用户是安装nfs程序时自动创建的

启动rpc和NFS服务

/etc/init.d/rpcbind start
/etc/init.d/nfs start

需先启动rpc服务 5) 检查服务状况和共享目录是否可用

[root@xxx ~]# rpcinfo -p 172.16.1.31
#有rpc服务的111端口,nfs服务的2049端口,和很多mount端口,表示正确
[root@xxx ~]# showmount -e 10.0.0.31
Export list for 172.16.1.31:
/data 172.1.1.0/24

如果出现以上结果，表示服务端配置成功最好在本地挂载一次，挂载成功在取消挂载，至少可以确认服务端配置正确，能够挂载 6) 设置开机自启动并检查

chkconfig nfs on
chkconfig rpcbind on
chkconfig --list|egrep "nfs|rpcbind"

2.3 客户端部署[3台一样的操作]

检查并安装NFS服务

rpm -aq|egrep "nfs-utils|rpcbind"
yum install nfs-utils rpcbind -y

[root@xxx ~]# showmount -e 172.16.1.31
[root@xxx ~]# mount -t nfs 172.16.1.31:/data /mnt
[root@xxx ~]# df -h|tail -1
Filesystem         Size  Used Avail Use% Mounted on
172.16.1.31:/data  8.6G  1.9G  6.4G  23% /mnt

设置开机自启动挂载

echo " mount -t nfs 172.16.1.31:/date /mnt " >>/etc/rc.local

不要放入/etc/fatab做开机启动,因为fstab启动较早，那个时候网络服务还未启动，挂载会失败 4) 进行共享存储测试说明：在本机的mnt目录中创建的数据，在nfs和其他挂载了此目录的服务器上都可以看到，即已经实现数据共享存储

3 配置和进程等说明

3.1 NFS共享文件系统相关重要文件说明

/etc/exports			nfs服务主配置文件
/usr/sbin/showmount		查看nfs服务共享目录信息
/usr/sbin/rpcinfo		查看rpc服务中是否有房源注册信息
/var/lib/nfs/etab		用于查看nfs服务默认配置信息
/proc/mounts			nfs客户端mount挂载参数（可以查看默认挂载参数信息）

3.2 NFS服务启动的进程说明

3.3 NFS配置文件说明：

常见配置和参数说明

[root@xxx ~]# cat /etc/exports
/date  172.16.1.0/24(rw,sync)
[目录] [客户端地址][权限]

目录要共享的目录,使用绝对路径,需要属于nfsnobody用户,且注意读写权限
客户端地址可以为单独的IP地址,主机名,域名,网段地址,*[所有]
权限[与地址之间无空格],推荐使用红色权限

rw		读写；
ro		只读；
sync	[默认]直接写入硬盘；
async	异步写入硬盘（先写入内存缓冲区）
all_squash		压缩所有用户的权限为压缩为匿名用户[nfsnobody]
no_all_squash	[默认]不进行用户权限压缩
root_squash	[默认]压缩root用户的权限为匿名用户[nfsnobody]
no_root_squash 不压缩root用户权限(危险,少用)
anonuid		匿名用户uid,默认即可
anongid		匿名用户gid,默认即可
注意：文章最后有详细上述几个参数关系图解

更多配置[一般不管]

[root@xxx ~]# cat /var/lib/nfs/etab
/data 172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash,no_subtree_check,secure_locks,acl,anonuid=65534,anongid=65534,sec=sys,rw,root_squash,no_all_squash)

可以看到，除了我们配置在export文件中的参数，还有许多系统自己预定义的参数，如创建用户

3.4 NFS共享文件系统权限参数设置梳理

NFS服务器/etc/exports设置需要开放可写入的权限，即服务器端的共享权限。
NFS服务器实际要共享的NFS目录权限具有可写入w的权限
每台机器对应存在和NFS默认配置UID的相同UID 65534的nfsnobody用户 (确保所有客户端的访问权限统一，否则每个机器需要同时建立相同UID的用户，并覆盖NFS的默认用户配置)

只有满足上述三个条件，多个NFS客户端才能具有查看、修改、删除其他任意NFS客户端上传文件的权限，这在大规模的集群环境中作为集群共享存储时尤为重要

3.5 常见问题

[root@xxx ~]# showmount -e server_ip
clnt_create: PRC: Program not registered
#服务端服务启动顺序有问题
clnt_create: PRC: Port mapper failure - Unable to receive: errno 111(Connetcion refused)
#防火墙问题或服务没有启动，或端口没有开启