1.NFS配置权限
1)rw 可读写数据。(read write)
2)ro 只能读数据。(read only)
3)sync 写数据到磁盘中,速度慢但是安全。
4)async 异步写数据到远程缓冲区,速度快,但是不安全。
5)all_squash 不管客户端什么用户写数据到共享目录,到服务端都是nfsnobody。
6)anonuid 匿名用户的UID。
7)anongid 匿名用户的GID。
2.客户端和服务器端安全挂载以及优化
2.1CentOS7.6 6 x86_64服务器端和客户端环境下,使用如下参数:
mount -t nfs -o noatime,nodiratime,nosuid,noexec,nodev,rsize=131072,wsize=131072 172.16.1.31:/data /mnt
默认挂载参数如下:
mount -t nfs 172.16.1.31:/data /mnt
两种方法相比较的话C7默认的挂载参数性能还是很不错的,但在考虑安全以及优化挂载的情况下,推荐第一种,但要注意非性能的参数越多,速度可能会越慢。
2.2企业生产场景NFS共享存储优化总结
1)硬件方面:sas/ssd磁盘,买多块,硬件raid,制作raid5或rdid10,网卡吞吐量要大,至少千兆。
2)NFS服务器端配置:
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=65534,anongid=65534)
3)NFS客户端挂载优化配置命令(兼顾安全性能):
mount -t nfs -o nosuid,noexec,nodev,noatime,nodiratime,rsize=131072,wsize=131072172.16.1.31:/data /data
4)对NFS服务的所有服务器内核进行优化时,执行如下命令:
cat >>/etc/sysctl.conf<<EOF
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
EOF
执行sysctl -p 生效。
如果卸载的时候提示:umount.nfs4: /data: device is busy,则需要退出挂载目录在进行卸载,如果是NFS server宕机了,则需要强制卸载,可执行umount -lf /mnt。
大型网站NFS网络文件系统的替代软件为分布是文件系统Moosefs(mfs)、
GlusterFS、FastDFS。
3.NFS系统应用的优缺点
NFS服务可以让不同的客户端挂载使用同一个共享目录,也就是将其作为共享存储使用,这样可以保证不同节点客户端数据的一致性,在集群架构环境中经常会用到。如果是Windows和Linux混合环境的集群系统,可以用samba来实现。
3.1优点:
1)简单,容易上手,容易掌握。
2)NFS文件系统内数据是在文件系统智商的,即数据是能看见的。
3)部署快速,维护简单方便,且可控,满足需求的就是最好的。
4)可靠,从软件层面上看,数据可靠性高,经久耐用。数据是在文件系统之上的。
5)服务非常稳定
3.2局限性:
1)存在单点故障,如果NFS宕机了,所有客户端都不能访问共享目录。(但是可以用负载均衡以及高可用方案弥补)
2)在大数据高并发的场合,NFS效率、性能有限(2千万/天以下PV的网站不是瓶颈,除非网站架构设计太差)。
3)客户端认证是基于IP和主机名的,权限要根据ID识别,安全性一般(用于内网则问题不大)
3.3应用建议:
大中小型网站线上应用以及门户网站都可以应用,在生产场景应该多把数据的访问往前推,即尽量把静态存储里的资源通过CDN或缓存服务器提供服务,如果没有缓存服务或架构不好,存储服务器数量再多也是扛不住压力的,而且用户体验会很差。
1)使用CDN加速以及自己搭建文件缓存服务(squid,nginx,varnish)。
2)把多个目录分配到不通的NFS服务器上。
3)弃用NFS。
4)使用分布式文件系统。
4.项目实践
需求一、NFS共享的匿名用户用www,使得客户端上传的图片都是www用户,而不是匿名的nfsnobody。
需求二、web01 web02客户端实现挂载到nfs。
需求三、NFS下面共享/backup ,允许web01 web02客户端(/backup)可读写。
需求四、web01上传图片,web02上可以删除web01上传的图片。
需求五、实现开机自动挂载。
需求六、挂载的时候要优化挂载。
解答:
一、在原有的优化好的虚拟机上克隆3台虚拟机分别为nfs、web01、web02,并配置内网IP分别为172.16.1.31、172.16.1.7、172.16.1.8,外网IP为10.0.0.31、10.0.0.7、10.0.0.8,并重启网卡连接xshell。
二、在3台服务器上安装nfs-utils、rpcbind服务。
yum install nfs-utils rpcbind
rpm -qa nfs-utils rpcbind
三、在nfs服务器中启动nfs、rpcbind服务并设置开机自启动,在web01和web02中开启rpcbind服务并设置开机自启动。
systemctl start rpcbind
systemctl enable rpcbind
systemctl start nfs
systemctl enable nfs
四、在nfs服务器中以及所有客户端中创建用户www并指定UID为1111,然后创建目录/data,并授权用户和组为www
[root@nfs01 /]# useradd -u 1111 www
[root@nfs01 /]# id www
uid=1111(www) gid=1111(www)组=1111(www)
[root@nfs01 /]# chown www.www /data
[root@nfs01 /]# ls -ld /data
drwxr-xr-x 2 www www 15 4月 1811:26 /data
五、在nfs服务器中添加配置文件到/etc/exports中,然后平滑重启服务(实际生产场景中必须平滑重启),并查看共享目录是否存在。
[root@nfs01 /]# echo "/data 172.16.1.0/24(rw,sync,all_squash,anonuid=1111,anongid=1111)" >>/etc/exports
[root@nfs01 /]# tail -1 /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=1111,anongid=1111)
[root@nfs01 /]# systemctl reload nfs
[root@nfs01 /]# showmount -e 172.16.1.31
Export list for
172.16.1.31: /data 172.16.1.0/24
六、每个客户端中执行优化挂载并添加到开机自动挂载(web01和web02操作完全一样)
[root@web01 /]# mount -t nfs -o noatime,nodiratime,nosuid,noexec,nodev,rsize=131072,wsize=131072 172.16.1.31: /data /data
[root@web01 /]# df -h
文件系统 容量 已用 可用 已用% 挂载点
172.16.1.31:/data 18G 2.0G 16G 11% /data
[root@web01 /]# echo " mount -t nfs -o #(此命令为一条)noatime,nodiratime,nosuid,noexec,nodev,rsize=131072,wsize=131072 172.16.1.31:/data /mnt /data /data " >>/etc/rc.local
[root@web01 /]# tail -1 /etc/rc.local
mount -t nfs -o noatime,nodiratime,nosuid,noexec,nodev,rsize=131072,wsize=131072 172.16.1.31:/data /data
七、在服务端以及客户端下创建/backup目录,并在服务端授权目录用户和组为www,然后添加到配置文件到/etc/exports中,重启nfs服务,并查看共享目录是否存在。
[root@nfs01 /]# mkdir -p /backup
[root@nfs01 /]# chown www.www /backup
[root@nfs01 /]# echo "/backup 172.16.1.0/24(rw)" >>/etc/exports
[root@nfs01 /]# tail -1 /etc/exports
/backup 172.16.1.0/24(rw)
[root@nfs01 /]# systemctl reload nfs
[root@nfs01 /]# showmount -e 172.16.1.31
Export list for
172.16.1.31:
/data 172.16.1.0/24
/backup 172.16.1.31
八、客户端中优化挂载并添加到开机自启动程序中
[root@web02 /]# echo "mount -t nfs -o #(此命令为一条)noatime,nodiratime,nosuid,noexec,nodev,rsize=131072,wsize=131072
172.16.1.31:/backup /mnt" >>/etc/rc.local
[root@web02 /]# tail -1 /etc/rc.local #(此命令为一条)
mount -t nfs -o
noatime,nodiratime,nosuid,noexec,nodev,rsize=131072,wsize=131072
172.16.1.31:/backup /mnt