NFS后端存储应用与实践 2020-05-11

1、什么是NFS?
全称：Network File System 网络文件系统
通过网络存储和组织文件的一种方法或机制

2、为什么要用它？
前端所有的应用服务器接受到用户上传的图片、文件、视频，都会统一的放到后端的存储上NFS存储服务上（172.16.1.31）。

为什么要共享？所有节点服务器都需要将内容放到存储上，取的统一来取。

3、共享存储的种类
单点存储系统就是NFS，中小型企业，阿里云服务的NAS服务。OSS对象存储。
NFS性能不太高。
大型企业会用分布式存储FastDFS、Ceph（阿里云后面的存储）、GlsterFS、Mfs

4、NFS工作原理
启动NFS服务，而且还需要启动很多端口。
NFS功能，需要很多服务。每个服务都有端口，而且经常变化。
如何让客户端找到这些端口呢？就需要一个经纪人（rpc服务）
NFS服务：
1）NFS服务（有很多进程和端口），把自己的端口告诉RPC。
2）RPC服务（对外固定端口111）

客户端请求NFS服务，先找RPC 111，查到NFS的端口，发给客户端。

5、安装：
服务端和客户端都要安装：
yum install nfs-utils rpcbind -y
rpm -qa nfs-utils rpcbind

[root@test /server/scripts]# rpm -qa nfs-utils rpcbind
nfs-utils-1.3.0-0.el7.x86_64
rpcbind-0.2.0-23.el7.x86_64

启动RPC服务
[root@test /server/scripts]# systemctl start rpcbind
[root@test /server/scripts]# systemctl enable rpcbind

查看有没有注册的端口
[root@test /server/scripts]# rpcinfo -p 127.0.0.1
program vers proto port service
100000 4 tcp 111 portmapper
100000 3 tcp 111 portmapper
100000 2 tcp 111 portmapper
100000 4 udp 111 portmapper
100000 3 udp 111 portmapper
100000 2 udp 111 portmapper
100024 1 udp 41984 status
100024 1 tcp 58118 status

启动NFS
[root@nfs01 ~]# systemctl start nfs
[root@nfs01 ~]# systemctl enable nfs

[root@nfs01 ~]# rpcinfo -p 127.0.0.1
program vers proto port service
100000 4 tcp 111 portmapper
100000 3 tcp 111 portmapper
100000 2 tcp 111 portmapper
100000 4 udp 111 portmapper
100000 3 udp 111 portmapper
100000 2 udp 111 portmapper
100024 1 udp 54833 status
100024 1 tcp 54736 status
100005 1 udp 20048 mountd
100005 1 tcp 20048 mountd
100005 2 udp 20048 mountd
100005 2 tcp 20048 mountd
100005 3 udp 20048 mountd
100005 3 tcp 20048 mountd
100003 3 tcp 2049 nfs
100003 4 tcp 2049 nfs
100227 3 tcp 2049 nfs_acl
100003 3 udp 2049 nfs
100003 4 udp 2049 nfs
100227 3 udp 2049 nfs_acl
100021 1 udp 53370 nlockmgr
100021 3 udp 53370 nlockmgr
100021 4 udp 53370 nlockmgr
100021 1 tcp 34349 nlockmgr
100021 3 tcp 34349 nlockmgr
100021 4 tcp 34349 nlockmgr

[root@test ~]# netstat -lntup | egrep "rpc|nfs"
tcp 0 0 0.0.0.0:58118 0.0.0.0:* LISTEN 1550/rpc.statd
tcp 0 0 0.0.0.0:875 0.0.0.0:* LISTEN 19719/rpc.rquotad
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 1540/rpcbind
tcp 0 0 0.0.0.0:20048 0.0.0.0:* LISTEN 19695/rpc.mountd
tcp6 0 0 :::59876 :::* LISTEN 1550/rpc.statd
tcp6 0 0 :::111 :::* LISTEN 1540/rpcbind
tcp6 0 0 :::20048 :::* LISTEN 19695/rpc.mountd
udp 0 0 0.0.0.0:111 0.0.0.0:* 1540/rpcbind
udp 0 0 0.0.0.0:856 0.0.0.0:* 1540/rpcbind
udp 0 0 0.0.0.0:875 0.0.0.0:* 19719/rpc.rquotad
udp 0 0 127.0.0.1:878 0.0.0.0:* 1550/rpc.statd
udp 0 0 0.0.0.0:41984 0.0.0.0:* 1550/rpc.statd
udp 0 0 0.0.0.0:20048 0.0.0.0:* 19695/rpc.mountd
udp6 0 0 :::111 :::* 1540/rpcbind
udp6 0 0 :::33618 :::* 1550/rpc.statd
udp6 0 0 :::856 :::* 1540/rpcbind
udp6 0 0 :::20048 :::* 19695/rpc.mountd

6、配置NFS服务端
NFS配置文件，服务器端NFS01
[root@nfs01 ~]# cat /etc/exports
[root@nfs01 ~]# man exports
EXAMPLE
# sample /etc/exports file
/ master(rw) trusty(rw,no_root_squash)
/projects proj*.local.domain(rw)
/usr *.local.domain(ro) @trusted(rw)
/home/joe pc001(rw,all_squash,anonuid=150,anongid=100)
/pub *(ro,insecure,all_squash)
/srv/www -sync,rw server @trusted @external(ro)
/foo 2001:db8:9:e54::/64(rw) 192.0.2.0/24(rw)
/build buildhost[0-9].local.domain(rw)

1）待共享的目录 存东西的目录 取东西的目录例如：/data

  1. 访问的主机
    172.16.1.7（web01） 单个主机
    172.16.1.0/24 网段
    172.16.1.* 网段
    master 主机名
    3） （）权限
    rw 可读写 read write
    ro 可读 read only
    sync 写到磁盘才算完成，安全 慢
    async 异步写到缓冲区，快 不安全

实践：
[root@nfs01 ~]# tail -1 /etc/exports
/data 172.16.1.0/24(rw,sync) #<== 24后面不能有空格

NFS默认用户nfsnobody
[root@test ~]# grep nfs /etc/passwd
rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin

[root@test ~]# ls -ld /data
drwxr-xr-x. 2 root root 23 May 11 11:13 /data
[root@test ~]# chown -R nfsnobody.nfsnobody /data
[root@test ~]# ls -ld /data
drwxr-xr-x. 2 nfsnobody nfsnobody 23 May 11 11:13 /data

重启NFS
[root@nfs01 ~]# systemctl reload nfs #<==生产场景必须要实现平滑重启。
[root@nfs01 ~]# exportfs -r
上述二者等价，选一个即可。
[root@nfs01 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24 #<==看到共享的目录了

服务端本地挂载：
[root@nfs01 ~]# mount -t nfs 172.16.1.31:/data /mnt
[root@nfs01 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 476M 0 476M 0% /dev
tmpfs 487M 0 487M 0% /dev/shm
tmpfs 487M 7.7M 479M 2% /run
tmpfs 487M 0 487M 0% /sys/fs/cgroup
/dev/sda3 18G 2.2G 16G 13% /
/dev/sda1 1014M 155M 860M 16% /boot
tmpfs 98M 0 98M 0% /run/user/0
172.16.1.31:/data 18G 2.2G 16G 13% /mnt
[root@nfs01 ~]# touch /mnt/oldboy.txt
[root@nfs01 ~]# ls /mnt/
oldboy.txt

换到web01挂载
1）安装
yum install nfs-utils rpcbind -y
rpm -qa nfs-utils rpcbind

  1. 启动
    [root@web01 ~]# systemctl start rpcbind
    [root@web01 ~]# systemctl enable rpcbind

检查
[root@web01 ~]# netstat -lntup|grep rpc
[root@web01 ~]# netstat -lntup|grep rpcbind
[root@web01 ~]# ps -ef | grep rpcbind

3）查看NFS服务器提供得共享目录
[root@web01 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24 #<== 查看服务器的IP地址

[root@web01 ~]# mount -t nfs 172.16.1.31:/data /mnt
[root@web01 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 476M 0 476M 0% /dev
tmpfs 487M 0 487M 0% /dev/shm
tmpfs 487M 7.7M 479M 2% /run
tmpfs 487M 0 487M 0% /sys/fs/cgroup
/dev/sda3 18G 2.2G 16G 12% /
/dev/sda1 1014M 155M 860M 16% /boot
tmpfs 98M 0 98M 0% /run/user/0
172.16.1.31:/data 18G 2.2G 16G 13% /mnt
[root@web01 ~]# touch /mnt/oldgirl.txt
[root@web01 ~]# ls /mnt
oldboy.txt oldgirl.txt

nt_create:RPC:Program not registered
RPC服务开启了，但是NFS没有告诉RPC服务端口。

====================================================================
集群NFS后端存储应用于实践-深入讲解2

web01 web02客户端实现挂载到nfs
nfs下面共享/data，允许web01
web02客户端（挂载点/data）挂在后可读写。
web01上传图片，web02服务上可以删除web01上传的图片。发过来也可以。
NFS下面共享/data1，允许web01 web02客户端10网段只读（data1）

实现开机自动挂载
开机启动流程：
1、磁盘先启动/etc/fstab
2、防火墙在前。网卡
3、网卡

NFS网络文件系统，通过网络挂载，网络有没有起如何挂载？

又想在fstab里实现挂载，就用一个服务，延迟启动。

[root@nfs01 /data]# systemctl list-unit-files |grep enable #<==开机启动的服务

[root@nfs01 /data1]# systemctl status remote-fs.target #<==网络文件系统NFS延迟挂载
● remote-fs.target - Remote File Systems
Loaded: loaded (/usr/lib/systemd/system/remote-fs.target; enabled; vendor preset: enabled)
Active: active since Thu 2020-04-16 11:14:02 CST; 3h 5min ago
Docs: man:systemd.special(7)
Apr 16 11:14:02 nfs01 systemd[1]: Reached target Remote File Systems.

1、()权限
rw 可读写 read write
ro 只读 read
sync 写到磁盘才算完成，安全 慢
async 异步写到缓冲区， 快 不安全
root_squash
all_squash* 不管客户端什么用户，到服务端都是 nfsnobody
anonuid=匿名用户的UID
anongid=匿名用户的GID
[root@nfs01 /data]# cat /etc/exports

Laughing shared dir at time

/data 172.16.1.0/24(rw)

自己挂载的参数，但是系统可能挂载了很多参数

[root@nfs01 /data]# cat /var/lib/nfs/etab
/data 172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=65534,anongid=65534,sec=sys,rw,secure,root_squash,no_all_squash)

更改默认NFS默认用户

3、项目实践
NFS共享的匿名用户用www,使得客户端上传得图片都是www用户，而不是匿名得nfsnobody。
web01 bakcup客户端实现挂载到nfs
NFS下面共享/backup，允许web01 backup客户端（/backup）可读写。
web01上传图片，backup上可以删除web01上传得图片。
nfs下面共享/data1，允许web01 backup客户端10网段只读（data1）
实现开机自动挂载

1）nfs01、以及所有客户端：
[root@nfs01 ~]# useradd -u 1111 wwww
[root@nfs01 ~]# id wwww
uid=1111(wwww) gid=1111(wwww) groups=1111(wwww)

2）特殊配置
[root@nfs01 ~]# tail -2 /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=1111,anongid=1111)
/data1 10.0.0.0/24(ro)
[root@nfs01 /data]# chown -R wwww.wwww /data

3）重启
[root@nfs01 ~]# systemctl reload nfs

4）客户端
[root@web01 ~]# umount /data
[root@web01 ~]# mount -t nfs 172.16.1.31:/data /data
[root@web01 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 476M 0 476M 0% /dev
tmpfs 487M 0 487M 0% /dev/shm
tmpfs 487M 7.7M 479M 2% /run
tmpfs 487M 0 487M 0% /sys/fs/cgroup
/dev/sda3 18G 2.2G 16G 12% /
/dev/sda1 1014M 155M 860M 16% /boot
10.0.0.31:/data1 18G 2.2G 16G 13% /mnt
tmpfs 98M 0 98M 0% /run/user/0
172.16.1.31:/data 18G 2.2G 16G 13% /data

解决NFS性能问题：
1、使用CDN加速以及自己搭建缓存服务（squid、nginx、varnish）
2、把多个目录分配到不同得NFS服务器上。
3、弃用NFS
4、使用分布式文件系统。

更多相关资料参考<<Linux Web集群实战>>一书。

©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 213,864评论 6赞 494
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 91,175评论 3赞 387
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 159,401评论 0赞 349
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 57,170评论 1赞 286
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 66,276评论 6赞 385
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 50,364评论 1赞 292
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 39,401评论 3赞 412
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 38,179评论 0赞 269
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,604评论 1赞 306
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,902评论 2赞 328
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,070评论 1赞 341
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 34,751评论 4赞 337
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 40,380评论 3赞 319
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,077评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,312评论 1赞 267
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 46,924评论 2赞 365
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 43,957评论 2赞 351