一、问题描述
通过监控发现，每天凌晨3点之后，glfs所有服务端节点的磁盘利用率会规律性地上升到100%，持续时间不定，一般持续3小时以上。利用率100%的时候，对业务正常IO无影响，业务无感知。
image
二、问题分析
2.1 有定时任务？
最初怀疑是业务有定时任务，定期高吞吐写入Glusterfs集群，造成磁盘利用率100%，经排查监控查看带宽以及与业务沟通，已排除此种情况。
2.2 定向分析
再次出现问题时，登录到节点上，查找占用IO的进程，发现除了glfs，还有一个updatedb进程在大量读写磁盘
$ sudo iotop -o
Total DISK READ : 9.17 M/s | Total DISK WRITE : 6.79 M/s
Actual DISK READ: 9.22 M/s | Actual DISK WRITE: 117.98 K/s
TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
......
275138 be/4 root 7.61 K/s 197.90 K/s 0.00 % 0.00 % glusterfsd -s XX.XX.XX.XX --volfile-id glfs_volume.XX.XX.XX.XX.~-option glfs_volume-server.listen-port=49153 [glusteriotwr8]
228159 be/4 root 0.00 B/s 117.98 K/s 0.00 % 0.00 % glusterfsd -s XX.XX.XX.XX --volfile-id glfs_volume.XX.XX.XX.XX.~option glfs_volume-server.listen-port=49153 [glusteriotwr13]
233651 be/7 root 2.74 M/s 1507.08 K/s 0.00 % 0.00 % updatedb -f sysfs ===> updatedb读磁盘使用了2.74M/s!
216380 be/4 root 0.00 B/s 350.13 K/s 0.00 % 0.00 % glusterfsd -s XX.XX.XX.XX --volfile-id glfs_volume.XX.XX.XX.XX.~-option glfs_volume-server.listen-port=49153 [glusteriotwr7]
228801 be/4 root 0.00 B/s 106.56 K/s 0.00 % 0.00 % glusterfsd -s XX.XX.XX.XX --volfile-id glfs_volume.XX.XX.XX.XX.~option glfs_volume-server.listen-port=49153 [glusteriotwr14]
228802 be/4 root 0.00 B/s 167.45 K/s 0.00 % 0.00 % glusterfsd -s XX.XX.XX.XX --volfile-id glfs_volume.XX.XX.XX.XX.~option glfs_volume-server.listen-port=49153 [glusteriotwr15]
44766 be/4 root 15.22 K/s 224.54 K/s 0.00 % 0.00 % glusterfsd -s XX.XX.XX.XX --volfile-id glfs_volume.XX.XX.XX.XX.~-option glfs_volume-server.listen-port=49153 [glusteriotwr6]
2.3 确定原因
查看updatedb进程正在操作的文件/目录，发现updatedb大量扫描glfs目录
$ sudo lsof -p 233651
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
updatedb 233651 root cwd DIR 8,16 65536 27917289184 /glfsdata/sdb/brick05/.glusterfs/44/6b
updatedb 233651 root txt REG 8,3 48792 1610623519 /usr/bin/updatedb
updatedb 233651 root 3r REG 0,3 0 389670553 /proc/233651/mountinfo
updatedb 233651 root 4uW REG 8,3 14391475192 66377 /var/lib/mlocate/mlocate.db
updatedb 233651 root 8r DIR 8,3 17 961201 /glfsdata
updatedb 233651 root 9r DIR 8,16 48 96 /glfsdata/sdb
updatedb 233651 root 10r DIR 8,16 117 6442451040 /glfsdata/sdb/brick05
updatedb 233651 root 11r DIR 8,16 8192 8589934688 /glfsdata/sdb/brick05/.glusterfs
updatedb 233651 root 12r DIR 8,16 8192 122406568043 /glfsdata/sdb/brick05/.glusterfs/44
updatedb 233651 root 13r DIR 8,16 65536 27917289184 /glfsdata/sdb/brick05/.glusterfs/44/6b
2.4 何为updatedb？
经过google + man updatedb发现，该进程用于帮助locate命令建立索引。
官方解释：Updatedb创建或更新由locate（1）使用的数据库。如果数据库已经存在，那么将重用其数据，以避免重新读取未更改的目录。通常由cron（8）每天运行一次updateb，以更新默认数据库。
2.5 查看定时任务
# 找到Linux上该命令的定时任务，发现定时任务在3点之后启动
$$ sudo less /etc/cron.daily/mlocate
/usr/bin/updatedb -f "$nodevs" ===> updatedb在cron.daily的任务列表中
$ sudo less /etc/anacrontab
# the maximal random delay added to the base delay of the jobs
RANDOM_DELAY=45 ===> 任务最大延迟45分钟启动
# the jobs will be started during the following hours only
START_HOURS_RANGE=3-22 ===> 任务只允许在3点-22点之间执行
#period in days delay in minutes job-identifier command
1 5 cron.daily nice run-parts /etc/cron.daily
三、问题解决
man updatedb发现，可以设置排除目录，让updatedb不扫描对应的目录。将Gluster服务端的目录（/glfsdata）加入到PRUNEPATHS中即可。
$ sudo vim /etc/updatedb.confPRUNEPATHS = "/afs /media /mnt /net /sfs /tmp /udev /var/cache/ccache /var/lib/yum/yumdb /var/spool/cups /var/spool/squid /var/tmp /var/lib/ceph /glfsdata"
设置后，经过一天验证，查看监控，发现磁盘利用率恢复正常。不再定时出现100%利用率的情况。
