说明：在大数据平台运维过程中，我们总会遇到系统硬件或软件的故障导致平台或应用出现异常的情况。这种情况下，我们就需要去定位系统故障点。下面是我再排查系统问题中常用的方法。
1.cpu问题
（1）首先使用top查看系统CPU的使用率，连续观察2分钟左右，如果CPU使用率持续在90%以上不释放，说明是异常情况。
# top
top - 10:10:50 up 243 days, 23:01, 2 users, load average: 1.11, 1.14, 1.14
Tasks: 171 total, 3 running, 168 sleeping, 0 stopped, 0 zombie
%Cpu(s): 16.1 us, 8.1 sy, 0.0 ni, 75.8 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 32947248 total, 15687508 free, 8133896 used, 9125844 buff/cache
KiB Swap: 4063228 total, 3928472 free, 134756 used. 22537288 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
830 root 20 0 246712 28760 948 R 100.0 0.1 294422:06 abrtd
2647 root 20 0 223148 16752 3968 R 93.3 0.1 0:00.18 python
（2）使用uptime命令查看系统的load average ，三个数值分别为系统1分钟、5分钟、15分钟内的平均负载。后两个值如果大于系统物理CPU个数，说明异常。
# uptime
10:10:25 up 243 days, 23:01, 2 users, load average: 1.16, 1.16, 1.14
（3）使用 vmstat命令来查看系统CPU的使用情况，关注 us和sy的使用情况，分别为用户和系统的使用量。
# vmstat 1 3
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
2 0 134756 16042160 158508 8968716 0 0 5 17 0 0 6 6 88 0 0
1 0 134756 16042160 158508 8968716 0 0 0 0 3929 2933 6 7 87 0 0
2 0 134756 16042116 158508 8968652 0 0 0 0 3625 2609 6 7 87 0 0
2.磁盘问题
（1）检查是否有盘满的情况（最常见的问题），如果use显示100%就说明盘满了。如果第一个盘，也就是系统盘满了影响是最大的，需要及时删除无用的文件（比如log文件）释放存储空间。
# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/rhel-root 36G 16G 20G 44% /
devtmpfs 16G 0 16G 0% /dev
tmpfs 16G 0 16G 0% /dev/shm
tmpfs 16G 1.7G 15G 11% /run
tmpfs 16G 0 16G 0% /sys/fs/cgroup
/dev/vdb 493G 405M 467G 1% /data
/dev/vda1 1014M 127M 888M 13% /boot
tmpfs 3.2G 0 3.2G 0% /run/user/0
（2）检查磁盘是否有坏盘，如果系统有一块盘告警写入失败，我们最好的检查方法就是尝试写入看能否成功，如果成功了说明可能磁盘有坏点，如果失败了说明整个磁盘有问题了。
首先我会通过依次在每个盘对应目录去创建文件夹连检查盘是否可写。
如果可写就通过下面的命令进一步检查是否有磁盘坏点：
badblocks -v /dev/sda10 > badsectors.txt
（3）磁盘瓶颈检查：
# iostat -x 1 10
Linux 3.10.0-693.el7.x86_64 (OCDP-42-57) 08/19/2019 _x86_64_ (8 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
5.75 0.00 6.03 0.46 0.03 87.73
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
vda 0.04 0.27 0.10 4.14 3.95 55.21 27.92 0.17 39.50 78.31 38.55 9.87 4.18
vdb 0.00 0.52 0.24 1.04 32.47 75.45 167.86 0.15 113.98 127.36 110.84 11.05 1.42
scd0 0.00 0.00 0.00 0.00 0.00 0.00 8.00 0.00 3.44 3.44 0.00 3.44 0.00
dm-0 0.00 0.00 0.09 4.23 3.73 54.86 27.08 0.00 0.93 94.91 46.98 9.65 4.17
dm-1 0.00 0.00 0.05 0.09 0.21 0.35 8.00 0.18 1307.59 190.05 1969.99 13.49 0.19
如果 %util 接近 100%，说明产生的I/O请求太多，I/O系统已经满负荷，该磁盘可能存在瓶颈。
idle小于70% IO压力就较大了,一般读取速度有较多的wait.
3.网络问题
（1）ping 命令查看网络是否连通，是否有丢包。
# ping 10.1.236.145
PING 10.1.236.145 (10.1.236.145) 56(84) bytes of data.
64 bytes from 10.1.236.145: icmp_seq=1 ttl=64 time=0.614 ms
64 bytes from 10.1.236.145: icmp_seq=2 ttl=64 time=0.608 ms
64 bytes from 10.1.236.145: icmp_seq=3 ttl=64 time=0.473 ms
64 bytes from 10.1.236.145: icmp_seq=4 ttl=64 time=0.546 ms
--- 10.1.236.145 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3000ms
rtt min/avg/max/mdev = 0.473/0.560/0.614/0.059 ms
（2）网络丢包详细查询
# netstat -i 1
Kernel Interface table
Iface MTU RX-OK RX-ERR RX-DRP RX-OVR TX-OK TX-ERR TX-DRP TX-OVR Flg
eth0 1500 2337233695 0 0 0 2148368338 0 0 0 BMRU
lo 65536 253948831 0 0 0 253948831 0 0 0 LRU
eth0 1500 2337233727 0 0 0 2148368370 0 0 0 BMRU
lo 65536 253948837 0 0 0 253948837 0 0 0 LRU
eth0 1500 2337233795 0 0 0 2148368439 0 0 0 BMRU
lo 65536 253948839 0 0 0 253948839 0 0 0 LRU
RX-OK / TX-OK ： 准确无误地接收 / 发送了多少数据包
RX-ERR / TX-ERR ： 接收 / 发送数据包时产生了多少错误
RX-DRP / TX-DRP ： 接收 / 发送数据包时丢弃了多少数据包
RX-OVR / TX-OVR ： 由于误差而遗失了多少数据包
4.内存问题
（1）free命令查看系统内存是否紧张。
# free -g
total used free shared buff/cache available
Mem: 31 7 14 1 8 21
Swap: 3 0 3
当used接近total时，catch占用内存小，则主机内存紧张。
（2）主机缓存不释放导致主机内存紧张。
需要通过free命令持续观察catch和swap是否有变化。如果系统内存紧张，但是catch和swap内存都没有变化，说明极有可能是主机catch不释放。必要时候可以手动释放：
清理主机缓存命令：
echo 1 > /proc/sys/vm/drop_caches
echo 2 > /proc/sys/vm/drop_caches
echo 3 > /proc/sys/vm/drop_caches
5.系统打开文件数问题
报错信息：
File does not exist. Holder DFSClient_NONMAPREDUCE_1845230474_1 does not have any open files.
查看与解决方法：
# ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 128613
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 128613
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
临时解决方法：
在用户的系统环境变量文件.bash_profile中添加如下几行：
ulimit -n 1048576
ulimit -s 10240
ulimit -u 655350
报错&重新登录生效。
永久解决方法：
vi /etc/security/limits.d/username.conf
username - nofile 128000
username - nproc 65536
保存生效。
