问题现象：
使用一个脚本命令分发执行的脚本，在执行时出现夯死，无法继续进行
[root@yj01 cluster]# sh clustercmd.sh "ls -l /tmp"
问题分析
- 于是使用脚本调试的方式，执行结果如下：
[root@yj01 cluster]# sh -x clustercmd.sh "ls -l /tmp"
+ R_CMD='ls -l /tmp'
+ G_CURRENT_PATH=
+ G_LIB_SCRIPT=cluster_lib.sh
+ G_REMOTE_SCRIPT=remote.sh
+ G_CONF_FILE=cluster.ini
+ G_CONF_FILE_TMP=cluster.ini.tmp.645182
+ G_RESULT=0
+ G_HOSTS_ARRAY=()
+ G_PASSWDS_ARRAY=()
+ '[' /usr/bin/sh '!=' /bin/bash ']'
+ bash clustercmd.sh 'ls -l /tmp'
结果显示在执行bash clustercmd.sh 'ls -l /tmp'时，长时间夯死，不再继续进行。
-
继续使用strace命令查看脚本运行情况：
[root@yj01 cluster]# strace sh clustercmd.sh "ls -l /tmp" execve("/usr/bin/sh", ["sh", "clustercmd.sh", "ls -l /tmp"], [/* 32 vars */]) = 0 brk(0) = 0xa17000 mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f0c603f0000 ...... rt_sigaction(SIGINT, {0x43e5e0, [], SA_RESTORER, 0x7f0c5fa16670}, {SIG_DFL, [], SA_RESTORER, 0x7f0c5fa16670}, 8) = 0 // 在执行到此处时，较长时间夯住，后续抛出Can't allocate memory异常 ****wait4(-1, clustercmd.sh: fork: Cannot allocate memory*****
此处表示，新fork出一个进程进行命令操作，在等待的过程中，抛出“Can't allocate memory”异常
-
查看OS内存情况以及最大进程数
// OS的内存是充足的 [root@yj01 cluster]# free -g total used free shared buff/cache available Mem: 31 9 17 0 4 21 Swap: 3 0 3 // OS的最大进程数是充足的 [root@yj01 cluster]# sysctl kernel.pid_max kernel.pid_max = 798720 [root@yj01 cluster]# ps -eLf | wc -l 711 [root@yj01 cluster]#
从OS信息来看，内存充足，进程数远远小于最大的限制. 因此怀疑在夯住的时间内，产生大量进程，os内存被大量占用，最后出现了上述中的“Cannot allocate memory”
- 再次执行 sh -x clustercmd.sh "ls -l /tmp" 同时查看OS的内存使用以及启动进程数
// os可用内存内存大量减少
[root@yj01 ~]# free -g
total used free shared buff/cache available
Mem: 31 9 17 0 4 21
Swap: 3 0 3
[root@yj01 ~]# free -g
total used free shared buff/cache available
Mem: 31 10 16 0 4 20
Swap: 3 0 3
[root@yj01 ~]# free -g
total used free shared buff/cache available
Mem: 31 12 14 0 4 18
Swap: 3 0 3
//进程被大量创建
[root@yj01 ~]# ps -eLf | wc -l
9984
[root@yj01 ~]# ps -eLf | wc -l
10452
[root@yj01 ~]# ps -eLf | wc -l
10981
[root@yj01 ~]# ps -eLf | wc -l
11463
于是怀疑脚本bug引发启动大量的进程将OS资源耗完，最后进程执行失败退出。
- 脚本分析
查看脚本可以看出脚本中强制使用bash来解析执行，但是在执行bash时可能使用到的不是/bin/bash从而导致程序进入死循环。
#!/bin/bash
....
if [ "$BASH" != "/bin/bash" ]; then
bash $0 "$@"
exit $?
fi
查看环境发现如下：
执行which bash 发现使用的是/usr/bin/bash
[root@yj01 cluster]# which bash
/usr/bin/bash
//查看环境变量发现 /usr/bin在/bin前面
[root@yj01 cluster]# echo $PATH
/usr/local/openssh-7.4p1/sbin:/usr/local/openssh-7.4p1/bin:/usr/lib64/qt-3.3/bin:/usr/local/sbin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/openssh-7.4p1/bin:/root/bin:/root/bin
[root@yj01 cluster]#
可以看出在执行bash $0 "$@"时，使用的是/usr/bin/bash 因此程序进入死循环
解决方案
修改if判断条件if [ ${BASH:0-4} != "bash" ]; 只要执行的是bash命令，即可通过
