进程打开文件句柄过多,物理机文件打开数过大

在日志文件/var/log/docker中存在大量too many open file错误，影响容器中业务的正常运行。

执行以下命令，根据打开文件句柄的数量排序，获得排名前10的进程
cd /proc; for i in *; do test -d $i/fd && echo $i `ls $i/fd|wc -l`; done | sort -rnk2 | head -10

执行以下命令，查看打开文件的描述符列表。
lsof 2> /dev/null | awk 'NR>1 {++S[$2]} END { for(a in S) {print a,"\t",S[a]}}'| sort -n -k 2| tail -30

执行以下命令，查看该进程的具体信息。本文以进程ID“22288”为例，具体进程以现场环境为准
ps -ef | grep 22288

执行以下命令，查看系统open files的数量限制。
ulimit -a

通过查看句柄文件发现XX进程打开的FD过高，超过系统的限制，影响Docker服务正常运行。

附：通过进程号查找进程所在容器(修改psid后，复制执行即可)

psid=12345   # 这里替换为要查询的进程的PID

for i in $(docker container ls --format "{{.ID}}"); 
do 
    id_count=$(docker top $i | grep ${psid} | wc -l)
     
    if [[ ${id_count} -gt 0 ]]
      then
        echo -n "$i    "
        docker inspect -f '{{.Name}}' $i | tr -d "/"
    fi
done

登录告警物理机，查看允许打开的最大文件数为655360

ulimit -n

文件打开数在系统默认设置的数值655360以下时并无影响

tail -10  /etc/security/limits.conf