报错信息
standard_init_linux.go:190: open exec fifo caused "too many open files in system"
-bash: start pipeline: pgrp pipe: Too many open files in system
-bash: /usr/bin/df: Too many open files inn system
-bash: cannot make pipe for command substitution: Too many open files in system
排查指令
查看系统参数
# 查看ulimt参数值
ulimit -a
# 查看fs.file-max参数值
sudo sysctl fs.file-max
cat /proc/sys/fs/file-nr
统计文件句柄
方法一 - /proc/PID/fd
# 查看所有进程数量
find /proc -maxdepth 1 -type d -name '[0-9]*' | wc -l
# 降序显示进程打开文件句柄数量
for pid in $(find /proc -maxdepth 1 -type d -name '[0-9]*'); do fn=$(sudo ls -al ${pid}/fd | wc -l); echo "$pid $fn";done | sort -k2nr | head -n 20
# 查看PID持有的文件句柄数
sudo ls /proc/${PID}/fd | wc -l
方法二 - lsof
# 查看打开文件句柄总数
sudo lsof 2>/dev/null | awk '{print $2}'|wc -l
# 根据打开文件句柄数量降序显示进程ID
sudo lsof 2>/dev/null | awk '{print $2}'|sort|uniq -c|sort -nr|head
# 使用 lsof 命令查看特定进程号（PID）打开的文件
sudo lsof -p <PID>
参考资料
https://docs.kernel.org/filesystems/proc.html
/proc/PID/fd: Directory, which contains all file descriptors
https://linux.die.net/man/8/lsof
limits.conf超过限制导致ssh失败_docker里limits.conf设置太大宿主机ssh连不上-CSDN博客
- nofile的上限是由/proc/sys/fs/nr_open限制，默认是1048576，超过这个值会导致连接ssh失败，报错为：pam_limits(login:session): Could not set limit for ‘nofile’: Operation not permitted
- limits.conf 文件实际是 Linux PAM（插入式认证模块，Pluggable Authentication Modules）中 pam_limits.so的配置文件，只针对单个会话。在登录shell时，根据配置文件设置limits的值，由于设定的值过大导致设置失败，无法登录shell，ssh自然无法连接。
Linux 下 Too many open files 问题排查与解决 - Grey Zeng - 博客园
too many open files问题排查与解决 - 掘金
How to Fix the ‘Too Many Open Files’ Error in Linux? | Windows OS Hub
Linux系统报错排查：Too many open files in system
补充信息
/proc/sys/fs/file-nr
/proc/sys/fs/file-nr文件是 Linux 系统中的一个虚拟文件，提供了有关系统打开文件句柄（file handles）的一些统计信息。它的内容通常由三个数字组成，分别表示以下信息：
- 已分配的文件句柄数量：这是系统当前已分配的文件句柄的数量，包括所有打开的文件、套接字等。
- 已使用的文件句柄数量：这是当前正在使用的文件句柄数量。这表示当前有多少个文件或套接字处于打开状态。
- 最大文件句柄数量：这是系统允许的最大文件句柄数量，通常由内核参数
fs.file-max决定。这个值可以通过修改/etc/sysctl.conf文件或使用sysctl命令来调整。
示例内容
假设 /proc/sys/fs/file-nr的内容如下：
1234 567 8192
这表示：
- 1234：当前已分配的文件句柄数量。
- 567：当前正在使用的文件句柄数量。
- 8192：系统允许的最大文件句柄数量。
使用场景
- 性能监控：通过监控这些值，可以了解系统的文件句柄使用情况，从而判断是否需要调整最大文件句柄数量。
- 故障排除：如果应用程序遇到“文件描述符不足”错误，可以检查这些值来确定是否达到了系统限制。
访问方式
你可以通过以下命令查看 /proc/sys/fs/file-nr 的内容：
cat /proc/sys/fs/file-nr
ulimit
ulimit 是一个用于控制 shell 中用户进程的资源限制的命令。它可以设置或显示用户可以使用的系统资源的限制，包括文件大小、进程数量、内存使用等。以下是一些常用的 ulimit 命令和选项：
常用选项
- 查看当前限制：
ulimit -a
这会显示所有的资源限制，包括文件大小、进程数量等。 - 设置文件大小限制：
ulimit -f [size]
这会设置用户可以创建的最大文件大小，单位为块（通常是 512 字节）。 - 设置最大进程数：
ulimit -u [number]
这会设置用户可以创建的最大进程数量。 - 设置最大打开文件数：
ulimit -n [number]
这会设置用户可以打开的最大文件数量。 - 设置最大虚拟内存：
ulimit -v [size]
这会设置用户进程可以使用的最大虚拟内存，单位为 KB。 - 设置最大堆栈大小：
ulimit -s [size]
这会设置用户进程的最大堆栈大小，单位为 KB。
示例
- 查看所有限制：
ulimit -a
- 设置最大打开文件数为 2048：
ulimit -n 2048
注意事项
-
ulimit的设置通常只对当前 shell 会话有效，关闭 shell 后设置将失效。如果需要永久更改，可以将相应的 ulimit 命令添加到用户的 shell 启动文件（如~/.bashrc或/etc/security/limits.conf）。
nofile 和 fs.file-max
nofile 和fs.file-max 都与文件描述符的管理有关，但它们的作用和定义有所不同。以下是它们的区别和联系：
1. nofile 参数
- 定义：nofile 是一个用户级的资源限制，表示每个用户进程可以打开的最大文件描述符的数量。
- 设置方式：可以通过 ulimit -n [number] 命令设置，或者在用户的 shell 启动文件（如 ~/.bashrc）中配置。
- 作用范围：适用于每个用户和每个进程。每个用户都可以有自己的限制，限制的值可以根据需要进行调整。
2. fs.file-max 参数
- 定义：fs.file-max 是一个系统级的参数，表示系统可以同时打开的最大文件描述符的总数量。
- 设置方式：可以通过 /etc/sysctl.conf 文件进行配置，或使用 sysctl -w fs.file-max=[number] 命令动态设置。
- 作用范围：适用于整个系统，影响所有用户和进程。
区别
- 作用层级：nofile 是针对单个用户或进程的限制，而 fs.file-max 是针对整个系统的限制。
- 设置方式：nofile 是通过 ulimit 设置的，而 fs.file-max 是通过 sysctl 设置的。
联系
- 相互关系：nofile 的值不能超过 fs.file-max 的值。如果 nofile 设置得过高，可能会导致系统无法处理更多的文件描述符，从而触发错误。
- 性能监控：监控这两个参数可以帮助系统管理员了解系统的文件描述符使用情况，并根据需要进行调整。
示例
- 查看当前用户的最大打开文件数：
ulimit -n
- 查看系统的最大文件描述符数：
cat /proc/sys/fs/file-max
