Linux 系统命令大全:运维工程师 Markdown 笔记
面向日常运维、故障排查、系统管理和面试复习。命令默认在 Bash/Zsh 中执行。不同发行版、软件版本的参数可能有差异,拿不准时先执行
man 命令或命令 --help。
目录
- 命令行基础
- 帮助与文档
- 文件与目录
- 查看和处理文本
- 查找文件与内容
- 压缩、解压与归档
- 用户、用户组与权限
- 进程与作业管理
- systemd 与服务管理
- 日志管理
- 磁盘、文件系统与挂载
- LVM 管理
- 内存、CPU 与性能排查
- 网络配置与排障
- SSH 与远程传输
- 软件包管理
- 计划任务
- Shell 环境与脚本基础
- 内核与系统参数
- 安全与审计
- 容器常用命令
- 数据库与中间件辅助排障
- 实用组合命令
- 标准故障排查流程
- 危险命令与操作原则
- 运维工程师建议掌握的知识图谱
1. 命令行基础
1.1 命令的一般结构
command [选项] [参数或对象]
示例:
ls -lah /var/log
-
ls:命令。 -
-l:长格式显示。 -
-a:包括隐藏文件。 -
-h:将大小显示为 KB、MB、GB 等可读格式。 -
/var/log:操作对象。
1.2 常用快捷键
| 快捷键 | 含义 |
|---|---|
Ctrl+C |
中断当前前台命令,发送 SIGINT |
Ctrl+Z |
暂停前台进程,发送 SIGTSTP |
Ctrl+D |
输入 EOF;空命令行下通常退出 Shell |
Ctrl+L |
清屏,类似 clear
|
Ctrl+A / Ctrl+E
|
光标移到行首 / 行尾 |
Ctrl+U / Ctrl+K
|
删除光标前 / 后的内容 |
Ctrl+W |
删除光标前一个单词 |
Ctrl+R |
反向搜索历史命令 |
Tab |
补全命令、路径、参数 |
!! |
上一条命令 |
!$ |
上一条命令的最后一个参数 |
1.3 通配符
| 写法 | 含义 | 示例 |
|---|---|---|
* |
任意数量字符 | ls *.log |
? |
任意一个字符 | ls file?.txt |
[abc] |
a、b、c 中任意一个 | ls file[123] |
[a-z] |
指定范围内一个字符 | ls [a-z]* |
{a,b} |
Shell 展开多个值 | mkdir -p /data/{app,log,tmp} |
{1..5} |
序列展开 | touch file{1..5} |
文件名含空格、通配符或
$等特殊字符时,应使用引号:rm -- "file name"。--表示选项结束,避免以-开头的文件名被当成参数。
1.4 引号和命令替换
name="server01"
echo "$name" # 双引号会展开变量
echo '$name' # 单引号原样输出
echo "$(date)" # 执行命令并替换为输出
1.5 重定向与管道
| 写法 | 含义 | |
|---|---|---|
> |
覆盖标准输出到文件 | |
>> |
追加标准输出到文件 | |
2> |
覆盖标准错误到文件 | |
2>> |
追加标准错误到文件 | |
2>&1 |
将标准错误合并到标准输出 | |
< |
从文件读取标准输入 | |
| ` | ` | 将前一命令输出交给后一命令 |
tee file |
输出到屏幕并写入文件 | |
tee -a file |
输出到屏幕并追加到文件 |
command >output.log 2>error.log
command >all.log 2>&1
command 2>&1 | tee -a run.log
1.6 命令连接
cmd1 ; cmd2 # 无论 cmd1 是否成功,都执行 cmd2
cmd1 && cmd2 # cmd1 成功才执行 cmd2
cmd1 || cmd2 # cmd1 失败才执行 cmd2
cmd & # 后台运行
退出码通常为 0 表示成功,非 0 表示失败:
echo $?
2. 帮助与文档
man ls # 查看手册;/关键词 搜索,n 下一个,q 退出
info coreutils # 查看 GNU Info 文档
ls --help # 查看命令帮助
help cd # 查看 Shell 内建命令帮助
type cd # 判断是内建命令、别名还是可执行文件
command -V python # 查看命令解析结果
which nginx # 查 PATH 中的可执行文件
whereis nginx # 查二进制、源码和 man 文档位置
apropos "copy files" # 按描述搜索手册,等价于 man -k
whatis passwd # 显示手册的一行简介
常用手册章节:
-
1:普通用户命令。 -
2:系统调用。 -
3:库函数。 -
5:配置文件格式。 -
8:系统管理命令。
man 5 passwd
man 8 mount
3. 文件与目录
3.1 路径和目录
pwd # 显示当前目录
pwd -P # 显示解析符号链接后的物理路径
cd /var/log # 切换目录
cd .. # 上一级
cd - # 返回上一个目录
cd # 返回当前用户家目录
dirs -v # 查看目录栈
pushd /path # 压入目录栈并切换
popd # 弹出目录栈并切换
3.2 查看目录
ls # 列出非隐藏文件
ls -l # 长格式
ls -a # 包括隐藏文件
ls -h # 人类可读大小,通常与 -l 配合
ls -t # 按修改时间排序
ls -r # 反向排序
ls -S # 按大小排序
ls -i # 显示 inode
ls -d */ # 仅列出当前目录下的目录
ls -lah --time-style=long-iso
长格式字段依次通常是:类型和权限、硬链接数、所有者、所属组、大小、修改时间、名称。
3.3 创建、复制、移动、删除
touch file # 创建空文件或更新时间戳
touch -t 202609041230 file # 指定时间戳
mkdir dir # 创建目录
mkdir -p /data/app/{log,tmp} # 递归创建目录
mkdir -m 750 private # 创建并指定权限
cp source target # 复制文件
cp -r srcdir dstdir # 递归复制目录
cp -a src dstdir # 归档复制:尽量保留权限、时间、链接等
cp -p source target # 保留模式、所有者和时间戳
cp -i source target # 覆盖前询问
cp -n source target # 不覆盖已有文件
cp -v source target # 显示过程
mv old new # 移动或重命名
mv -i source target # 覆盖前询问
mv -n source target # 不覆盖
rm file # 删除文件
rm -i file # 删除前询问
rm -r dir # 递归删除目录
rm -f file # 强制删除,不询问
rmdir emptydir # 仅删除空目录
rm -rf不可恢复。执行前用pwd、ls和变量非空检查确认目标;生产环境避免对变量、通配符或宽泛目录直接递归删除。
3.4 链接
ln source hardlink # 创建硬链接
ln -s /real/path symlink # 创建符号链接
ln -sfn /new/release current # 原子更新常见软链接
readlink symlink # 查看链接目标
readlink -f symlink # 解析为最终绝对路径
- 硬链接共享 inode,通常不能跨文件系统,也不能链接目录。
- 软链接保存路径,可跨文件系统;目标删除后会成为悬空链接。
3.5 文件属性和元数据
stat file # inode、权限、时间戳、大小等
file filename # 根据内容判断文件类型
basename /a/b/c.txt # 输出 c.txt
dirname /a/b/c.txt # 输出 /a/b
realpath path # 规范化为绝对路径
时间戳:
-
atime:最后访问时间。 -
mtime:文件内容最后修改时间。 -
ctime:inode 元数据最后变更时间,不是“创建时间”。 -
birth time:部分文件系统支持的创建时间。
3.6 同步目录:rsync
rsync -avh src/ dst/ # 同步 src 内容到 dst
rsync -avh src dst/ # 会在 dst 中形成 src 目录
rsync -avh --progress src/ dst/
rsync -avh --delete src/ dst/ # 删除目标端多余文件,危险
rsync -avhn --delete src/ dst/ # -n 先演练,不实际修改
rsync -avz -e ssh src/ user@host:/dst/
rsync -aHAX --numeric-ids src/ dst/ # 更完整保留硬链接、ACL、扩展属性
rsync --partial --append-verify bigfile user@host:/data/
关键参数:
-
-a:归档模式。 -
-v:显示详情。 -
-h:可读单位。 -
-z:传输时压缩;高速局域网未必更快。 -
-n:dry-run 演练。 -
--delete:删除目标端源中不存在的内容。 -
--exclude='*.tmp':排除匹配内容。
4. 查看和处理文本
4.1 cat、less、head、tail
cat file # 输出整个文件
cat -n file # 显示所有行号
cat -b file # 仅非空行编号
tac file # 倒序输出行
less file # 分页查看大文件
less +F app.log # 类似实时追踪;Ctrl+C 后可搜索
head file # 默认前 10 行
head -n 50 file # 前 50 行
tail file # 默认后 10 行
tail -n 100 file # 后 100 行
tail -f app.log # 持续追踪文件
tail -F app.log # 文件轮转后继续按文件名追踪
less 常用键:/ 向下搜索,? 向上搜索,n/N 下一个/上一个,G 末尾,g 开头,q 退出。
4.2 wc、sort、uniq、cut、paste
wc -l file # 行数
wc -w file # 单词数
wc -c file # 字节数
wc -m file # 字符数
sort file # 字典序排序
sort -n file # 数值排序
sort -h file # 按 K/M/G 等单位排序
sort -r file # 逆序
sort -k2,2nr file # 按第 2 列数值逆序
sort -t: -k3,3n /etc/passwd # 冒号分隔,按 UID 排序
uniq file # 去除相邻重复行,通常先 sort
sort file | uniq # 去重
sort file | uniq -c # 计数
sort file | uniq -d # 只显示重复项
cut -d: -f1,3 /etc/passwd # 以 : 分隔,取第 1、3 列
cut -c1-20 file # 取字符 1~20
paste file1 file2 # 按行合并,以 Tab 分隔
paste -d, file1 file2 # 以逗号分隔
4.3 tr、column、fmt、fold、nl
tr 'a-z' 'A-Z' < file # 转大写
tr -d '\r' < windows.txt > unix.txt # 删除 CR 字符
tr -s ' ' < file # 压缩连续空格
column -t file # 对齐列
column -s, -t data.csv # 逗号分隔并对齐
nl -ba file # 包括空行在内编号
fold -w 80 file # 每 80 字符折行
fmt -w 80 file # 格式化段落宽度
4.4 grep:内容筛选
grep 'error' file # 查包含 error 的行
grep -i 'error' file # 忽略大小写
grep -n 'error' file # 显示行号
grep -v 'debug' file # 反向匹配
grep -r 'keyword' /etc # 递归搜索
grep -R 'keyword' /etc # 递归并跟随符号链接
grep -l 'keyword' *.conf # 只显示匹配的文件名
grep -L 'keyword' *.conf # 只显示不匹配的文件名
grep -c 'error' file # 匹配行数
grep -w 'root' file # 完整单词
grep -x 'exact line' file # 完整行
grep -A3 -B2 'error' file # 后 3 行、前 2 行上下文
grep -E 'error|fail|timeout' file # 扩展正则
grep -F 'a.b[c]' file # 按固定字符串,不解释正则
grep -q 'pattern' file # 静默,仅用退出码判断
grep --color=auto 'pattern' file
常用正则:^ 行首,$ 行尾,. 任意字符,* 前项重复 0 次以上,[0-9] 数字,+ 重复 1 次以上(扩展正则)。
4.5 sed:流式编辑
sed -n '1,20p' file # 打印第 1~20 行
sed -n '/ERROR/p' file # 只打印匹配行
sed 's/old/new/' file # 每行替换第一次
sed 's/old/new/g' file # 替换每行所有匹配
sed -E 's/[[:space:]]+/ /g' file # 连续空白压缩为一个空格
sed '/^#/d; /^$/d' file # 删除注释和空行后输出
sed -i.bak 's/old/new/g' file # 原地修改并保留 .bak 备份
sed -n '100,200p' large.log # 查看指定行段
sed -i会直接修改文件。生产配置先备份、查看差异并做语法检查。
4.6 awk:按列处理和统计
awk '{print $1}' file # 打印第 1 列
awk '{print $1, $NF}' file # 第 1 列和最后一列
awk -F: '{print $1, $3}' /etc/passwd # 指定分隔符
awk '$3 >= 1000 {print $1, $3}' /etc/passwd # 条件过滤
awk '{sum += $1} END {print sum}' file # 求和
awk '{count[$1]++} END {for (i in count) print i,count[i]}' file
awk 'NR>=10 && NR<=20' file # 第 10~20 行
awk 'BEGIN{OFS=","} {print $1,$2}' file # 设置输出分隔符
常用内置变量:
-
NR:累计行号。 -
FNR:当前文件内行号。 -
NF:当前行字段数。 -
$0:整行;$1...$NF:各字段。 -
FS/OFS:输入/输出字段分隔符。 -
RS/ORS:输入/输出记录分隔符。
4.7 diff 与补丁
diff file1 file2 # 比较文件
diff -u file1 file2 # 统一格式,适合补丁
diff -ruN olddir newdir # 递归比较目录
cmp file1 file2 # 按字节比较
comm file1 file2 # 比较两个已排序文件
patch -p1 < change.patch # 应用补丁
patch -p1 --dry-run < change.patch # 演练
4.8 xargs:把输入转为参数
printf '%s\n' *.log | xargs wc -l
find /tmp -type f -name '*.tmp' -print0 | xargs -0 rm --
printf '%s\n' host1 host2 | xargs -n1 -P4 ping -c1
-
-0:使用 NUL 分隔,可安全处理空格和换行文件名。 -
-n1:每次传一个参数。 -
-P4:最多 4 个并行任务。 -
-I{}:使用占位符,如xargs -I{} echo "host={}"。
5. 查找文件与内容
5.1 find
find /etc -name '*.conf' # 按名称,区分大小写
find /etc -iname '*.CONF' # 忽略大小写
find /var/log -type f # 普通文件
find /data -type d # 目录
find / -type l # 符号链接
find /var/log -type f -size +1G # 大于 1 GiB
find /tmp -type f -mtime +7 # 内容修改超过 7×24 小时
find /tmp -type f -mmin -30 # 30 分钟内修改
find /data -type f -user app # 所有者为 app
find /data -type f -perm 0644 # 权限精确为 0644
find /data -type f -perm -002 # 所有人都具有指定权限位:其他用户可写
find /data -xdev -type f -size +500M # 不跨文件系统
find /var/log -type f -name '*.log' -exec gzip {} \;
find /var/log -type f -name '*.log' -exec gzip {} +
时间判断容易误解:-mtime +7 以完整的 24 小时区间计算。需要精确日期时可用:
find /var/log -type f -newermt '2026-09-01' ! -newermt '2026-09-02'
删除前先打印确认:
find /tmp/app -xdev -type f -mtime +30 -print
# 确认范围后再把 -print 改为 -delete
5.2 locate 与命令定位
locate nginx.conf # 查文件名数据库,速度快但可能不是实时
updatedb # 更新 locate 数据库,通常需 root
findmnt -T /path/file # 查某路径属于哪个挂载点
5.3 rg(ripgrep)
安装后适合快速搜索代码和配置:
rg 'listen_port' /etc/app
rg -i 'error|timeout' /var/log/app
rg -n -C 2 'panic' .
rg --files /etc/nginx
rg -g '*.conf' 'server_name' /etc/nginx
rg -g '!vendor/**' 'password' .
6. 压缩、解压与归档
6.1 tar
tar -cvf archive.tar dir/ # 创建未压缩归档
tar -tvf archive.tar # 查看归档内容
tar -xvf archive.tar # 解包
tar -czvf archive.tar.gz dir/ # gzip 压缩
tar -xzvf archive.tar.gz # gzip 解压
tar -cjvf archive.tar.bz2 dir/ # bzip2 压缩
tar -xjvf archive.tar.bz2 # bzip2 解压
tar -cJvf archive.tar.xz dir/ # xz 压缩
tar -xJvf archive.tar.xz # xz 解压
tar -xzf archive.tar.gz -C /target # 解压到指定目录
tar --exclude='*.log' -czf app.tar.gz app/
记忆:c 创建、x 解包、t 列表、v 详情、f 指定文件、z gzip、j bzip2、J xz、C 切换目标目录。
6.2 gzip、bzip2、xz、zip
gzip file # 生成 file.gz,并移除原文件
gzip -k file # 保留原文件
gzip -d file.gz # 解压
zcat file.gz # 不落盘查看
zgrep 'ERROR' file.gz # 在 gzip 文件中搜索
bzip2 file
bunzip2 file.bz2
xz file
unxz file.xz
zip -r archive.zip dir/
unzip archive.zip
unzip -l archive.zip # 查看内容
unzip archive.zip -d /dst
6.3 校验和
md5sum file # 兼容用途,不适合安全完整性验证
sha256sum file # 推荐的常见完整性校验
sha512sum file
sha256sum -c checksums.txt # 按清单校验
7. 用户、用户组与权限
7.1 身份信息
whoami # 当前有效用户名
id # UID、GID、附加组
id username
who # 当前登录会话
w # 登录用户及其活动和负载
last # 登录历史
lastb # 失败登录历史,通常需 root
getent passwd username # 通过 NSS 查询用户
getent group groupname # 查询组
7.2 用户和组管理
useradd -m -s /bin/bash appuser # 创建用户、家目录、Shell
useradd -r -s /usr/sbin/nologin svc # 创建系统服务账户
usermod -aG sudo username # 追加附加组;不要漏掉 -a
usermod -L username # 锁定密码
usermod -U username # 解锁密码
userdel username # 删除账户,保留家目录
userdel -r username # 删除账户及家目录/邮件
passwd username # 设置密码
passwd -l username # 锁定密码登录
chage -l username # 查看密码过期策略
chage -M 90 -W 14 username # 最长 90 天,提前 14 天警告
groupadd developers
groupmod -n newname oldname
groupdel developers
gpasswd -a user group # 添加用户到组
gpasswd -d user group # 从组移除
Debian/Ubuntu 还常用更友好的 adduser、deluser。
7.3 切换身份和 sudo
su - username # 登录式切换,加载目标用户环境
sudo command # 以 root 或授权身份执行
sudo -u app command # 以 app 用户执行
sudo -i # root 登录式 Shell
sudo -l # 查看当前用户 sudo 权限
visudo # 安全编辑 /etc/sudoers
visudo -c # 检查 sudoers 语法
推荐在 /etc/sudoers.d/ 建独立规则,并使用 visudo -f /etc/sudoers.d/name 编辑。
7.4 chmod 权限
权限值:r=4、w=2、x=1。
chmod 644 file # 所有者读写,组和其他只读
chmod 755 script # 所有者读写执行,其他读执行
chmod 600 private.key # 仅所有者读写
chmod 700 private_dir # 仅所有者可访问
chmod u+x script.sh # 为所有者增加执行权限
chmod g-w file # 移除组写权限
chmod o= file # 清空其他用户权限
chmod -R 750 dir # 递归设置;注意目录和文件需求可能不同
分别设置目录和文件:
find /srv/app -type d -exec chmod 750 {} +
find /srv/app -type f -exec chmod 640 {} +
7.5 所有者与默认权限
chown user file
chown user:group file
chown -R user:group dir
chgrp group file
umask # 查看默认权限掩码
umask 027 # 新文件通常 640,新目录通常 750
chown -R 可能跨越意外的挂载点或链接结构;执行前核对路径。
7.6 特殊权限
- SUID:可执行文件运行时使用文件所有者身份,数值
4000。 - SGID:文件使用所属组身份;目录中新文件继承目录所属组,数值
2000。 - Sticky Bit:目录中文件通常只能由其所有者、目录所有者或 root 删除,数值
1000,典型/tmp。
chmod 4755 program
chmod 2775 shared_dir
chmod 1777 /shared/tmp
find / -xdev -perm -4000 -type f -ls 2>/dev/null
find / -xdev -perm -2000 -type f -ls 2>/dev/null
7.7 ACL
getfacl file
setfacl -m u:alice:rw file # 为 alice 增加读写权限
setfacl -m g:ops:r-x dir # 为 ops 组增加权限
setfacl -m d:g:ops:rwx shared_dir # 设置目录默认 ACL
setfacl -x u:alice file # 删除指定 ACL
setfacl -b file # 清空扩展 ACL
7.8 扩展属性
lsattr file
chattr +i critical.conf # immutable:不能修改、删除、重命名
chattr -i critical.conf
chattr +a audit.log # append-only:只能追加
8. 进程与作业管理
8.1 查看进程
ps aux # BSD 风格,查看所有进程
ps -ef # System V 风格
ps -eo pid,ppid,user,%cpu,%mem,stat,lstart,cmd --sort=-%cpu
ps -C nginx -o pid,ppid,cmd # 按命令名
pgrep nginx # 查 PID
pgrep -a nginx # PID 和完整命令
pgrep -u app java # 指定用户
pidof nginx # 查程序 PID
pstree -ap # 进程树、参数和 PID
top # 动态查看
top -H -p PID # 查看某进程的线程
ps 状态常见字母:
-
R:运行或可运行。 -
S:可中断睡眠。 -
D:不可中断睡眠,常在等待磁盘或网络 I/O。 -
T:已停止。 -
Z:僵尸进程。 -
s:会话领导进程。 -
l:多线程。 -
+:前台进程组。
8.2 信号和结束进程
kill -l # 列出信号
kill PID # 默认 SIGTERM(15),请求优雅退出
kill -TERM PID
kill -HUP PID # 常用于重新加载配置,取决于程序实现
kill -KILL PID # SIGKILL(9),内核强制结束
pkill -TERM -x nginx # 按精确进程名
killall nginx # 按名称结束,行为依系统而异
优先顺序:先 TERM,等待程序清理;确实无法退出再使用 KILL。KILL 无法被捕获,可能造成数据未刷盘或事务恢复。
8.3 前后台作业
long_command & # 后台执行
jobs -l # 查看当前 Shell 的作业
fg %1 # 作业 1 切到前台
bg %1 # 让暂停的作业在后台继续
disown -h %1 # 减少退出 Shell 对作业的影响
nohup command >app.log 2>&1 &
长期服务应使用 systemd、容器编排或专门进程管理器,而不是长期依赖 nohup。
8.4 优先级和资源限制
nice -n 10 command # 以较低 CPU 调度优先级启动
renice 5 -p PID # 调整已有进程 nice 值
ulimit -a # 查看当前 Shell 资源限制
ulimit -n 65535 # 设置当前 Shell 文件描述符软限制
prlimit --pid PID # 查看进程限制
prlimit --pid PID --nofile=65535:65535
nice 通常范围 -20(高优先级)到 19(低优先级);提高优先级需要特权。
8.5 打开的文件与调用跟踪
lsof -p PID # 进程打开的文件
lsof /path/file # 谁占用文件
lsof +D /mount/path # 谁占用目录,可能较慢
lsof -iTCP:8080 -sTCP:LISTEN # 谁监听 8080
fuser -vm /mount/path # 哪些进程使用挂载点
fuser -n tcp 8080 # 哪个进程使用 TCP 端口
strace -p PID # 跟踪系统调用
strace -f -tt -T -o trace.log command
strace 关键参数:-f 跟踪子进程,-tt 精确时间,-T 调用耗时,-e trace=file,network 过滤类别,-o 输出到文件。
9. systemd 与服务管理
systemctl status nginx # 服务状态和最近日志
systemctl start nginx # 启动
systemctl stop nginx # 停止
systemctl restart nginx # 重启
systemctl reload nginx # 重新加载配置,不一定支持
systemctl reload-or-restart nginx
systemctl enable nginx # 设置开机启动
systemctl disable nginx # 取消开机启动
systemctl enable --now nginx # 立即启动并设为开机启动
systemctl mask nginx # 屏蔽,禁止启动
systemctl unmask nginx
systemctl is-active nginx # 是否运行
systemctl is-enabled nginx # 是否开机启动
systemctl list-units --type=service --state=running
systemctl list-units --failed
systemctl list-unit-files --type=service
systemctl cat nginx # 查看单元文件及覆盖配置
systemctl show nginx # 查看所有属性
systemctl show nginx -p MainPID -p MemoryCurrent
systemctl daemon-reload # 单元文件变化后重载 systemd 配置
systemctl edit nginx # 创建 drop-in 覆盖配置
systemctl revert nginx # 移除覆盖并恢复供应商版本
查看依赖和启动耗时:
systemctl list-dependencies nginx
systemd-analyze
systemd-analyze blame
systemd-analyze critical-chain
常见单元文件位置:
-
/usr/lib/systemd/system/或/lib/systemd/system/:软件包提供。 -
/etc/systemd/system/:管理员配置,优先级更高。 -
/run/systemd/system/:运行时临时配置。
不要直接修改软件包提供的单元文件,优先使用 systemctl edit 服务名 创建覆盖。
10. 日志管理
10.1 journalctl
journalctl # 所有日志
journalctl -b # 本次启动
journalctl -b -1 # 上一次启动
journalctl -u nginx # 指定服务
journalctl -u nginx -f # 实时追踪
journalctl -u nginx -n 100 # 最近 100 行
journalctl -p err # error 及更严重级别
journalctl --since '1 hour ago'
journalctl --since '2026-09-04 10:00' --until '2026-09-04 11:00'
journalctl _PID=1234
journalctl _SYSTEMD_UNIT=sshd.service
journalctl -k # 内核日志
journalctl -o json-pretty # JSON 格式
journalctl --disk-usage # 日志占用
journalctl --vacuum-time=14d # 清理 14 天前归档日志
journalctl --vacuum-size=2G # 将归档日志控制到指定大小附近
优先设置 /etc/systemd/journald.conf 中的保留策略,而非频繁手工清理。
10.2 传统日志位置
常见但依发行版不同:
-
/var/log/messages:综合系统日志,常见于 RHEL 系。 -
/var/log/syslog:综合系统日志,常见于 Debian 系。 -
/var/log/auth.log或/var/log/secure:认证日志。 -
/var/log/kern.log:内核日志。 -
/var/log/dmesg:启动内核消息快照。 -
/var/log/audit/audit.log:auditd 审计日志。 -
/var/log/nginx/:Nginx 日志。
10.3 dmesg
dmesg -T # 人类可读时间,换算可能不绝对精确
dmesg -w # 实时追踪
dmesg --level=err,warn
dmesg -T | grep -Ei 'oom|error|fail|nvme|ext4|xfs'
10.4 logrotate
logrotate -d /etc/logrotate.conf # 调试演练,不实际轮转
logrotate -f /etc/logrotate.conf # 强制轮转
常见配置项:daily、weekly、rotate 14、compress、delaycompress、missingok、notifempty、copytruncate、postrotate...endscript。
copytruncate对持续写入日志的程序方便,但复制和截断之间可能丢少量日志。更可靠的方法是让程序收到信号后重新打开日志文件。
11. 磁盘、文件系统与挂载
11.1 查看块设备与容量
lsblk # 树形显示块设备
lsblk -f # 文件系统、UUID、挂载点
lsblk -o NAME,SIZE,TYPE,FSTYPE,MOUNTPOINTS,UUID
blkid # UUID 和文件系统类型
df -hT # 文件系统容量、类型
df -i # inode 使用率
du -sh /var/* # 各项占用汇总
du -xhd1 /var | sort -h # 不跨文件系统,深度 1,按大小排序
du -ahx / | sort -rh | head -50 # 最大对象;全盘扫描成本高
“磁盘满但找不到大文件”常见原因:
df -h
df -i # inode 是否耗尽
lsof +L1 # 已删除但仍被进程打开的文件
du -xhd1 /mountpoint | sort -h
对于已删除但仍占空间的日志,优先让服务正常重开日志或重启对应进程;不要随意操作 /proc/PID/fd。
11.2 分区工具
fdisk -l # 查看分区表,常用于 MBR/GPT 基础操作
fdisk /dev/sdb # 交互式分区,修改前必须确认设备
parted -l # 查看分区
parted /dev/sdb print # 查看指定设备
partprobe /dev/sdb # 通知内核重读分区表
分区、格式化会造成重大数据风险。必须先确认设备名、备份、挂载状态、RAID/LVM 关系和变更窗口。
11.3 创建和检查文件系统
mkfs.ext4 /dev/sdb1
mkfs.xfs /dev/sdb1
fsck -f /dev/sdb1 # 通用检查入口,通常必须先卸载
e2fsck -f /dev/sdb1 # ext 文件系统检查
xfs_repair /dev/sdb1 # XFS 修复,通常离线执行
tune2fs -l /dev/sdb1 # ext 文件系统信息
xfs_info /mountpoint # XFS 信息
绝大多数文件系统检查不应对读写挂载中的文件系统直接执行。
11.4 挂载
mount # 查看挂载
findmnt # 树形、结构化查看,推荐
mount /dev/sdb1 /data
mount -o ro /dev/sdb1 /mnt # 只读挂载
mount -o remount,rw /mountpoint # 重新挂载为读写
umount /data
umount -l /data # 延迟卸载,谨慎使用
fuser -vm /data # 卸载失败时查看占用
/etc/fstab 推荐使用 UUID:
UUID=xxxx-xxxx /data xfs defaults,nofail 0 2
修改后验证:
findmnt --verify
mount -a
远程操作系统盘时,错误的 fstab 可能导致下次启动失败,务必保留回滚通道。
11.5 扩容
resize2fs /dev/mapper/vg-lv # ext4 扩容文件系统
xfs_growfs /mountpoint # XFS 在线扩容
growpart /dev/sda 2 # 扩展第 2 分区,来自 cloud-utils
XFS 可以扩容但通常不能缩容;扩容流程取决于云盘、分区、RAID、LVM 和文件系统层级。
11.6 swap
swapon --show
free -h
fallocate -l 4G /swapfile
chmod 600 /swapfile
mkswap /swapfile
swapon /swapfile
swapoff /swapfile
永久启用需在 /etc/fstab 添加:
/swapfile none swap sw 0 0
12. LVM 管理
LVM 层次:块设备/分区 → PV(物理卷)→ VG(卷组)→ LV(逻辑卷)→ 文件系统。
pvs; vgs; lvs # 简要查看
pvdisplay; vgdisplay; lvdisplay # 详细查看
pvcreate /dev/sdb1 # 创建 PV
vgcreate data_vg /dev/sdb1 # 创建 VG
lvcreate -L 100G -n app_lv data_vg
lvcreate -l 100%FREE -n app_lv data_vg
mkfs.xfs /dev/data_vg/app_lv
扩容:
pvcreate /dev/sdc1
vgextend data_vg /dev/sdc1
lvextend -L +50G /dev/data_vg/app_lv
xfs_growfs /data # XFS
# 或 resize2fs /dev/data_vg/app_lv # ext4
部分环境可用 lvextend -r -L +50G LV 同时扩 LV 和文件系统,但仍应先确认工具支持和备份。
缩容风险远高于扩容:必须先确认文件系统支持,通常先卸载、检查并缩文件系统,再缩 LV;XFS 不支持直接缩容。
快照:
lvcreate -L 10G -s -n app_snap /dev/data_vg/app_lv
lvs
lvremove /dev/data_vg/app_snap
快照不是独立备份;快照空间耗尽会失效,并带来写入开销。
13. 内存、CPU 与性能排查
13.1 总体状态
uptime # 运行时间和 1/5/15 分钟负载
free -h # 内存与 swap
vmstat 1 # 每秒刷新 CPU、内存、运行队列和 I/O
top # 动态进程视图
mpstat -P ALL 1 # 每 CPU 使用率,sysstat 包
pidstat 1 # 各进程 CPU
pidstat -r 1 # 内存和缺页
pidstat -d 1 # I/O
iostat -xz 1 # 设备 I/O,sysstat 包
sar -u 1 5 # CPU 历史/采样
sar -r 1 5 # 内存
sar -n DEV 1 5 # 网卡
13.2 Load Average
Linux 负载大体表示处于可运行状态和不可中断睡眠状态的任务数量。粗略判断时与逻辑 CPU 数比较:
nproc
lscpu
cat /proc/loadavg
负载高不等于 CPU 一定高;大量 I/O 等待、NFS 卡顿等也可能提高负载。
13.3 vmstat 重点列
-
r:等待/运行 CPU 的任务数;持续大于 CPU 数提示 CPU 压力。 -
b:不可中断睡眠任务数;高值常提示 I/O 阻塞。 -
si/so:swap 换入/换出速率。 -
bi/bo:块设备读入/写出。 -
us/sy/id/wa/st:用户、内核、空闲、I/O 等待、虚拟机被偷取 CPU。
13.4 free 重点理解
Linux 会用空闲内存做缓存,不能只看 free 列。判断可用内存优先看 available。持续 swap 活跃、重大缺页和 OOM 才更能说明内存压力。
grep -E 'MemTotal|MemFree|MemAvailable|Buffers|Cached|Swap' /proc/meminfo
journalctl -k | grep -Ei 'out of memory|oom|killed process'
13.5 I/O 排查
iostat -xz 1 常看:
-
r/s、w/s:每秒读写请求。 -
rkB/s、wkB/s:吞吐量。 -
await:平均 I/O 响应时间。 -
aqu-sz:平均队列长度。 -
%util:设备忙碌比例;对现代并行设备不能单独作为饱和结论。
iotop -oPa # 累计显示正在产生 I/O 的进程,通常需 root
pidstat -d 1
lsof /path
13.6 perf 和性能分析
perf stat command # 指令、周期、上下文切换等统计
perf top # 实时热点函数
perf record -F 99 -g -p PID -- sleep 30
perf report # 查看采样报告
生产环境使用性能跟踪工具前评估开销、内核权限和数据敏感性。
13.7 系统硬件信息
uname -a
uname -r # 内核版本
lscpu
cat /proc/cpuinfo
lsmem
dmidecode -t system # DMI 信息,通常需 root
dmidecode -t memory
lspci -nnk
lsusb
hostnamectl
timedatectl
14. 网络配置与排障
14.1 地址、链路和路由
现代系统优先使用 ip,而不是已过时的 ifconfig、route、arp。
ip -br addr # 简洁查看地址
ip addr show
ip link show
ip link set dev eth0 up
ip link set dev eth0 down
ip route show
ip route get 8.8.8.8 # 查看实际选路
ip neigh show # ARP/NDP 邻居表
ip -s link show dev eth0 # 丢包、错误计数
临时配置示例:
ip addr add 192.0.2.10/24 dev eth0
ip route add default via 192.0.2.1 dev eth0
ip addr del 192.0.2.10/24 dev eth0
命令行临时配置重启后通常失效;永久配置应通过 NetworkManager、netplan、systemd-networkd 或发行版网络配置完成。
14.2 NetworkManager:nmcli
nmcli device status
nmcli connection show
nmcli connection show --active
nmcli device show eth0
nmcli connection up 'System eth0'
nmcli connection down 'System eth0'
nmcli connection reload
nmcli networking connectivity check
14.3 连通性测试
ping -c 4 192.0.2.1 # 发 4 个 ICMP 包
ping -c 4 -W 2 example.com # 单包等待时间,具体单位看实现
tracepath example.com # 路径和 PMTU
traceroute example.com # 路由路径
mtr -rwzc 100 example.com # 持续路径质量报告
中间节点不响应 ICMP 并不一定表示业务流量失败;重点看最终目标及连续节点的丢包趋势。
14.4 端口与 Socket
ss -lntp # 监听中的 TCP 端口及进程
ss -lnup # 监听中的 UDP 端口及进程
ss -ant # 所有 TCP 连接
ss -s # Socket 汇总
ss -tan state established
ss -tan state time-wait
ss -tnp '( sport = :443 or dport = :443 )'
lsof -i :8080
常见 TCP 状态:LISTEN、SYN-SENT、SYN-RECV、ESTAB、FIN-WAIT-1/2、CLOSE-WAIT、LAST-ACK、TIME-WAIT。
- 大量
CLOSE-WAIT:通常应用未及时关闭对端已关闭的连接。 - 大量
TIME-WAIT:短连接较多,不一定是故障,需要结合端口耗尽、连接速率判断。 - 大量
SYN-RECV:可能有连接洪泛、后端处理慢或握手异常。
14.5 DNS
dig example.com
dig +short example.com
dig @8.8.8.8 example.com A
dig example.com AAAA
dig example.com MX
dig -x 192.0.2.10
host example.com
getent hosts example.com # 按系统 NSS 配置解析
resolvectl status # systemd-resolved 状态
resolvectl query example.com
DNS 排查顺序:检查 /etc/nsswitch.conf、/etc/resolv.conf 或 resolvectl status,分别对系统默认 DNS 和指定 DNS 查询,检查超时、搜索域、缓存和防火墙。
14.6 HTTP/HTTPS:curl
curl https://example.com
curl -I https://example.com # 仅获取响应头
curl -v https://example.com # 显示连接、TLS 和请求细节
curl -L https://example.com # 跟随重定向
curl -sS https://example.com # 静默进度但显示错误
curl -o output.bin URL # 保存为指定文件
curl -O URL # 使用远程文件名
curl --connect-timeout 3 --max-time 10 URL
curl --retry 3 --retry-all-errors URL
curl -H 'Authorization: Bearer TOKEN' URL
curl -X POST -H 'Content-Type: application/json' -d '{"key":"value"}' URL
curl --resolve example.com:443:192.0.2.10 https://example.com/
curl -w '%{http_code} %{time_connect} %{time_starttransfer} %{time_total}\n' -o /dev/null -s URL
不要把真实密码、Token 放进共享终端历史、命令输出、工单或聊天记录;优先使用受保护的配置、环境注入或密钥系统。
14.7 TLS:openssl
openssl s_client -connect example.com:443 -servername example.com
openssl s_client -connect example.com:443 -servername example.com </dev/null 2>/dev/null | openssl x509 -noout -subject -issuer -dates
openssl x509 -in cert.pem -noout -text
openssl x509 -in cert.pem -noout -enddate
openssl verify -CAfile ca.pem cert.pem
-servername 发送 SNI,多域名 HTTPS 排查时很重要。
14.8 TCP/UDP 测试:nc
nc -vz example.com 443 # TCP 端口探测
nc -vz -w 3 example.com 22
nc -l 8080 # 监听端口,不同实现参数略有差异
14.9 抓包:tcpdump
tcpdump -D # 列出接口
tcpdump -i any -nn # 所有接口,不解析名称/端口
tcpdump -i eth0 -nn host 192.0.2.10
tcpdump -i eth0 -nn port 443
tcpdump -i eth0 -nn 'tcp port 80 and host 192.0.2.10'
tcpdump -i eth0 -nn -s0 -w capture.pcap port 443
tcpdump -nn -r capture.pcap
tcpdump -i eth0 -nn -c 100 # 只抓 100 个包
-
-n不解析主机名,-nn同时不解析端口服务名。 -
-s0抓完整包。 -
-w写 pcap;-r读取。 - 抓包可能包含账号、Cookie、业务数据和内部拓扑,应控制权限、范围、时长和留存。
14.10 防火墙
nftables
nft list ruleset
nft list tables
nft list table inet filter
nft -c -f rules.nft # 仅检查规则文件
nft -f rules.nft # 加载规则文件
firewalld
firewall-cmd --state
firewall-cmd --get-active-zones
firewall-cmd --list-all
firewall-cmd --add-service=https --permanent
firewall-cmd --add-port=8080/tcp --permanent
firewall-cmd --reload
firewall-cmd --query-port=8080/tcp
iptables(旧系统或兼容层)
iptables -L -n -v --line-numbers
iptables -t nat -L -n -v
iptables-save
远程修改防火墙前必须先确保 SSH 管理通道不会被切断,并准备自动回滚或带外控制台。
15. SSH 与远程传输
15.1 ssh
ssh user@host
ssh -p 2222 user@host
ssh -i ~/.ssh/id_ed25519 user@host
ssh -v user@host # 调试;-vv/-vvv 更详细
ssh -o ConnectTimeout=5 user@host
ssh -J bastion_user@bastion user@target # 跳板机
ssh user@host 'hostname; uptime' # 执行远程命令
15.2 密钥
ssh-keygen -t ed25519 -C 'ops-key'
ssh-keygen -lf ~/.ssh/id_ed25519.pub # 指纹
ssh-copy-id user@host # 安装公钥
ssh-add ~/.ssh/id_ed25519 # 加入 agent
ssh-add -l # 列出 agent 中的密钥
典型 ~/.ssh/config:
Host prod-web-1
HostName 192.0.2.10
User ops
Port 22
IdentityFile ~/.ssh/id_ed25519
IdentitiesOnly yes
ServerAliveInterval 30
ServerAliveCountMax 3
ProxyJump bastion
私钥一般使用 chmod 600,.ssh 目录 chmod 700,authorized_keys chmod 600。
15.3 端口转发
ssh -L 15432:db.internal:5432 user@bastion # 本地转发
ssh -R 8080:localhost:80 user@remote # 远程转发
ssh -D 1080 user@host # SOCKS 代理
ssh -N -T -L 15432:db:5432 user@bastion # 仅转发,不执行远程命令
15.4 scp 与 sftp
scp file user@host:/tmp/
scp -P 2222 file user@host:/tmp/
scp -r dir user@host:/tmp/
sftp user@host
大目录、增量或断点场景优先 rsync。
15.5 SSH 安全要点
- 优先密钥认证,禁用弱算法和无必要的密码登录。
- 是否禁用 root 直接登录取决于管理体系,通常建议普通账户加 sudo。
- 修改
sshd_config后先执行sshd -t检查语法。 - 保持现有 SSH 会话,另开新会话验证成功后再退出。
- 配合防火墙、MFA/堡垒机、最小权限、登录审计和密钥轮换。
16. 软件包管理
16.1 Debian / Ubuntu:APT
apt update
apt list --upgradable
apt install nginx
apt remove nginx
apt purge nginx # 连同包配置删除
apt autoremove
apt upgrade
apt full-upgrade # 允许为解决依赖增删包
apt-cache policy nginx
apt search nginx
dpkg -l | grep nginx
dpkg -L nginx # 包安装了哪些文件
dpkg -S /usr/sbin/nginx # 文件属于哪个包
dpkg -i package.deb
apt -f install # 修复依赖
脚本中更适合使用接口相对稳定的 apt-get、apt-cache。
16.2 RHEL / Rocky / Alma / Fedora:DNF/YUM
dnf check-update
dnf install nginx
dnf remove nginx
dnf upgrade
dnf search nginx
dnf info nginx
dnf provides '*/semanage'
dnf history
dnf history info ID
rpm -qa | grep nginx
rpm -ql nginx
rpm -qf /usr/sbin/nginx
rpm -V nginx # 验证已安装文件
rpm -ivh package.rpm
rpm -Uvh package.rpm
老系统可能使用 yum,许多新系统的 yum 实际是 DNF 兼容入口。
16.3 SUSE:zypper
zypper refresh
zypper install nginx
zypper remove nginx
zypper update
zypper search nginx
zypper info nginx
16.4 包升级原则
- 先阅读变更说明和安全公告。
- 明确依赖、配置迁移和服务重启影响。
- 先在相同环境验证,并准备回滚。
- 内核、glibc、数据库等基础组件升级需要更严格的维护窗口。
- 不要在生产主机上无差别执行大范围升级后才检查影响。
17. 计划任务
17.1 cron
crontab -l # 查看当前用户任务
crontab -e # 编辑
crontab -u app -l # 查看指定用户,通常需 root
格式:
分 时 日 月 周 命令
* * * * * command
示例:
*/5 * * * * /usr/local/bin/check.sh >>/var/log/check.log 2>&1
0 2 * * * /usr/local/sbin/backup.sh
30 3 * * 1 /usr/local/sbin/weekly-report.sh
@reboot /usr/local/bin/start-helper.sh
注意:
- cron 环境变量很少,脚本中使用绝对路径并显式设置
PATH。 - 防止任务重叠:
flock -n /run/lock/job.lock command。 - 记录标准输出和错误,设计超时、幂等、告警和退出码。
-
%在某些 cron 实现中有特殊含义,需要转义。 - 星期字段
0或7通常表示周日,但应以系统手册为准。
17.2 systemd timer
systemctl list-timers --all
systemctl status backup.timer
journalctl -u backup.service
systemd timer 支持依赖管理、统一日志、错过任务补跑(Persistent=true)、随机延迟和更清晰的状态,通常比复杂 cron 更易维护。
17.3 一次性任务
at 23:00
at now + 30 minutes
atq
atrm JOB_ID
18. Shell 环境与脚本基础
18.1 环境变量
env # 所有导出变量
printenv PATH
echo "$PATH"
export APP_ENV=prod
unset APP_ENV
VAR=value command # 仅对该命令设置环境变量
source ~/.bashrc # 在当前 Shell 加载文件
常见文件:
-
/etc/profile:系统级登录 Shell。 -
~/.bash_profile、~/.profile:用户登录 Shell。 -
~/.bashrc:Bash 交互式非登录 Shell。 -
/etc/environment:部分系统使用的环境变量文件,不是 Shell 脚本。
18.2 历史与别名
history
history 20
history -c # 清空当前会话历史,谨慎
alias ll='ls -lah'
unalias ll
不要在命令行直接输入敏感 Token/密码;历史文件可能长期保存。
18.3 Bash 脚本模板
#!/usr/bin/env bash
set -Eeuo pipefail
trap 'echo "error: line=$LINENO exit=$?" >&2' ERR
main() {
local target=${1:-}
if [[ -z "$target" ]]; then
echo "Usage: $0 TARGET" >&2
return 2
fi
printf 'target=%s\n' "$target"
}
main "$@"
-
set -e:未处理的失败通常使脚本退出,但在条件、管道等场景有细节,不能代替显式错误处理。 -
set -u:引用未定义变量时报错。 -
set -o pipefail:管道中任一命令失败时管道失败。 -
set -E:ERR trap 在函数等上下文继承。 -
"$@":保留全部参数边界。 - 变量引用通常写成
"$var",防止分词和通配符展开。
18.4 条件和循环
if [[ -f "$file" ]]; then
echo "regular file"
elif [[ -d "$file" ]]; then
echo "directory"
else
echo "not found"
fi
for host in host1 host2 host3; do
echo "$host"
done
while IFS= read -r line; do
printf '%s\n' "$line"
done < file
常用测试:-e 存在、-f 普通文件、-d 目录、-r/-w/-x 可读写执行、-s 非空、-L 符号链接、-z 空字符串、-n 非空字符串。
18.5 Shell 检查工具
bash -n script.sh # 语法检查
shellcheck script.sh # 静态检查,需安装
bash -x script.sh # 执行跟踪;可能泄露敏感变量
19. 内核与系统参数
19.1 sysctl
sysctl -a # 查看全部参数,输出很多
sysctl net.ipv4.ip_forward
sysctl -w net.ipv4.ip_forward=1 # 临时修改
sysctl --system # 加载系统配置
sysctl -p /etc/sysctl.d/99-app.conf
持久配置通常放在 /etc/sysctl.d/*.conf。修改前理解参数含义、适用内核版本和对网络/内存的影响,不要机械复制“万能优化参数”。
19.2 内核模块
lsmod
modinfo br_netfilter
modprobe br_netfilter
modprobe -r module_name # 卸载,可能影响运行中的设备/服务
持久加载可配置 /etc/modules-load.d/*.conf,模块参数可配置 /etc/modprobe.d/*.conf。
19.3 时间与时区
date
date -u
date '+%F %T %z'
timedatectl
timedatectl list-timezones
timedatectl set-timezone Asia/Shanghai
timedatectl set-ntp true
chronyc tracking # chrony 状态
chronyc sources -v
分布式系统中时间漂移会影响 TLS、日志关联、数据库、认证和一致性,必须监控时间同步。
19.4 主机名与系统状态
hostname
hostname -f
hostnamectl
hostnamectl set-hostname new-hostname
localectl status
systemctl reboot
systemctl poweroff
shutdown -r +10 'maintenance reboot'
shutdown -c # 取消计划关机
重启/关机前确认业务摘流、数据落盘、集群仲裁、维护通知和远程恢复手段。
20. 安全与审计
20.1 登录和认证排查
last -a
lastb -a
lastlog
faillock --user username # 部分 PAM 系统
journalctl -u sshd
grep -Ei 'failed|invalid|accepted' /var/log/auth.log
20.2 auditd
systemctl status auditd
auditctl -s # 审计状态
auditctl -l # 当前规则
ausearch -m USER_LOGIN -ts today
ausearch -k critical_files
aureport --auth
临时监控文件:
auditctl -w /etc/passwd -p wa -k identity_changes
永久规则通常放入 /etc/audit/rules.d/。高频目录的宽泛审计可能产生大量日志和性能影响。
20.3 SELinux
getenforce
sestatus
ls -Z /var/www/html
ps -eZ
ausearch -m AVC -ts recent
restorecon -Rv /var/www/html
semanage fcontext -a -t httpd_sys_content_t '/srv/web(/.*)?'
restorecon -Rv /srv/web
getsebool -a | grep httpd
setsebool -P httpd_can_network_connect on
遇到 SELinux 拒绝时,应查看 AVC 日志并修正文件标签、布尔值或最小化策略,避免把永久关闭 SELinux 当成常规解决方案。
20.4 AppArmor
aa-status
apparmor_status
journalctl -k | grep -i apparmor
20.5 文件和端口基线检查
find / -xdev -type f -perm -0002 -ls 2>/dev/null # 所有人可写文件
find / -xdev -type d -perm -0002 ! -perm -1000 -ls 2>/dev/null
find / -xdev -nouser -o -nogroup # 注意加括号可明确逻辑
ss -lntup
systemctl list-unit-files --state=enabled
更严谨的无主文件写法:
find / -xdev \( -nouser -o -nogroup \) -ls 2>/dev/null
20.6 加密随机数和证书请求
openssl rand -hex 32
openssl genpkey -algorithm ED25519 -out key.pem
openssl req -new -newkey rsa:3072 -nodes -keyout key.pem -out request.csr
私钥必须设置严格权限、备份和轮换策略;-nodes 表示生成未加密私钥,只适合有完善文件权限和密钥管理的自动化场景。
21. 容器常用命令
21.1 Docker
docker version
docker info
docker ps # 运行中容器
docker ps -a # 全部容器
docker images
docker pull nginx:1.27
docker run -d --name web -p 8080:80 nginx:1.27
docker logs -f --tail 100 web
docker exec -it web sh
docker inspect web
docker stats
docker top web
docker stop web
docker start web
docker restart web
docker rm web
docker rmi IMAGE
docker network ls
docker volume ls
docker system df
危险清理:
docker system prune
docker system prune -a
docker volume prune
执行前逐项检查将删除的停止容器、未使用镜像、网络和卷;卷可能包含业务数据。
21.2 Docker Compose
docker compose config # 解析并校验配置
docker compose up -d
docker compose ps
docker compose logs -f --tail 100
docker compose exec service sh
docker compose pull
docker compose restart service
docker compose down
docker compose down -v 会删除命名卷,可能造成数据丢失。
21.3 Kubernetes:kubectl
kubectl config current-context
kubectl config get-contexts
kubectl get nodes -o wide
kubectl get pods -A -o wide
kubectl get deploy,sts,ds -n namespace
kubectl describe pod POD -n namespace
kubectl logs POD -n namespace --tail=100
kubectl logs -f POD -c CONTAINER -n namespace
kubectl logs POD --previous -n namespace
kubectl exec -it POD -n namespace -- sh
kubectl get events -n namespace --sort-by=.metadata.creationTimestamp
kubectl top nodes
kubectl top pods -A
kubectl rollout status deployment/APP -n namespace
kubectl rollout history deployment/APP -n namespace
kubectl rollout undo deployment/APP -n namespace
kubectl scale deployment/APP --replicas=3 -n namespace
kubectl port-forward pod/POD 8080:80 -n namespace
kubectl auth can-i create deployments -n namespace
kubectl diff -f manifest.yaml
kubectl apply --server-side --dry-run=server -f manifest.yaml
不要默认使用 kubectl delete --force --grace-period=0;强制删除 API 对象不等于底层进程或存储一定已安全停止。
22. 数据库与中间件辅助排障
22.1 MySQL / MariaDB 客户端
mysql -h HOST -P 3306 -u USER -p
mysqladmin -h HOST -u USER -p ping
mysqladmin processlist
mysqldump --single-transaction --routines --triggers DB > backup.sql
避免 -pPASSWORD,因为密码可能暴露在进程列表和历史中。大库备份必须结合引擎、一致性、锁、复制和恢复演练设计。
22.2 PostgreSQL 客户端
psql -h HOST -p 5432 -U USER -d DB
pg_isready -h HOST -p 5432
pg_dump -Fc -h HOST -U USER DB > backup.dump
pg_restore -l backup.dump
22.3 Redis
redis-cli -h HOST -p 6379 ping
redis-cli INFO
redis-cli INFO memory
redis-cli INFO replication
redis-cli SLOWLOG GET 10
redis-cli --latency -h HOST -p 6379
生产环境谨慎执行 KEYS *、大 Key 全量读取、FLUSHALL、FLUSHDB、MONITOR;这些命令可能阻塞、泄露数据或直接清空数据。
22.4 Nginx
nginx -t # 配置语法检查
nginx -T # 展开输出全部配置
systemctl reload nginx
curl -I http://127.0.0.1/
排查路径:端口是否监听 → 本机请求 → 错误日志 → 上游解析/连接 → TLS → 防火墙/代理 → 资源限制。
23. 实用组合命令
23.1 查看最占空间的一级目录
du -xhd1 /var 2>/dev/null | sort -h
23.2 查看最大文件
find /var -xdev -type f -printf '%s\t%p\n' 2>/dev/null | sort -nr | head -20 | numfmt --field=1 --to=iec
23.3 统计访问日志来源 IP
awk '{print $1}' access.log | sort | uniq -c | sort -nr | head
23.4 统计 HTTP 状态码
awk '{count[$9]++} END {for (code in count) print code,count[code]}' access.log | sort
字段位置取决于日志格式,使用前先 head 确认。
23.5 实时筛选多个错误关键词
tail -F app.log | grep --line-buffered -Ei 'error|exception|timeout|panic'
23.6 查端口对应进程
ss -lntp 'sport = :8080'
lsof -nP -iTCP:8080 -sTCP:LISTEN
23.7 查看某进程资源和文件
pid=1234
ps -p "$pid" -o pid,ppid,user,%cpu,%mem,stat,lstart,etime,cmd
cat "/proc/$pid/status"
ls -l "/proc/$pid/fd" | head
lsof -p "$pid" | head
23.8 查看连接状态数量
ss -ant | awk 'NR>1 {count[$1]++} END {for (s in count) print s,count[s]}' | sort
23.9 查找最近修改的配置
find /etc -xdev -type f -mtime -1 -printf '%TY-%Tm-%Td %TH:%TM:%TS %p\n' 2>/dev/null | sort
23.10 批量校验主机端口
while read -r host port; do
if nc -z -w 2 "$host" "$port"; then
echo "OK $host:$port"
else
echo "FAIL $host:$port"
fi
done < hosts.txt
23.11 安全处理带空格文件名
find /data -type f -name '*.log' -print0 |
while IFS= read -r -d '' file; do
printf '%s\n' "$file"
done
23.12 观察命令变化
watch -n 2 'df -h; echo; free -h'
watch -d -n 1 'ss -s'
23.13 设置超时
timeout 10s curl -v https://example.com
timeout --signal=TERM --kill-after=5s 30s command
23.14 并发但限制数量
printf '%s\n' host1 host2 host3 | xargs -n1 -P3 -I{} ssh {} uptime
批量 SSH 前应设置连接超时、主机密钥验证策略、失败汇总和并发上限。
24. 标准故障排查流程
24.1 通用原则
- 明确现象:谁、何时、在哪里、什么操作、期望与实际结果。
- 确定影响范围:单用户、单实例、单可用区还是全局。
- 建立时间线:变更、发布、扩容、证书、流量和告警是否相关。
- 先观察再修改:保存日志、指标、进程、连接、配置和错误现场。
- 从外到内分层:DNS → 网络 → 负载均衡 → 端口 → 服务 → 依赖 → 存储。
- 一次只改变一个关键变量,记录命令、时间和结果。
- 优先可回滚、低风险缓解;根因分析与永久修复可在恢复后继续。
- 验证恢复:不仅看进程“活着”,还要验证真实业务请求和关键指标。
24.2 服务无法访问
systemctl status SERVICE
journalctl -u SERVICE --since '30 min ago'
ss -lntp
curl -v http://127.0.0.1:PORT/health
ip route get CLIENT_IP
firewall-cmd --list-all # 或 nft list ruleset
检查顺序:
- 服务是否运行,是否频繁重启。
- 配置语法、证书、依赖和权限是否正确。
- 进程是否监听正确地址和端口;只监听
127.0.0.1无法被远程访问。 - 本机访问是否成功。
- 防火墙、安全组、SELinux/AppArmor 是否拦截。
- 路由、DNS、负载均衡和反向代理是否正确。
- 是否达到连接数、文件描述符、线程、CPU、内存限制。
24.3 CPU 高
uptime
mpstat -P ALL 1
pidstat 1
ps -eo pid,ppid,user,%cpu,%mem,stat,cmd --sort=-%cpu | head
top -H -p PID
perf top
区分用户态、内核态、单核热点、上下文切换、中断、虚拟化 steal;再结合应用线程栈、慢查询、GC、死循环和流量变化。
24.4 内存高或 OOM
free -h
vmstat 1
ps -eo pid,user,rss,vsz,%mem,cmd --sort=-rss | head
cat /proc/PID/status
journalctl -k | grep -Ei 'oom|out of memory|killed process'
核对 RSS、缓存、共享内存、容器/cgroup 限制、swap 活动、内存泄漏趋势和 OOM victim。不要仅为降低“used”数值清理页缓存。
24.5 磁盘空间满
df -hT
df -i
du -xhd1 /mountpoint | sort -h
lsof +L1
journalctl --disk-usage
不要先盲删日志;先确定增长源、日志轮转是否失败、文件是否仍被进程占用,然后采用压缩、轮转、扩容或安全清理。
24.6 磁盘 I/O 慢
iostat -xz 1
vmstat 1
pidstat -d 1
iotop -oPa
dmesg -T | grep -Ei 'error|timeout|reset|nvme|scsi|ext4|xfs'
结合设备延迟、队列、吞吐、错误、云盘额度、RAID 状态和具体进程判断。
24.7 网络慢或超时
ip -br addr
ip route get TARGET_IP
ip -s link
ping -c 5 TARGET_IP
mtr -rwzc 50 TARGET_IP
ss -s
ss -antp
dig DOMAIN
curl -v --connect-timeout 3 --max-time 10 URL
tcpdump -i any -nn host TARGET_IP
将总耗时拆成 DNS、TCP 建连、TLS 握手、首字节、下载;检查丢包、重传、MTU、拥塞、连接池和上游响应时间。
24.8 系统启动失败或变慢
journalctl -b -p warning
journalctl -b -1
systemctl --failed
systemd-analyze blame
systemd-analyze critical-chain
findmnt --verify
重点检查 fstab、磁盘/文件系统、网络等待、失败单元、内核错误、initramfs 和最近变更。
24.9 负载高但 CPU 不高
uptime
vmstat 1
ps -eo state,pid,ppid,wchan:32,cmd | awk '$1 ~ /^D/'
iostat -xz 1
pidstat -d 1
重点看 D 状态进程、块设备、NFS、FUSE、内核锁和设备故障。
24.10 配置变更上线流程
- 备份或版本控制当前配置。
- 在测试环境验证。
- 用程序自带命令检查语法,如
nginx -t、sshd -t、visudo -c。 - 查看差异并让另一位工程师复核高风险变更。
- 先灰度,再 reload/restart。
- 检查服务状态、日志、端口、真实请求和业务指标。
- 若异常,按预案回滚并再次验证。
25. 危险命令与操作原则
25.1 高风险命令
以下操作并非不能使用,但必须明确目标、影响和恢复方式:
-
rm -rf:递归强制删除。 -
mkfs.*:创建文件系统,会覆盖原有文件系统元数据。 -
dd写块设备:源和目标写反会毁坏数据。 -
fdisk、parted:修改分区表。 -
lvremove、vgremove、pvremove:删除 LVM 对象。 -
iptables -F、错误 nftables/firewalld 规则:可能中断网络和 SSH。 -
chmod -R、chown -R:可能破坏整棵目录权限。 -
kill -9:程序无法清理资源或优雅落盘。 -
docker system prune -a --volumes:可能删除镜像、缓存和数据卷。 -
kubectl delete、drain、scale --replicas=0:可能造成业务中断。 - 数据库
DROP、TRUNCATE、无条件DELETE/UPDATE:数据风险。 -
shutdown、reboot:直接影响所有本机服务。
25.2 执行高风险命令前的检查清单
pwd
id
hostname -f
date -Is
printf 'target=<明确目标>\n'
并确认:
- 当前是否为生产环境、正确主机和正确集群。
- 命令作用域是否精确,变量是否非空,通配符展开结果是否可控。
- 是否有可验证的备份,以及恢复演练是否成功。
- 是否有维护窗口、审批、通知、业务摘流和回滚方案。
- 是否有第二连接或带外控制台,防止网络变更后失联。
- 是否先执行 dry-run、只读查询或打印目标清单。
25.3 变量安全示例
target=${1:-}
if [[ -z "$target" || "$target" == "/" ]]; then
echo "invalid target" >&2
exit 2
fi
find "$target" -xdev -type f -mtime +30 -print
先检查打印结果,再在明确授权后执行删除。避免把未验证变量直接交给递归删除命令。
26. 运维工程师建议掌握的知识图谱
Linux 基础
- 启动流程:Firmware → Bootloader → Kernel/initramfs → systemd → target/services。
- 进程、线程、信号、PID namespace、cgroup。
- 虚拟内存、页缓存、swap、OOM。
- inode、文件描述符、硬链接/软链接、VFS。
- ext4/XFS、LVM、RAID、挂载和
fstab。
网络
- OSI/TCP-IP 分层、子网、路由、ARP/NDP。
- TCP 三次握手、四次关闭、重传、滑动窗口和拥塞控制。
- DNS、HTTP/HTTPS、TLS、代理和负载均衡。
- nftables、防火墙、安全组、NAT。
- 常用工具:
ip、ss、dig、curl、mtr、tcpdump。
服务与自动化
- systemd 单元、依赖、日志和资源限制。
- Bash/Python 基础、幂等性、退出码、重试、超时、锁。
- Ansible 等配置管理工具。
- Git、CI/CD、灰度、回滚、制品和配置管理。
可观测性与稳定性
- 指标、日志、链路、事件四类信号。
- RED:Rate、Errors、Duration。
- USE:Utilization、Saturation、Errors。
- SLI/SLO/SLA、告警降噪、容量规划。
- 事件响应、故障复盘、变更管理和灾难恢复。
安全
- 最小权限、sudo、SSH 密钥、MFA、堡垒机。
- 补丁和漏洞管理、软件供应链、密钥管理。
- SELinux/AppArmor、auditd、文件完整性和安全基线。
- 备份的 3-2-1 原则、离线/不可变备份、定期恢复演练。
云原生
- 镜像、容器、namespace、cgroup、OverlayFS。
- Kubernetes 对象、调度、探针、资源 requests/limits、网络和存储。
- Helm、Ingress、服务发现、Operator 基础。
- IaC:Terraform/OpenTofu 等工具的状态、计划和变更审查。
附录 A:常用目录速查
| 路径 | 用途 |
|---|---|
/etc |
系统和服务配置 |
/var/log |
日志 |
/var/lib |
服务持久状态数据 |
/var/cache |
缓存 |
/var/spool |
队列和待处理任务 |
/run |
启动后运行时数据,通常为 tmpfs |
/tmp |
临时文件,生命周期取决于系统策略 |
/usr/bin、/usr/sbin
|
常用程序和管理程序 |
/usr/local |
管理员本地安装的软件 |
/opt |
可选/第三方软件 |
/home |
普通用户家目录 |
/root |
root 家目录 |
/proc |
进程和内核的伪文件系统 |
/sys |
设备、驱动和内核对象的伪文件系统 |
/dev |
设备节点 |
/boot |
内核、initramfs、bootloader 文件 |
/mnt、/media
|
临时和可移动介质挂载点 |
附录 B:常见端口速查
| 端口 | 协议/服务 |
|---|---|
| 22 | SSH |
| 25 | SMTP |
| 53 | DNS |
| 67/68 | DHCP |
| 80 | HTTP |
| 123 | NTP |
| 389 | LDAP |
| 443 | HTTPS |
| 465/587 | SMTPS / 邮件提交 |
| 636 | LDAPS |
| 873 | rsync daemon |
| 2049 | NFS |
| 2379/2380 | etcd 常见端口 |
| 3306 | MySQL/MariaDB |
| 5432 | PostgreSQL |
| 6379 | Redis |
| 6443 | Kubernetes API Server 常见端口 |
| 8080 | 常见 Web/代理端口,非固定标准用途 |
| 9090 | Prometheus 常见端口 |
| 9100 | Node Exporter 常见端口 |
| 9200 | Elasticsearch HTTP 常见端口 |
端口只是默认约定,实际服务可以改端口。使用 ss -lntup 以当前系统为准。
附录 C:命令替代关系
| 旧命令 | 推荐命令 |
|---|---|
ifconfig |
ip addr / ip link
|
route |
ip route |
arp |
ip neigh |
netstat |
ss |
service name status |
systemctl status name |
chkconfig |
systemctl enable/disable |
旧命令在遗留系统仍可能需要掌握,但新脚本和新系统配置优先采用现代工具。
附录 D:学习和使用建议
- 不要死记所有参数;熟记高频命令、排障思路和如何查手册。
- 建立个人实验环境,练习磁盘、网络、systemd、权限和故障模拟。
- 为常用操作保留经过审核的脚本、检查清单和回滚方案。
- 每次故障都记录时间线、证据、根因、修复和防复发措施。
- 命令输出只是证据,必须结合业务架构、时间范围和基线判断。
- 生产运维的核心不是“会执行命令”,而是安全地观察、判断、变更、验证和恢复。
最后更新:2026-09-04。本文是跨发行版通用速查笔记;涉及具体系统时,应以该发行版的软件版本、官方手册和组织变更规范为准。