10: 三剑客之sed

1. sed工作原理

vim, grep 和sed工作原理对比

vim处理文件是把文件整个都加载到内存中打开，势必会因为文件过大造成消耗内存
grep和sed都逐行处理. 将每一行逐行加载到内存, 适合批量处理大文件
grep,sed可以处理文件, 也可以处理标准输入

sed工作原理

sed即Stream Editor, 和vi不同, sed是行编辑器

sed是从文件或管道中读取一行, 处理一行, 输出一行; 再读取一行, 再处理一行, 再输出一行, 直到最后一行.

每当处理一行时, 把当前正在处理的行存储在临时缓冲区中, 称为模式空间(Pattern Space), 接着用sed命令处理缓冲区中的内容, 处理完成后, 把缓冲区的内容送往屏幕. 接着处理下一行, 这样不断重复, 直到文件末尾.

一次处理一行的设计模式使得sed性能很高, sed在读取大文件时, 不会出现卡顿的现象. 如果使用vi命令打开几十M或者上百M的文件, 明显会出现卡顿的现象, 这是因为vi命令打开文件是一次性将文件加载到内存, 然后再打开. sed就避免了这种情况, 一行一行的处理, 打开速度非常快, 执行速度也很快.

2. sed基本用法

格式:

sed [option]... 'script;script;...' inputfile...

script格式: 脚本由两部分组成, 地址和命令

地址: 针对哪些行
命令: 进行哪些操作

'地址+命令组成' #脚本要放在单引号或者双引号
单地址: '2p','3d', 指定行号和命令

模式地址: '/模式/p', '/模式/d'
模式地址可以是正则表达式, 表示匹配包含该模式的行, 对这些行进行后续的命令操作
模式地址也可以是字符, 表示搜索包含某个字符串的行, 然后做命令操作

地址格式:

1. 不给地址: 对全文进行处理
2. 单地址: 
#: 指定第#行, $:最后一行
/pattern/: 被此处模式(正则表达式)所能够匹配到的每一行
3. 地址范围
#,#        表示从第#行. 到第#行, 例如: 3,6 表示第三行到第六行
#,+#      表示从第#行, 到第#+#行, 例如: 3,+6表示第三行到第九行

/pat1/, /pat2/  
#表示从符合pat1模式的行开始到符合pat2模式的行结束. 
#如果pat1不存在, pat2存在, 那么不会有任何输出, 如果pat1存在, pat2不存在, 那么会从pat1的行开始打印, 一直打印到文本最后一行.
#由于sed是逐行处理, 不可逆的, 因此如果匹配了一次pat1和pat2, 那么sed还会继续往下文找看看有没有符合pat1到pat2的模式的行. 

#, /pat/
# 表示从第几行开始, 打印到符合pat2模式的行

4. 步进
1~2 奇数行
2~2 偶数行
1~3 从1开始, 步进为3, 结果为1,4,7,10...

常用选项:

-n 不输出模式空间内容到屏幕. 即不自动打印模式空间中的行
-e 多点编辑, 或关系
-f FILE 从指定文件中读取编辑脚本
-r, -E 使用扩展正则表达式
-i.bak 备份文件并在源文件基础上进行编辑
-i 直接修改源文件

命令:

# 注意, 命令和搜索替换的修饰符不同, 命令是配合script的'地址+命令'使用的, 而修饰符是搜索替换时使用的
p           打印当前模式空间内容，追加到默认输出之后, 也就是打印到屏幕
Ip          忽略大小写输出
d           删除模式空间匹配的行，并立即启用下一轮循环
a [\\]text  在指定行后面追加文本，支持使用\n实现多行追加
i [\\]text  在行前面插入文本
c [\\]text  替换行为单行或多行文本
w /path/file    保存模式匹配的行至指定文件
r /path/file    读取指定文件的文本至模式空间中匹配到的行后
=           为模式空间中的行打印行号
!           模式空间中匹配行取反处理

s/pattern/string/修饰符        查找替换,支持使用其它分隔符，可以是其它形式：s@@@，s###
替换修饰符：
g   行内全局替换
p   显示替换成功的行
w   /PATH/FILE  将替换成功的行保存至文件中
I,i   忽略大小写

案例1: 脚本中不写明地址和命令, 和cat效果一样, 打印文件内容到标准输出

sed默认行为就是读入一行到模式空间, 就把这行打印出来, 即使没有指定地址和命令, 也会自动打印, 可以用-n选项, 关闭自动打印

[root@ubuntu:/opt]# cp /etc/fstab .
[root@ubuntu:/opt]# cat fstab 
# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
# / was on /dev/sda3 during installation
UUID=b6da1157-9484-4ebf-960b-98fd7e260c8e /               ext4    errors=remount-ro 0       1
# /boot was on /dev/sda1 during installation
UUID=7fdab47c-1956-4be7-acb8-64e6f127c0bc /boot           ext4    defaults        0       2
# /data was on /dev/sda4 during installation
UUID=8c74a351-2398-4ee2-a738-a39db67e9fd4 /data           ext4    defaults        0       2
# swap was on /dev/sda5 during installation
UUID=7fee41dd-6e09-48e0-bc8e-87b6c19f5e6b none            swap    sw              0       0


[root@ubuntu:/opt]# sed '' fstab # 脚本一定要用单引号或者双引号括起来, 即使没有地址和命令也要括起来, 否则会报错
# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
# / was on /dev/sda3 during installation
UUID=b6da1157-9484-4ebf-960b-98fd7e260c8e /               ext4    errors=remount-ro 0       1
# /boot was on /dev/sda1 during installation
UUID=7fdab47c-1956-4be7-acb8-64e6f127c0bc /boot           ext4    defaults        0       2
# /data was on /dev/sda4 during installation
UUID=8c74a351-2398-4ee2-a738-a39db67e9fd4 /data           ext4    defaults        0       2
# swap was on /dev/sda5 during installation
UUID=7fee41dd-6e09-48e0-bc8e-87b6c19f5e6b none            swap    sw              0       0

# -n选项: 关闭自动打印
[root@ubuntu:/opt]# sed -n '' fstab 
[root@ubuntu:/opt]#

案例2: 脚本中不写明地址和命令, 也不跟文件, 那就是打印标准输入, 从标准输入读入一行, 打印一行

[root@ubuntu:/opt]#sed ''
an
an
an
an
cd
cd
cd
cd
wa
wa

sed默认行为: 读入一行数据, 就会默认把这行数据打印到标准输出, 即使没有写任何地址和命令, 也会默认把读入到模式空间的数据, 打印到标准输出, 如果想取消自动打印, 需要加-n选项

也就是说,如果不加-n, 那么打印到标准输出的就是全文内容.

比如sed后直接跟某个文件, 那么就是把文件的每一行都读入到模式空间, 由于没有加-n那么文件的每一行读入到模式空间后, 就会默认被打印出来, 具体打印什么, 就是看哪些数据被读入到了sed模式空间里

案例3: 利用-n取消自动打印

[root@ubuntu:/opt]# sed '' fstab -n
[root@ubuntu:/opt]#

[root@ubuntu:/opt]# sed '' -n
aa
bb
cc
dd
[root@ubuntu:/opt]#

[root@ubuntu:/opt]#sed -n ''
a
b
c
d

案例4: 利用sed的p命令, p命令会打印模式空间的内容到标准输出

# -n 选项指明取消自动打印, 因此读入到模式空间的每一行数据不会打印到标准输出
[root@ubuntu:/opt]# sed -n '' fstab
[root@ubuntu:/opt]#

 #-n 选项指明了取消自动打印, 但是p命令又指明了打印当前模式空间内容, 追加到默认输出之后, 因此加载到模式空间的每一行又会被打印到标准输出
# -n 是通过选项取消自动打印, 而p是脚本命令, 打印模式空间的内容到标准输出
[root@ubuntu:/opt]# sed -n 'p' fstab 
# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
# / was on /dev/sda3 during installation
UUID=b6da1157-9484-4ebf-960b-98fd7e260c8e /               ext4    errors=remount-ro 0       1
# /boot was on /dev/sda1 during installation
UUID=7fdab47c-1956-4be7-acb8-64e6f127c0bc /boot           ext4    defaults        0       2
# /data was on /dev/sda4 during installation
UUID=8c74a351-2398-4ee2-a738-a39db67e9fd4 /data           ext4    defaults        0       2
# swap was on /dev/sda5 during installation
UUID=7fee41dd-6e09-48e0-bc8e-87b6c19f5e6b none            swap    sw              0       0

案例5: 指定单地址, 直接在'脚本'中写行号p即可, 比如,1p,2p,3p, 分别代表打印第一行, 第二行, 第三行

[root@ubuntu:/opt]# sed -n '1p' fstab 
# /etc/fstab: static file system information.
[root@ubuntu:/opt]# sed -n '2p' fstab 
#

案例6: 打印网卡带有ip地址那一行

[root@ubuntu:/opt]# ifconfig eth0
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 10.0.0.29  netmask 255.255.255.0  broadcast 10.0.0.255
        inet6 fe80::20c:29ff:fe16:cbfe  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:16:cb:fe  txqueuelen 1000  (Ethernet)
        RX packets 57468  bytes 45311462 (45.3 MB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 32433  bytes 2102696 (2.1 MB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

[root@ubuntu:/opt]# ifconfig eth0 | sed -n  '2p'
        inet 10.0.0.29  netmask 255.255.255.0  broadcast 10.0.0.255

#如果不加-n, 那么除了目标第二行, 还会把所有的文本内容在打印一遍, 读入一行打印一行, 第二行会打印两遍, 默认打印一遍, p命令打印一遍
[root@ubuntu:/opt]# ifconfig eth0 | sed  '2p'
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 10.0.0.29  netmask 255.255.255.0  broadcast 10.0.0.255
        inet 10.0.0.29  netmask 255.255.255.0  broadcast 10.0.0.255
        inet6 fe80::20c:29ff:fe16:cbfe  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:16:cb:fe  txqueuelen 1000  (Ethernet)
        RX packets 57522  bytes 45315880 (45.3 MB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 32489  bytes 2107788 (2.1 MB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

案例7: 打印最后一行, $, 等价于 tail -n 1

[root@ubuntu:/opt]# seq 10
1
2
3
4
5
6
7
8
9
10

[root@ubuntu:/opt]# seq 10 | sed -n '$p'
10

# 使用$打印最后一行, 必须使用单引号, 否则会显示空
[root@demo-c8 opt]# seq 10 | sed -n "$p"
[root@demo-c8 opt]#

案例8: 找到/etc/fstab文件中, 以UUID开头的行

(单地址: /pattern/: 被此处模式(正则表达式)所能够匹配到的每一行, sed默认使用基本正则, 也可使用扩展正则

[root@ubuntu:/opt]# sed -n '/^UUID/p' fstab  # 如果指定了地址, 那么就一定要跟命令, 数字地址直接跟命令, 而模式地址, 需要放在/地址/中
UUID=b6da1157-9484-4ebf-960b-98fd7e260c8e /               ext4    errors=remount-ro 0       1
UUID=7fdab47c-1956-4be7-acb8-64e6f127c0bc /boot           ext4    defaults        0       2
UUID=8c74a351-2398-4ee2-a738-a39db67e9fd4 /data           ext4    defaults        0       2
UUID=7fee41dd-6e09-48e0-bc8e-87b6c19f5e6b none            swap    sw              0       0

案例9: 取多行(范围)

sed -n 'M,Np' FILE

取三到五行

[root@ubuntu:/opt]# seq 10 | sed -n '3,5p'
3
4
5

从第三行开始往后取6行, 也就是打印第三行到第九行

[root@ubuntu:/opt]# seq 10 | sed -n '3,+6p'
3
4
5
6
7
8
9

[root@demo-c8 opt]# seq 10 | sed -n '3,9p'
3
4
5
6
7
8
9

案例10: 过滤 /etc/passwd文件中, 从以b开头的行, 到以l开头的行

[01:49:32 root@CentOS-8-4 ~]#sed -n '/^b/,/^l/p' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

sed基于正则表达式的多行过滤

从满足第一个模式的行开始打印, 一直向下打印, 直到找到满足第二个模式的第一行, 然后把这两行和中间部分都打印出来, 之后继续向下找满足第一个模式的行, 如果有, 会继续打印, 重复第一步的过程, 但是如果只有满足第一个模式的行, 没有满足第二个模式的行, 那么就会把满足第一个模型的行, 和之后的行全部打印, 因为sed是不可逆的

范例:

[root@ubuntu:/opt]# sed -n '/^b/,/^l/p' /etc/passwd
bin:x:2:2:bin:/bin:/usr/sbin/nologin # b开头
sys:x:3:3:sys:/dev:/usr/sbin/nologin
sync:x:4:65534:sync:/bin:/bin/sync
games:x:5:60:games:/usr/games:/usr/sbin/nologin
man:x:6:12:man:/var/cache/man:/usr/sbin/nologin
lp:x:7:7:lp:/var/spool/lpd:/usr/sbin/nologin
backup:x:34:34:backup:/var/backups:/usr/sbin/nologin
list:x:38:38:Mailing List Manager:/var/list:/usr/sbin/nologin # l开头

[root@ubuntu:/opt]# sed -n '/^s/,/^l/p' /etc/passwd
sys:x:3:3:sys:/dev:/usr/sbin/nologin # s开头的第一行
sync:x:4:65534:sync:/bin:/bin/sync
games:x:5:60:games:/usr/games:/usr/sbin/nologin
man:x:6:12:man:/var/cache/man:/usr/sbin/nologin
lp:x:7:7:lp:/var/spool/lpd:/usr/sbin/nologin # l 开头的第一行
systemd-network:x:100:102:systemd Network Management,,,:/run/systemd/netif:/usr/sbin/nologin # 之后还有s开头的就继续打印
systemd-resolve:x:101:103:systemd Resolver,,,:/run/systemd/resolve:/usr/sbin/nologin
syslog:x:102:106::/home/syslog:/usr/sbin/nologin
messagebus:x:103:107::/nonexistent:/usr/sbin/nologin
_apt:x:104:65534::/nonexistent:/usr/sbin/nologin
lxd:x:105:65534::/var/lib/lxd/:/bin/false # 又找到了一个l开头的, 接着打印出来
sshd:x:109:65534::/run/sshd:/usr/sbin/nologin # 又有一个s开头的, 就继续打印, 但是后续已经没有l开头的行了, 那么就把所有剩余的行都打印出来
pollinate:x:110:1::/var/cache/pollinate:/bin/false
david:x:1000:1000:david,,,:/home/david:/bin/bash
haproxy:x:111:115::/var/lib/haproxy:/usr/sbin/nologin

案例11: 搜索几点几分到几点几分的日志

因为时间一般不会有重复的, 所有可以利用sed 的'/pat1/,/pat2/p', 来取某个时间段内的日志, 直接匹配以指定的日期时间点开头的行即可

范例: 日志文件, 找出Mar 24 15:15到Mar 24 21:29之间的日志

[root@ubuntu:/opt]# tail -n 50 /var/log/syslog 
Mar 24 15:15:40 HAproxy-2 rsyslogd: imuxsock: Acquired UNIX socket '/run/systemd/journal/syslog' (fd 3) from systemd.  [v8.32.0]
Mar 24 15:15:40 HAproxy-2 rsyslogd: rsyslogd's groupid changed to 106
Mar 24 15:15:40 HAproxy-2 rsyslogd: rsyslogd's userid changed to 102
Mar 24 15:15:40 HAproxy-2 rsyslogd:  [origin software="rsyslogd" swVersion="8.32.0" x-pid="3536" x-info="http://www.rsyslog.com"] start
Mar 24 15:17:01 HAproxy-2 CRON[3613]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Mar 24 15:26:39 HAproxy-2 systemd[1]: Starting Cleanup of Temporary Directories...
Mar 24 15:26:39 HAproxy-2 systemd[1]: Started Cleanup of Temporary Directories.
Mar 24 16:17:01 HAproxy-2 CRON[3655]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Mar 24 17:17:01 HAproxy-2 CRON[3669]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Mar 24 18:17:01 HAproxy-2 CRON[3683]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Mar 24 18:24:37 HAproxy-2 systemd[1]: Starting Daily apt download activities...
Mar 24 18:24:39 HAproxy-2 systemd[1]: Started Daily apt download activities.
Mar 24 19:17:01 HAproxy-2 CRON[3777]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Mar 24 20:17:01 HAproxy-2 CRON[3789]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Mar 24 21:17:01 HAproxy-2 CRON[3798]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Mar 24 21:28:59 HAproxy-2 systemd-resolved[731]: System hostname changed to 'ubuntu'.
Mar 24 21:29:00 HAproxy-2 systemd[1]: Stopping User Manager for UID 0...
Mar 24 21:29:00 HAproxy-2 systemd[1547]: Stopped target Default.
Mar 24 21:29:00 HAproxy-2 systemd[1547]: Stopped target Basic System.
Mar 24 21:29:00 HAproxy-2 systemd[1547]: Stopped target Timers.
Mar 24 21:29:00 HAproxy-2 systemd[1547]: Stopped target Paths.
Mar 24 21:29:00 HAproxy-2 systemd[1547]: Stopped target Sockets.
Mar 24 21:29:00 HAproxy-2 systemd[1547]: Closed GnuPG cryptographic agent and passphrase cache.
Mar 24 21:29:00 HAproxy-2 systemd[1547]: Closed GnuPG cryptographic agent and passphrase cache (restricted).
Mar 24 21:29:00 HAproxy-2 systemd[1547]: Closed REST API socket for snapd user session agent.
Mar 24 21:29:00 HAproxy-2 systemd[1547]: Closed GnuPG network certificate management daemon.
Mar 24 21:29:00 HAproxy-2 systemd[1547]: Closed GnuPG cryptographic agent (ssh-agent emulation).
Mar 24 21:29:00 HAproxy-2 systemd[1547]: Closed GnuPG cryptographic agent and passphrase cache (access for web browsers).
Mar 24 21:29:00 HAproxy-2 systemd[1547]: Reached target Shutdown.
Mar 24 21:29:00 HAproxy-2 systemd[1547]: Starting Exit the Session...
Mar 24 21:29:00 HAproxy-2 systemd[1547]: Received SIGRTMIN+24 from PID 3804 (kill).
Mar 24 21:29:00 HAproxy-2 systemd[1]: Stopped User Manager for UID 0.
Mar 24 21:29:00 HAproxy-2 systemd[1]: Removed slice User Slice of root.
Mar 24 21:29:00 HAproxy-2 systemd[1]: Created slice User Slice of root.
Mar 24 21:29:00 HAproxy-2 systemd[1]: Started Session 12 of user root.
Mar 24 21:29:00 HAproxy-2 systemd[1]: Starting User Manager for UID 0...
Mar 24 21:29:00 HAproxy-2 systemd[3807]: Listening on GnuPG cryptographic agent and passphrase cache (access for web browsers).
Mar 24 21:29:00 HAproxy-2 systemd[3807]: Listening on REST API socket for snapd user session agent.
Mar 24 21:29:00 HAproxy-2 systemd[3807]: Listening on GnuPG cryptographic agent and passphrase cache.
Mar 24 21:29:00 HAproxy-2 systemd[3807]: Listening on GnuPG cryptographic agent (ssh-agent emulation).
Mar 24 21:29:00 HAproxy-2 systemd[3807]: Reached target Timers.
Mar 24 21:29:00 HAproxy-2 systemd[3807]: Listening on GnuPG cryptographic agent and passphrase cache (restricted).
Mar 24 21:29:00 HAproxy-2 systemd[3807]: Reached target Paths.
Mar 24 21:29:00 HAproxy-2 systemd[3807]: Listening on GnuPG network certificate management daemon.
Mar 24 21:29:00 HAproxy-2 systemd[3807]: Reached target Sockets.
Mar 24 21:29:00 HAproxy-2 systemd[3807]: Reached target Basic System.
Mar 24 21:29:00 HAproxy-2 systemd[1]: Started User Manager for UID 0.
Mar 24 21:29:00 HAproxy-2 systemd[3807]: Reached target Default.
Mar 24 21:29:00 HAproxy-2 systemd[3807]: Startup finished in 135ms.
Mar 24 22:17:01 HAproxy-2 CRON[4015]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)

[root@ubuntu:/opt]# sed -n '/^Mar 24 15:15/,/^Mar 24 21:29/p' /var/log/syslog 
Mar 24 15:15:37 Ubuntu-1804-2 systemd[1]: Reloading.
Mar 24 15:15:37 Ubuntu-1804-2 systemd[1]: message repeated 2 times: [ Reloading.]
Mar 24 15:15:37 Ubuntu-1804-2 systemd[1]: Starting HAProxy Load Balancer...
Mar 24 15:15:37 Ubuntu-1804-2 systemd-udevd[505]: Network interface NamePolicy= disabled on kernel command line, ignoring.
Mar 24 15:15:37 Ubuntu-1804-2 haproxy[3123]: [NOTICE] 082/151537 (3123) : New worker #1 (3127) forked
Mar 24 15:15:37 Ubuntu-1804-2 systemd[1]: Started HAProxy Load Balancer.
Mar 24 15:15:38 Ubuntu-1804-2 systemd[1]: Reloading.
Mar 24 15:15:39 Ubuntu-1804-2 systemd[1]: Reloading.
Mar 24 15:15:40 HAproxy-2 rsyslogd:  [origin software="rsyslogd" swVersion="8.32.0" x-pid="831" x-info="http://www.rsyslog.com"] exiting on signal 15.
Mar 24 15:15:40 HAproxy-2 systemd[1]: Stopping System Logging Service...
Mar 24 15:15:40 HAproxy-2 systemd[1]: Stopped System Logging Service.
Mar 24 15:15:40 HAproxy-2 systemd[1]: Starting System Logging Service...
Mar 24 15:15:40 HAproxy-2 systemd-udevd[505]: Network interface NamePolicy= disabled on kernel command line, ignoring.
Mar 24 15:15:40 HAproxy-2 systemd[1]: Started System Logging Service.
Mar 24 15:15:40 HAproxy-2 rsyslogd: imuxsock: Acquired UNIX socket '/run/systemd/journal/syslog' (fd 3) from systemd.  [v8.32.0]
Mar 24 15:15:40 HAproxy-2 rsyslogd: rsyslogd's groupid changed to 106
Mar 24 15:15:40 HAproxy-2 rsyslogd: rsyslogd's userid changed to 102
Mar 24 15:15:40 HAproxy-2 rsyslogd:  [origin software="rsyslogd" swVersion="8.32.0" x-pid="3536" x-info="http://www.rsyslog.com"] start
Mar 24 15:17:01 HAproxy-2 CRON[3613]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Mar 24 15:26:39 HAproxy-2 systemd[1]: Starting Cleanup of Temporary Directories...
Mar 24 15:26:39 HAproxy-2 systemd[1]: Started Cleanup of Temporary Directories.
Mar 24 16:17:01 HAproxy-2 CRON[3655]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Mar 24 17:17:01 HAproxy-2 CRON[3669]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Mar 24 18:17:01 HAproxy-2 CRON[3683]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Mar 24 18:24:37 HAproxy-2 systemd[1]: Starting Daily apt download activities...
Mar 24 18:24:39 HAproxy-2 systemd[1]: Started Daily apt download activities.
Mar 24 19:17:01 HAproxy-2 CRON[3777]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Mar 24 20:17:01 HAproxy-2 CRON[3789]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Mar 24 21:17:01 HAproxy-2 CRON[3798]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Mar 24 21:28:59 HAproxy-2 systemd-resolved[731]: System hostname changed to 'ubuntu'.
Mar 24 21:29:00 HAproxy-2 systemd[1]: Stopping User Manager for UID 0...

案例12: 单地址, 和pattern模式可以混用

打印第10行, 到以l开头的行

[root@ubuntu:/opt]# sed -n '10,/^l/p' /etc/passwd
news:x:9:9:news:/var/spool/news:/usr/sbin/nologin
uucp:x:10:10:uucp:/var/spool/uucp:/usr/sbin/nologin
proxy:x:13:13:proxy:/bin:/usr/sbin/nologin
www-data:x:33:33:www-data:/var/www:/usr/sbin/nologin
backup:x:34:34:backup:/var/backups:/usr/sbin/nologin
list:x:38:38:Mailing List Manager:/var/list:/usr/sbin/nologin # 此时会打印pattern模式匹配到的第一行, 不会继续向下匹配

案例13: 步进

打印奇数行, 1~2

[root@ubuntu:/opt]# seq 10 | sed -n '1~2p' # 只有基于pattern正则表达式模式的匹配才需要/ /
1
3
5
7
9

打印偶数行, 2~2

[root@ubuntu:/opt]# seq 10 | sed -n '2~2p'
2
4
6
8
10

案例14: 忽略大小写 Ip, Ip是固定格式, 不能写成pI

[root@ubuntu:/opt]# sed -n '/^uuid/Ip' fstab 
UUID=b6da1157-9484-4ebf-960b-98fd7e260c8e /               ext4    errors=remount-ro 0       1
UUID=7fdab47c-1956-4be7-acb8-64e6f127c0bc /boot           ext4    defaults        0       2
UUID=8c74a351-2398-4ee2-a738-a39db67e9fd4 /data           ext4    defaults        0       2
UUID=7fee41dd-6e09-48e0-bc8e-87b6c19f5e6b none            swap    sw              0       0

案例15:d命令, 删除模式空间中匹配的行, 立即进入下一轮循环, 也就是某一行读取到模式空间后, 如果匹配, 那么就把这行从模式空间删除, 继续读取下一行到模式空间, 并不会修改文件, 只是不打印匹配到的行, 因为模式空间是在内存中

范例: d命令取反, 把匹配到的行删掉, 不打印. 用于取反, 此时, 不能用-n选项, 因为-n选项会取消sed对于读入到模式空间所有行的自动打印, 这样的话, 不是UUID开头的行也不会打印了

[root@ubuntu:/opt]# sed '/^UUID/d' /etc/fstab # 默认开启自动打印, 但是使用d命令, 那么符合条件的以UUID开头的行不会打印, d命令会把读入到模式空间, 并且符合地址条件的行模式空间删除
# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
# / was on /dev/sda3 during installation
# /boot was on /dev/sda1 during installation
# /data was on /dev/sda4 during installation
# swap was on /dev/sda5 during installation

如果d和-n选项一起使用, 那么不会有任何输出, 因为-n就是取消默认打印, d命令又把匹配到的行删了

[root@ubuntu:/opt]# sed -n '/^UUID/d' /etc/fstab
[root@ubuntu:/opt]#

案例16: ! 取反命令, 需要结合p命令, !p打印没有匹配到的行, 效果类似于d命令. 但是d命令如果和-n一起用, 就没有输出了. !p和-n一起使用, 只是匹配到的不打印, 没匹配到的还是会正常打印, 而且加了-n就不会把每一行都打印出来

!不是对命令取反, 而是对匹配的内容取反

[root@ubuntu:/opt]# sed -n '/^UUID/!p' /etc/fstab
# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
# / was on /dev/sda3 during installation
# /boot was on /dev/sda1 during installation
# /data was on /dev/sda4 during installation
# swap was on /dev/sda5 during installation


[root@ubuntu:/opt]# sed  '/^UUID/d' /etc/fstab
# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
# / was on /dev/sda3 during installation
# /boot was on /dev/sda1 during installation
# /data was on /dev/sda4 during installation
# swap was on /dev/sda5 during installation

# !d 不符合模式的就删了, 实际就是保留匹配到的行
[root@ubuntu:/opt]# sed '/^UUID/!d' /etc/fstab
UUID=b6da1157-9484-4ebf-960b-98fd7e260c8e /               ext4    errors=remount-ro 0       1
UUID=7fdab47c-1956-4be7-acb8-64e6f127c0bc /boot           ext4    defaults        0       2
UUID=8c74a351-2398-4ee2-a738-a39db67e9fd4 /data           ext4    defaults        0       2
UUID=7fee41dd-6e09-48e0-bc8e-87b6c19f5e6b none            swap    sw              0       0
[root@ubuntu:/opt]# sed '/^UUID/!d' /etc/fstab -n
[root@ubuntu:/opt]#

d命令和p命令区别

无论是d还是!d, 都不能和-n一起使用, 因为-n取消默认打印, 而d会把匹配到的删除, 不匹配的不会打印
而!d是把不匹配的删除, 匹配的不会打印, 所以d或者!d与-n一起使用, 不会输出任何结果

无论是p还是!p, 都与-n一起使用, 因为-n会取消默认打印, 而p会把匹配到的输出, 不匹配的不会打印
而!p是把不匹配的输出, 匹配的不会打印, 所以如果p或者!p没有搭配-n, 那原文的每一行都会被输出一次, 同时匹配到的内容会被p命令再打印一次, 没匹配到的也会被!p再打印一次
因为sed默认会把读入到模式空间的行都打印一遍

其他命令:

a [\] test 在指定行后面下一行追加单行或多行文本, 支持使用\n实现多行追加
i [\] test 在指定行前面上一行插入单行或多行文本
c [\] test 替换指定行为单行或多行文本
# a,i,c不能和-n选项一起使用, 否则就只会打印追加或者替换的文本内容, 把读入到模式空间的都取消打印了

a命令:下一行追加

案例17: a追加

#5a和line之间的空格加不加无所谓
[root@ubuntu:/opt]# seq 10 | sed  '5a line'
1
2
3
4
5
line
6
7
8
9
10
[root@ubuntu:/opt]# seq 10 | sed  '5aline'
1
2
3
4
5
line
6
7
8
9
10

案例18: 特定行之间, 每一行都追加相同的字符串

[root@ubuntu:/opt]# seq 10 | sed   '/^4/,/^9/alinux is good' 
1
2
3
4
linux is good
5
linux is good
6
linux is good
7
linux is good
8
linux is good
9
linux is good
10

[root@demo-c8 opt]# seq 10 | sed '3,8aline'
1
2
3
line
4
line
5
line
6
line
7
line
8
line
9
10

[root@ubuntu:/opt]# sed  '/^UUID/a newline' /etc/fstab
# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
# / was on /dev/sda3 during installation
UUID=b6da1157-9484-4ebf-960b-98fd7e260c8e /               ext4    errors=remount-ro 0       1
newline
# /boot was on /dev/sda1 during installation
UUID=7fdab47c-1956-4be7-acb8-64e6f127c0bc /boot           ext4    defaults        0       2
newline
# /data was on /dev/sda4 during installation
UUID=8c74a351-2398-4ee2-a738-a39db67e9fd4 /data           ext4    defaults        0       2
newline
# swap was on /dev/sda5 during installation
UUID=7fee41dd-6e09-48e0-bc8e-87b6c19f5e6b none            swap    sw              0       0
newline

案例19: sed搜索时的地址只能用/地址/格式, 不能改为其他符号

root@ubuntu-1804-19:~# df | sed -nr "/^\/dev\/sd/p"
/dev/sda1       19091540 1976364  16122308  11% /
/dev/sda4       29364220   45092  27804428   1% /data
/dev/sda2         945144   78936    800980   9% /boot

root@ubuntu-1804-19:~# df | sed -nr "#^/dev/sd#p"

案例20: sed -e选项的使用, 表示多个搜索条件, 相当于多点编辑, 可以针对不同的匹配条件, 执行相同或不同的命令

root@ubuntu-1804-19:~# seq 10 | sed -e '2d' -e '4d'
1
3
5
6
7
8
9
10

root@ubuntu-1804-19:~# seq 10 | sed  -e '2d' -e '4p'
1
3
4
4
5
6
7
8
9
10

案例21: 多地址script, 和-e效果一样

root@ubuntu-1804-19:~# seq 10 | sed  '2d;4d'
1
3
5
6
7
8
9
10

i命令: 上一行插入

[root@ubuntu:/opt]# seq 10 | sed '3i2222' 
1
2
2222
3
4
5
6
7
8
9
10

c命令: 替换匹配到的行为指定行

[root@ubuntu:/opt]# seq 10 | sed '3c2222' 
1
2
2222
4
5
6
7
8
9
10

配合\n实现多行追加, 插入, 或者替换多行

[root@ubuntu:/opt]# seq 10 | sed '5a line1\nline2\nline3'
1
2
3
4
5
line1
line2
line3
6
7
8
9
10

配合\实现在追加的字符串前面插入空格

# 如果想在追加的文本前面缩进四个空格, 那么只输入空格是不起作用的
[root@ubuntu:/opt]# seq 10 | sed '5a    line'
1
2
3
4
5
line
6
7
8
9
10

[root@ubuntu:/opt]# seq 10 | sed '5a\    line' # 需要配合\, 表示行首的开始, 后面加需要插入的内容
1
2
3
4
5
    line
6
7
8
9
10

w命令: 把匹配到的行写入新的文件

#注意单引号的位置, 单引号要包含完整路径, 否则会显示sed找不到文件
#此外, 文件如果不存在会自动创建, 但是目录不会
[root@ubuntu:/opt]# sed -n '/^UUID/w /tmp/uuid.txt' /etc/fstab
[root@ubuntu:/opt]# cat /tmp/uuid.txt 
UUID=b6da1157-9484-4ebf-960b-98fd7e260c8e /               ext4    errors=remount-ro 0       1
UUID=7fdab47c-1956-4be7-acb8-64e6f127c0bc /boot           ext4    defaults        0       2
UUID=8c74a351-2398-4ee2-a738-a39db67e9fd4 /data           ext4    defaults        0       2
UUID=7fee41dd-6e09-48e0-bc8e-87b6c19f5e6b none            swap    sw              0       0

[root@ubuntu:/opt]# sed  '/^UUID/w /tmp/uuid1.txt' /etc/fstab # 如果没有加-n取消自动打印, 那么模式空间还是会输出到屏幕, 匹配到的行会写到文件
# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
# / was on /dev/sda3 during installation
UUID=b6da1157-9484-4ebf-960b-98fd7e260c8e /               ext4    errors=remount-ro 0       1
# /boot was on /dev/sda1 during installation
UUID=7fdab47c-1956-4be7-acb8-64e6f127c0bc /boot           ext4    defaults        0       2
# /data was on /dev/sda4 during installation
UUID=8c74a351-2398-4ee2-a738-a39db67e9fd4 /data           ext4    defaults        0       2
# swap was on /dev/sda5 during installation
UUID=7fee41dd-6e09-48e0-bc8e-87b6c19f5e6b none            swap    sw              0       0
[root@ubuntu:/opt]# cat /tmp/uuid1.txt 
UUID=b6da1157-9484-4ebf-960b-98fd7e260c8e /               ext4    errors=remount-ro 0       1
UUID=7fdab47c-1956-4be7-acb8-64e6f127c0bc /boot           ext4    defaults        0       2
UUID=8c74a351-2398-4ee2-a738-a39db67e9fd4 /data           ext4    defaults        0       2
UUID=7fee41dd-6e09-48e0-bc8e-87b6c19f5e6b none            swap    sw              0       0

r命令: 把一个文件的所有内容, 追加到匹配的行的下一行

sed '/^UUID/r 读入的文件' 被追加的文件

[root@ubuntu:/opt]# sed '/^UUID/r  /etc/issue' /etc/fstab
# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
# / was on /dev/sda3 during installation
UUID=b6da1157-9484-4ebf-960b-98fd7e260c8e /               ext4    errors=remount-ro 0       1
Ubuntu 18.04.4 LTS \n \l

# /boot was on /dev/sda1 during installation
UUID=7fdab47c-1956-4be7-acb8-64e6f127c0bc /boot           ext4    defaults        0       2
Ubuntu 18.04.4 LTS \n \l

# /data was on /dev/sda4 during installation
UUID=8c74a351-2398-4ee2-a738-a39db67e9fd4 /data           ext4    defaults        0       2
Ubuntu 18.04.4 LTS \n \l

# swap was on /dev/sda5 during installation
UUID=7fee41dd-6e09-48e0-bc8e-87b6c19f5e6b none            swap    sw              0       0
Ubuntu 18.04.4 LTS \n \l

=等号命令: 打印匹配到的行的行号, 在该行的上一行显示. =单独使用, 无需配合-n或者p命令

[root@ubuntu:/opt]# sed  '/^UUID/=' /etc/fstab
# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
# / was on /dev/sda3 during installation
9
UUID=b6da1157-9484-4ebf-960b-98fd7e260c8e /               ext4    errors=remount-ro 0       1
# /boot was on /dev/sda1 during installation
11
UUID=7fdab47c-1956-4be7-acb8-64e6f127c0bc /boot           ext4    defaults        0       2
# /data was on /dev/sda4 during installation
13
UUID=8c74a351-2398-4ee2-a738-a39db67e9fd4 /data           ext4    defaults        0       2
# swap was on /dev/sda5 during installation
15
UUID=7fee41dd-6e09-48e0-bc8e-87b6c19f5e6b none            swap    sw              0       0

sed搜索替换

s/pattern/string/修饰符     查找替换, 支持使用其他分隔符, 可以是其他形式: s@@@, s###

替换修饰符:
g 行内全局替换, 一行中匹配到的字符全部替换
p 显示替换成功的行, 搜索替换中的p和脚本命令中的p不一样, 这里显示替换成功的行, 而脚本命令p是打印当前模式空间内容(匹配到的行)，追加到默认输出, 也就是打印到屏幕
w /PATH/FILE 将替换成功的行保存至文件中
I, i  忽略大小写

搜索替换前, 要先进行测试, 确保替换的内容和结果是正确的, 测试时, 不用加-n, 因为要把替换后的所有文本结果显示出来进行比对

[root@ubuntu:/opt]# sed 's/UUID/uuid/' /etc/fstab # 将文本中某个字符串, 替换成另一个字符串
# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with uuid= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
# / was on /dev/sda3 during installation
uuid=b6da1157-9484-4ebf-960b-98fd7e260c8e /               ext4    errors=remount-ro 0       1
# /boot was on /dev/sda1 during installation
uuid=7fdab47c-1956-4be7-acb8-64e6f127c0bc /boot           ext4    defaults        0       2
# /data was on /dev/sda4 during installation
uuid=8c74a351-2398-4ee2-a738-a39db67e9fd4 /data           ext4    defaults        0       2
# swap was on /dev/sda5 during installation
uuid=7fee41dd-6e09-48e0-bc8e-87b6c19f5e6b none            swap    sw              0       0

g修饰符: 替换一行中, 匹配到的所有字符

图片.png

p修饰符: 只显示替换成功的行, 配合-n选项, 查看替换后的结果

                            #p和g的顺序无所谓
[root@demo-c8 opt]# sed -n 's/root/ROOT/gp' /etc/passwd
ROOT:x:0:0:ROOT:/ROOT:/bin/bash
operator:x:11:0:operator:/ROOT:/sbin/nologin

&符号: 代表pattern中匹配的字符

图片.png

搜索替换配合分组

sed默认是基本正则

图片.png

sed -r 或者 -E 使用扩展正则

图片.png

范例: sed取ip地址, 基础方法

[root@demo-c8 opt]# ifconfig | sed -n '2p'
        inet 10.0.0.108  netmask 255.255.255.0  broadcast 10.0.0.255
[root@demo-c8 opt]# ifconfig | sed -n '2p' | sed -n 's/^.*inet //p'
10.0.0.108  netmask 255.255.255.0  broadcast 10.0.0.255
[root@demo-c8 opt]# ifconfig | sed -n '2p' | sed -n 's/^.*inet //p' | sed -n 's/ netmask.*//p'
10.0.0.108

# -n 和 p 修饰符要一起使用, 显示替换成的行. 一般在修改文件前, 先用-n和p修饰符, 查看受影响的行, 以及替换后的结果
# inet后有一个空格, netmask前有两个空格
[root@demo-c8 opt]# ifconfig ens160 | sed -n '2p' | sed -nr 's/.*inet (.*)  netmask.*/\1/p' > ip.txt
[root@demo-c8 opt]# cat -A ip.txt 
10.0.0.108$

[root@ubuntu:/opt]# ifconfig eth0 | sed -n '2p' | sed -r 's#(.*inet )(.*)(netmask.*)#\2#p' # 只有p修饰符, 没有-n选项, 那么sed -r 's///p'会把匹配到的行打印两遍, 取消-n会打印模式空间处理过后的行内, p修饰符再打一遍匹配到的行
# 模式空间输出的结果都是处理过后的行内容
10.0.0.29  
10.0.0.29

范例: sed取ip地址, 进阶方法

# 使用正则, 匹配条件越精确越好, 把每一个字符都描述出来, 不要只写.*, 因为sed和grep都有贪婪匹配
[root@demo-c8 opt]# ifconfig | sed -nr '2s#^ *inet[[:space:]]+(([0-9]{1,3}\.){3}[0-9]{1,3})[[:space:]]*netmask.*#\1#p' > f1.txt
[root@demo-c8 opt]# cat -A f1.txt 
10.0.0.108$

grep和sed都有贪婪模式, 使用正则时, 匹配条件越精确越好, 把每一个字符都描述出来, 不要只写.*, 因为sed和grep都有贪婪匹配

案例: CentOS 6.7.8, Ubuntu 通用获取ip地址, 需要统一网卡名称

root@ubuntu-1804-19:~# ip a show eth0
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:49:4c:e1 brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.19/24 brd 10.0.0.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe49:4ce1/64 scope link 
       valid_lft forever preferred_lft forever

ip a show eth0 | sed -nr '3s#(^ *inet )(.*)(/.*)#\2#p' # sed '3s///' 针对某一行进行搜索替换, sed '/2p/s###' 针对符合模式的行做搜索替换
[root@ubuntu:/opt]# ip a show eth0 | sed -n '3p' | sed -r 's#(^ *inet )(.*)(/.*)#\2#'
10.0.0.29

sed编辑修改文件

-i: 在原文件基础上修改
-i.bak: 先将原文件做备份, 添加.bak后缀, 然后在原文件基础上修改

范例: 给/etc/fstab文件中, UUID开头的行, 加上#

修改文件前, 先用-nr选项, 和p修饰符, 查看修改后的效果, 避免修改出错

[root@demo-c8 ~]# sed -nr '/^UUID/s@^@#@p' /etc/fstab 
#UUID=b1ab1ace-2582-4afd-8693-39bd9855041c /                       xfs     defaults        0 0
#UUID=d5131695-82b3-4a23-bc28-5c8a4bf381a0 /boot                   ext4    defaults        1 2
#UUID=bdd66510-e510-4fe7-ba71-e2a35e6dc492 /data                   xfs     defaults        0 0
#UUID=05c944fb-d6f9-4544-ba10-8b7bf3cc8fed swap                    swap    defaults        0 0

# 一定是-r后再-i
# -i修改选项不能和p修饰符一起用, 因为p修饰符会把匹配到的行, 又打印一遍
# 这样文件中, 被匹配到的行, 会被打印两次, 而且打印的是修改后的结果
[00:47:00 root@c8prac ~]#sed -ri '/^UUID/s@^@#@p' fstab

[root@ubuntu:/opt]# cat fstab
# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
# / was on /dev/sda3 during installation
可以看到UUID开始的行, 被打印了两遍
#UUID=b6da1157-9484-4ebf-960b-98fd7e260c8e /               ext4    errors=remount-ro 0       1
#UUID=b6da1157-9484-4ebf-960b-98fd7e260c8e /               ext4    errors=remount-ro 0       1
# /boot was on /dev/sda1 during installation
#UUID=7fdab47c-1956-4be7-acb8-64e6f127c0bc /boot           ext4    defaults        0       2
#UUID=7fdab47c-1956-4be7-acb8-64e6f127c0bc /boot           ext4    defaults        0       2
# /data was on /dev/sda4 during installation
#UUID=8c74a351-2398-4ee2-a738-a39db67e9fd4 /data           ext4    defaults        0       2
#UUID=8c74a351-2398-4ee2-a738-a39db67e9fd4 /data           ext4    defaults        0       2
# swap was on /dev/sda5 during installation
#UUID=7fee41dd-6e09-48e0-bc8e-87b6c19f5e6b none            swap    sw              0       0
#UUID=7fee41dd-6e09-48e0-bc8e-87b6c19f5e6b none            swap    sw              0       0

范例: 修改文件时, 只需要用-i.bak选项

如果需要使用扩展正则, 那么就用-ri.bak
无需使用其他的命令和修饰符, 因为-i修改会把每行中, 匹配到的内容都做修改

[root@demo-c8 opt]# cp /etc/fstab fstab1 
[root@demo-c8 opt]# sed -i.bak '/^UUID/s@^@#@' fstab1
[root@demo-c8 opt]# cat fstab1

#
# /etc/fstab
# Created by anaconda on Mon Aug 15 16:52:19 2022
#
# Accessible filesystems, by reference, are maintained under '/dev/disk/'.
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info.
#
# After editing this file, run 'systemctl daemon-reload' to update systemd
# units generated from this file.
#
#UUID=b1ab1ace-2582-4afd-8693-39bd9855041c /                       xfs     defaults        0 0
#UUID=d5131695-82b3-4a23-bc28-5c8a4bf381a0 /boot                   ext4    defaults        1 2
#UUID=bdd66510-e510-4fe7-ba71-e2a35e6dc492 /data                   xfs     defaults        0 0
#UUID=05c944fb-d6f9-4544-ba10-8b7bf3cc8fed swap                    swap    defaults        0 0

范例: Centos 7&8, Ubuntu修改网卡名称为eth0

# 先修改/etc/default/grub文件, CentOS7&8和Ubuntu方法一致
sed -i.bak '/GRUB_CMDLINE_LINUX=/s#"$# net.ifnames=0"#' /etc/default/grub

# 再重新配置grub.cfg文件, 然后重启服务器
# CentOS7&8
grub2-mkconfig -o /boot/grub2/grub.cfg
# Ubuntu
grub-mkconfig -o /boot/grub/grub.cfg

# 最后修改网卡配置文件中的网卡名称和配置文件, 然后重启服务器

# CentOS7&8
mv /etc/sysconfig/network-scripts/ifcfg-ens* /etc/sysconfig/network-scripts/ifcfg-eth0
sed -ri 's/(NAME=).*/\1eth0/' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -ri 's/(DEVICE=).*/\1eth0/' /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i '/UUID/d' /etc/sysconfig/network-scripts/ifcfg-eth0 

# Ubuntu
netfile=`ls /etc/netplan`
sed -i 's/ens33/eth0/' /etc/netplan/${netfile}

reboot

范例: Centos 6 修改网卡名称

CentOS6的网卡名称本身就是eth0, 所以无线修改, 但是如果需要修改的话, 可以修改70-persistent-net.rules文件

[01:13:43 root@c6node ~]#sed -nr 's#(^.*NAME=")(.*)"$#\1eth1"#p' 70-persistent-net.rules 
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:2f:61:51", ATTR{type}=="1", KERNEL=="eth*", NAME="eth1"

范例: 永久禁用SElinux

[root@demo-c8 ~]# cat /etc/selinux/config 

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=enforcing
# SELINUXTYPE= can take one of these three values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected. 
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

[root@demo-c8 ~]# sed -nr 's@SELINUX=enforcing@SELINUX=disabled@p' /etc/selinux/config 
SELINUX=disabled
[root@demo-c8 ~]# sed -i.bak 's@SELINUX=enforcing@SELINUX=disabled@' /etc/selinux/config 
[root@demo-c8 ~]# cat /etc/selinux/config

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these three values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected. 
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

# 查看当前SElinux配置
getenforce
# 重启服务器
reboot

范例: 临时禁用SElinux

setenforce 0

p命令和p修饰符区别

p命令属于sed脚本中的命令, 用于搜索时, 打印匹配到的行
而p修饰符是sed搜索替换时的修饰符, 表示打印替换成功的行, 可以用来查看替换后的结果

搜索替换总结:

打印搜索到的行: sed -nr '//p', 比如: 打印包含netmask字符串的行
打印搜索替换后的结果: sed -nr '//s###p'. 比如: 在将#号开头的行, 替换为&开头前, 先显示一次替换后的结果
对匹配到的每一行的整行做操作: sed -ri.bak '//命令', 比如删除#开头的行
对匹配到的每一行的内容做替换: sed -ri.bak '//s###', 比如将#号开头的行, 替换为&开头

-n 和 p修饰符|p命令成对使用会只显示替换成功或匹配到的行, 如果-n单独使用, 不加p修饰符或p命令, 那么是没有输出的
-i 和 p修饰符不要一起用, 因为p修饰符在搜索替换时, 会把匹配到的行, 再次打印一遍, 这样修改后的文件中, 匹配到的行会出现两次
想查看替换结果, 就用 -n配合p修饰符, 想修改文件就用-i, 如果是扩展正则, 则要用-r
如果不涉及搜索替换, 不用s
搜索+替换修改文件前, 先用-n和p修饰符,查看修改的结果, 确定没问题, 再去用-r -i.bak做修改, 如果是基本正则则不用-r
搜索+命令修改文件前, 先用-n和p命令, 查看被影响的行, 再用-r -i.bak + 对应操作命令, 如果是基本正则则不用-r
修改文件时, 如果添加-n选项, 此时会把文件清空, 因为默认打印被取消了, 那么所有加载到模式空间的行, 都不会打印. 即使使用了p修饰符, 那么也只是保留被修改的行, 而不匹配的行, 不会保留. 因此, 修改文件时, 千万不要用-n选项

3. sed高级用法

sed中除了模式空间, 还另外支持保持空间(Hold Space), 利用此空间, 可以将模式空间中的数据, 临时保存至保持空间, 从而后续接着处理, 实现更为强大的功能

常见的高级命令:

P 打印模式空间开端至\n内容，并追加到默认输出之前
h 把模式空间中的内容覆盖至保持空间中
H 把模式空间中的内容追加至保持空间中
g 从保持空间取出数据覆盖至模式空间
G 从保持空间取出内容追加至模式空间
x 把模式空间中的内容与保持空间中的内容进行互换
n 读取匹配到的行的下一行覆盖至模式空间
N 读取匹配到的行的下一行追加至模式空间
d 删除模式空间中的行
D 如果模式空间包含换行符，则删除直到第一个换行符的模式空间中的文本，并不会读取新的输入行，而使
用合成的模式空间重新启动循环。如果模式空间不包含换行符，则会像发出d命令那样启动正常的新循环

范例:

sed -n 'n;p' FILE
seq 10 | sed 'N;s/\n//'
sed '1!G;h;$!d' FILE
sed ‘N;D’FILE
seq 10 |sed  '3h;9G;9!d'
sed '$!N;$!D' FILE
sed '$!d' FILE
sed ‘G’ FILE
sed ‘g’ FILE
sed ‘/^$/d;G’ FILE
sed 'n;d' FILE 
sed -n '1!G;h;$p' FILE

练习：

1、删除centos7系统/etc/grub2.cfg文件中所有以空白开头的行行首的空白字符
2、删除/etc/fstab文件中所有以#开头，后面至少跟一个空白字符的行的行首的#和空白字符
3、在centos6系统/root/install.log每一行行首增加#号
4、在/etc/fstab文件中不以#开头的行的行首增加#号
5、处理/etc/fstab路径,使用sed命令取出其目录名和基名
6、利用sed 取出ifconfig命令中本机的IPv4地址
7、统计centos安装光盘中Package目录下的所有rpm文件的以.分隔倒数第二个字段的重复次数
8、统计/etc/init.d/functions文件中每个单词的出现次数，并排序（用grep和sed两种方法分别实现）
9、将文本文件的n和n+1行合并为一行，n为奇数行

最后编辑于：2022.09.13 19:21:44

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 204,293评论 6赞 478
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 85,604评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 150,958评论 0赞 337
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,729评论 1赞 277
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,719评论 5赞 366
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,630评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,000评论 3赞 397
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,665评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,909评论 1赞 299
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,646评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,726评论 1赞 330
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,400评论 4赞 321
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,986评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,959评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,197评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 44,996评论 2赞 349
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,481评论 2赞 342

10: 三剑客之sed

1. sed工作原理

2. sed基本用法

3. sed高级用法

推荐阅读更多精彩内容