sed 流编辑器,过滤和替换文本
工作原理:sed命令将当前处理的行读入模式空间进行处理,处理完把结果输出,并清空模式空间。然后再将下一行读入模式空间进行处理输出,以此类推,直到最后一行。还有一个空间叫保持空间,又称暂存空间,可以暂时存放一些处理的数据,但不能直接输出,只能放到模式空间输出。
这两个空间其实就是在内存中初始化的一个内存区域,存放正在处理的数据和临时存放的数据。
Usage: sed [OPTION]... {script-only-if-no-other-script} [input-file]...
sed [选项] '地址 命令' file
选项:
-n 不打印模式空间
-e 执行脚本、表达式来处理
-f 脚本文件的内容添加到命令被执行
-i 修改原文件
-r 使用扩展正则表达式
命令:
s/regexp/replacement/ 替换字符串
p 打印当前模式空间
P 打印模式空间的第一行
d 删除模式空间,开始下一个循环
D 删除模式空间的第一行,开始下一个循环
= 打印当前行号
a \text 当前行追加文本
i \text 当前行上面插入文本
c \text 所选行替换新文本
q 立即退出sed脚本
r 追加文本来自文件
: label label为b和t命令
b label 分支到脚本中带有标签的位置,如果分支不存在则分支到脚本的末尾
t label 如果s///是一个成功的替换,才跳转到标签
h H 复制/追加模式空间到保持空间
g G 复制/追加保持空间到模式空间
x 交换模式空间和保持空间内容
l 打印模式空间的行,并显示控制字符$
n N 读取/追加下一行输入到模式空间
w filename 写入当前模式空间到文件
! 取反、否定
& 引用已匹配字符串
地址
first~step 步长,每step行,从第first开始
$ 匹配最后一行
/regexp/ 正则表达式匹配行
number 只匹配指定行
addr1,addr2 开始匹配addr1行开始,直接addr2行结束
addr1,+N 从addr1行开始,向后的N行
addr1,~N 从addr1行开始,到N行结束
匹配打印(p)
打印第一行
$ seq 5 |sed -n '1p'
1
打印最后一行
$ seq 5 |sed -n '$p'
5
打印第2行至第4行
$ seq 5 |sed -n '2,4p'
2
3
4
打印奇数行
$ seq 5 |sed -n '1~2p'
1
3
5
打印匹配行及后两行
$ seq 5 |sed -n '/2/,+2p'
2
3
4
打印匹配2开头的行
$echo "1 2 23 3" |xargs -n1 |sed -n '/^2/p'
2
23
不打印最后一行: 感叹号也就是对后面的命令取反。
$ seq 3 |sed -n '$!p'
1
2
匹配范围
$ seq 5 |sed -n '/2/,/4/p'
2
3
4
匹配开头行到最后一行:以逗号分开两个样式选择某个范围
$ seq 5 |sed -n '/2/,$p'
2
3
4
5
引用系统变量,用引号
sed命令用单引号时,里面变量用单引号引起来,或者sed命令用双引号,因为双引号解释特殊符号原有意义。
$a=2
$ seq 5 |sed -n ''$a',4p'
或
$ seq 5 |sed -n "$a,4p"
匹配删除(d)
$ seq 4 |sed '/3/d'
1
2
4
$ seq 4 |sed '1d'
2
3
4
$ seq 6 |sed '1~2d'
2
4
6
$ seq 6 |sed '1,3d'
4
5
6
去除空格/etc/ssh/sshd_config文件空行或开头#号的行:
$ sed '/^#/d;/^$/d' /etc/ssh/sshd_config
删除与打印使用方法类似,可以理解是打印的取反。不用-n选项
替换(s///)
替换bc字符串为BC
$ echo "abcdbc bcdbc cde" |xargs -n1 |sed 's/bc/BC/'
aBCdbc
BCdbc
cde
全局替换加g:
$ echo "abcdbc bcdbc cde" |xargs -n1 |sed 's/bc/BC/g'
aBCdBC
BCdBC
cde
替换开头是bc的字符串并打印
$ echo "abc bcd cde" |xargs -n1 |sed 's/^bc/BC/'
abc
BCd
cde
使用&命令引用匹配内容并替换
$ echo "abc bcd cde" |xargs -n1 |sed -n 's/bc/&B/p'
abcB
bcBd
IP加单引号:
$ echo '10.10.10.1 10.10.10.2 10.10.10.3' |sed -r 's/[^ ]+/"&"/g'
"10.10.10.1" "10.10.10.2" "10.10.10.3"
对1-3行的bbb进行替换为BBB
$ echo "aaa bbb ccc bbb" |xargs -n1 |sed '1,3s/bbb/BBB/'
aaa
BBB
ccc
bbb
对匹配行进行替换
$ echo "aaa bbbcde ccc bbbggg" |xargs -n1 |sed '/ggg/s/bbb/BBB/'
aaa
bbbcde
ccc
BBBggg
二次匹配替换
$ echo "aaa bbb bbb ccc" |xargs -n1 |sed 's/bbb/BBB/;s/a/A/'
Aaa
BBB
BBB
ccc
分组使用,在第2组与3组之间添加EEE
$ echo "aaa bbb #ccc" |sed -r 's/(.*) (.*)(#.*)/\1\2EEE\3/'
aaa bbb EEE#ccc
将不变的字符串匹配分组,剩余就是要替换的,再反向引用。
位置调换
#echo "abc:cde;123:456" |sed -r 's/([^:]+)(;.*:)([^:]+$)/\3\2\1/'
abc:456;123:cde
注释匹配行及后2行的行首插入#
$ seq 5 |sed '/2/,+2s/^/#/'
1
#2
#3
#4
5
去除开头和结尾空格或制表符
$ echo " A B C " |sed 's/^[ \t]*//;s/[ \t]*$//'
A B C
多重编辑(-e)
$ echo "aaa bbb ccc ddd eee"|xargs -n1 |sed -e '1,3d' -e 's/eee/EEE/'
ddd
EEE
也可以使用分号分隔:
$ echo "aaa bbb ccc ddd eee"|xargs -n1 |sed '1,3d; s/eee/EEE/'
$ echo "aaa bbb ccc ddd eee"|xargs -n1 |sed 's/aaa/AAA/; s/eee/EEE/'
AAA
bbb
ccc
ddd
EEE
添加新内容(a、i和c)
在bbb上一行添加EEE
$ echo "aaa bbb bbb ccc" |xargs -n1 |sed '/bbb/i \EEE'
aaa
EEE
bbb
EEE
bbb
ccc
在bbb下一行添加EEE
echo "aaa bbb bbb ccc" |xargs -n1 |sed '/bbb/a \EEE'
aaa
bbb
EEE
bbb
EEE
ccc
将bbb替换新行
echo "aaa bbb bbb ccc" |xargs -n1 |sed '/bbb/c \EEE'
aaa
EEE
EEE
ccc
在指定行下一行添加一行
$ echo "aaa bbb ccc"|xargs -n1 |sed '2a \BBB'
aaa
bbb
BBB
ccc
在指定行上一行添加一行
$ echo "aaa bbb ccc"|xargs -n1 |sed '2i \BBB'
aaa
BBB
bbb
ccc
读取文件并追加到匹配行后(r)
$ cat a.txt
123
456
$ tail /etc/services |sed '/blp5/r a.txt'
3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol
isnetserv 48128/tcp # Image Systems Network Services
isnetserv 48128/udp # Image Systems Network Services
blp5 48129/tcp # Bloomberg locator
123
456
blp5 48129/udp # Bloomberg locator
123
456
com-bardac-dw 48556/tcp # com-bardac-dw
com-bardac-dw 48556/udp # com-bardac-dw
iqobject 48619/tcp # iqobject
iqobject 48619/udp # iqobject
matahari 49000/tcp # Matahari Broker
将匹配行写到文件(w)
$ tail /etc/services |sed '/blp5/w b.txt'
3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol
isnetserv 48128/tcp # Image Systems Network Services
isnetserv 48128/udp # Image Systems Network Services
blp5 48129/tcp # Bloomberg locator
blp5 48129/udp # Bloomberg locator
com-bardac-dw 48556/tcp # com-bardac-dw
com-bardac-dw 48556/udp # com-bardac-dw
iqobject 48619/tcp # iqobject
iqobject 48619/udp # iqobject
matahari 49000/tcp # Matahari Broker
$ cat b.txt
blp5 48129/tcp # Bloomberg locator
blp5 48129/udp # Bloomberg locator
读取下一行(n和N)
n 命令的作用是读取下一行到模式空间。
N 命令的作用是追加下一行内容到模式空间,并以换行符\n分隔。
n 命令功能
打印匹配的下一行
$ seq 5 |sed -n '/3/{n;p}'
4
打印偶数
$ seq 6 |sed -n 'n;p'
2
4
6
sed先读取第一行1,执行n命令,获取下一行2,此时模式空间是2,执行p命令,打印模式空间。
现在模式空间是2,sed再读取3,执行n命令,获取下一行4,此时模式空间为4,执行p命令,以此类推。
打印奇数
$ seq 6 |sed 'n;d'
1
3
5
sed先读取第一行1,此时模式空间是1,并打印模式空间1,执行n命令,获取下一行2,执行d命令,删除模式空间的2,
sed再读取3,此时模式空间是3,并打印模式空间,再执行n命令,获取下一行4,执行d命令,删除模式空间的3,以此类推。
每三行执行一次p命令
$ seq 6 |sed 'n;n;p'
1
2
3
3
4
5
6
6
sed先读取第一行1,并打印模式空间1,执行n命令,获取下一行2,并打印模式空间2,再执行n命令,
获取下一行3,执行p命令,打印模式空间3。sed读取下一行3,并打印模式空间3,以此类推。
每三行替换一次
方法1:
$ seq 6 |sed 'n;n;s/^/=/;s/$/=/'
1
2
=3=
4
5
=6=
方法2:
这次用到了地址匹配,来实现上面的效果:
$ seq 6 |sed '3~3{s/^/=/;s/$/=/}'
1
2
=3=
4
5
=6=
当执行多个sed命令时,有时相互会产生影响,我们可以用大括号{}把他们括起来。
N命令功能
$ seq 4 |sed 'N;q'
1
2
将两行合并一行:
$ seq 6 |sed 'N;s/\n//'
12
34
56
第一个命令:sed读取第一行1,N命令读取下一行2,并以\n2追加,此时模式空间是1\n2,再执行q退出。
第二个命令:执行N命令后,此时模式空间是1\n2,再执行把\n替换为空,此时模式空间是12,并打印。
$ seq 5 |sed -n 'N;p'
1
2
3
4
$ seq 6 |sed -n 'N;p'
1
2
3
4
5
6
为什么第一个不打印5呢?
因为N命令是读取下一行追加到sed读取的当前行,当N读取下一行没有内容时,则退出,也不会执行p命令打印当前行。
当行数为偶数时,N始终就能读到下一行,所以也会执行p命令。
打印奇数行数时的最后一行
$ seq 5 |sed -n '$!N;p'
1
2
3
4
5
加一个满足条件,当sed执行到最后一行时,用感叹号不去执行N命令,随后执行p命令。
打印和删除模式空间第一行(P和D)
P 命令作用是打印模式空间的第一行。
D 命令作用是删除模式空间的第一行。
打印奇数
# seq 6 |sed -n 'N;P'
1
3
5
保留最后一行
# seq 6 |sed 'N;D'
6
读取第一行1,执行N命令读取下一行并追加到模式空间,此时模式空间是1\n2,执行D命令删除模式空间第一行1,剩余2。
读取第二行,执行N命令,此时模式空间是3\n4,执行D命令删除模式空间第一行3,剩余4。
以此类推,读取最后一行打印时,而N获取不到下一行则退出,不再执行D,因此模式空间只剩余6就打印。
保持空间操作(h与H、g与G和x)
h 命令作用是复制模式空间内容到保持空间(覆盖)。
H 命令作用是复制模式空间内容追加到保持空间。
g 命令作用是复制保持空间内容到模式空间(覆盖)。
G 命令作用是复制保持空间内容追加到模式空间。
x 命令作用是模式空间与保持空间内容互换
将匹配的内容覆盖到另一个匹配
$ seq 5 |sed -e '/2/{h;d}' -e '/4/g'
1
3
2
5
h命令把匹配的2复制到保持空间,d命令删除模式空间的2。后面命令再对模式空间匹配4,并用g命令把保持空间2覆盖模式空间4。
将匹配的内容放到最后
$ seq 5 |sed -e '/2/{h;d}' -e '$G'
1
3
4
5
2
交换模式空间和保持空间
$ seq 6 |sed -e '/3/{h;d}' -e '/5/x' -e '$G'
1
2
4
3
6
5
看后面命令,在模式空间匹配5并将保持空间的3与5交换,5就变成了3,。最后把保持空间的5追加到模式空间的。
每行后面添加新空行
#seq 3 |sed G
1
2
3
标签
标签可以控制流,实现分支判断。
: lable name 定义标签
b lable 跳转到指定标签,如果没有标签则到脚本末尾
t lable 跳转到指定标签,前提是s///命令执行成功
将换行符替换成逗号
方法1:
seq 6 |sed ':a;N;s/\n/,/;b a'
1,2,3,4,5,6
这里的标签使用,:a 是定义的标签名,b a是跳转到a位置。
sed读取第一行1,N命令读取下一行2,此时模式空间是1\n2$,执行替换,此时模式空间是1,2$,
执行b命令再跳转到标签a位置继续执行N命令,读取下一行3追加到模式空间,此时模式空间是1,2\n3$,
再替换,以此类推,不断追加替换,直到最后一行N读不到下一行内容退出。
方法2:
$ seq 6 |sed ':a;N;$!b a;s/\n/,/g'
1,2,3,4,5,6
先将每行读入到模式空间,最后再执行全局替换。$!是如果是最后一行,则不执行b a跳转,最后执行全局替换。
每三个数字加个一个逗号
$ echo "123456789" |sed -r ':a;s/([0-9]+)([0-9]+{3})/\1,\2/;t a'
123,456,789
执行第一次时,替换最后一个,跳转后,再对123456匹配替换,直到匹配替换不成功,不执行t命令。
忽略大小写匹配(I)
$ echo -e "a\nA\nb\nc" |sed 's/a/3/Ig'
3
3
b
c
获取总行数
$ seq 8 |sed -n '$='
8
$ 匹配最后一行
= 打印当前行号