Linux 命令之 sed

sed 的全称是 stream editor,是支持正则表达式的流编辑器。其作用便是将文本文件或来自于管道符传入的输入流进行文本处理,如替换、增加内容、删除内容等等。

一、基本参数

下面对各个参数举例说明,以此文件为例:

shiyanlou:~/ $ nl a.txt  
     1  Nice to meet you p2p
     2  Where you've been?
     3  I can show you incredible things
     4  Magic, madness, heaven, (sins)
     5  Saw you there and I thought oh my_god
     6  Look at that face, you lookokok like my next mistake404
     7  Look at that face, you loook like my next mistake404
     8  Love's a game, wanna play
     9  New money, suit and tie
    10  I can read you like a magazine
shiyanlou:~/ $

1.1 d 删除指定行:

shiyanlou:~/ $ nl a.txt | sed '2,5d'   # 删除 2~5 行
     1  Nice to meet you p2p
     6  Look at that face, you lookokok like my next mistake404
     7  Look at that face, you loook like my next mistake404
     8  Love's a game, wanna play
     9  New money, suit and tie
    10  I can read you like a magazine
shiyanlou:~/ $
shiyanlou:~/ $ nl a.txt | sed '7,$d'   # 删除 7 至最后一行
     1  Nice to meet you p2p
     2  Where you've been?
     3  I can show you incredible things
     4  Magic, madness, heaven, (sins)
     5  Saw you there and I thought oh my_god
     6  Look at that face, you lookokok like my next mistake404
shiyanlou:~/ $ 
shiyanlou:~/ $ nl a.txt | sed '$d'   # 删除最后一行
     1  Nice to meet you p2p
     2  Where you've been?
     3  I can show you incredible things
     4  Magic, madness, heaven, (sins)
     5  Saw you there and I thought oh my_god
     6  Look at that face, you lookokok like my next mistake404
     7  Look at that face, you loook like my next mistake404
     8  Love's a game, wanna play
     9  New money, suit and tie
shiyanlou:~/ $

1.2 -i 修改原文件:

shiyanlou:~/ $ sed -i '1d' a.txt   # 删除第一行
shiyanlou:~/ $ nl a.txt   # 打印文件,第一行没了
     1  Where you've been?
     2  I can show you incredible things
     3  Magic, madness, heaven, (sins)
     4  Saw you there and I thought oh my_god
     5  Look at that face, you lookokok like my next mistake404
     6  Look at that face, you loook like my next mistake404
     7  Love's a game, wanna play
     8  New money, suit and tie
     9  I can read you like a magazine
shiyanlou:~/ $ 

1.3 a 在某行后面添加一行字符串:

shiyanlou:~/ $ nl a.txt | sed '2a 今天天气不错。'   # 在第 2 行后面添加一行字符串
     1  Where you've been?
     2  I can show you incredible things
今天天气不错。
     3  Magic, madness, heaven, (sins)
     4  Saw you there and I thought oh my_god
     5  Look at that face, you lookokok like my next mistake404
     6  Look at that face, you loook like my next mistake404
     7  Love's a game, wanna play
     8  New money, suit and tie
     9  I can read you like a magazine
shiyanlou:~/ $ 

1.4 i 在某行前面添加一行字符串:

shiyanlou:~/ $ nl a.txt | sed '2i 哈哈'   # 在第 2 行前面添加一行
     1  Where you've been?
哈哈
     2  I can show you incredible things
     3  Magic, madness, heaven, (sins)
     4  Saw you there and I thought oh my_god
     5  Look at that face, you lookokok like my next mistake404
     6  Look at that face, you loook like my next mistake404
     7  Love's a game, wanna play
     8  New money, suit and tie
     9  I can read you like a magazine
shiyanlou:~/ $ 

1.5 c 将指定行替换为字符串:

shiyanlou:~/ $ nl a.txt | sed '6,$c hello world'   # 将 6 至尾行替换为字符串
     1  Where you've been?
     2  I can show you incredible things
     3  Magic, madness, heaven, (sins)
     4  Saw you there and I thought oh my_god
     5  Look at that face, you lookokok like my next mistake404
hello world
shiyanlou:~/ $ 

1.6 -n 只打印受影响的行;p 复制某行并打印,通常配合 -n 一起用:

shiyanlou:~/ $ nl a.txt | sed '5,7p'
     1  Where you've been?
     2  I can show you incredible things
     3  Magic, madness, heaven, (sins)
     4  Saw you there and I thought oh my_god
     5  Look at that face, you lookokok like my next mistake404
     5  Look at that face, you lookokok like my next mistake404
     6  Look at that face, you loook like my next mistake404
     6  Look at that face, you loook like my next mistake404
     7  Love's a game, wanna play
     7  Love's a game, wanna play
     8  New money, suit and tie
     9  I can read you like a magazine
shiyanlou:~/ $ nl a.txt | sed -n '5,7p'
     5  Look at that face, you lookokok like my next mistake404
     6  Look at that face, you loook like my next mistake404
     7  Love's a game, wanna play
shiyanlou:~/ $

1.7 G 使文件中每一行下面添加一个空行:

shiyanlou:~$ nl a.txt | sed 'G'
     1  Where you've been?

     2  I can show you incredible things

     3  Magic, madness, heaven, (sins)

     4  Saw you there and I thought oh my_god

     5  Look at that face, you lookokok like my next mistake404

     6  Look at that face, you loook like my next mistake404

     7  Love's a game, wanna play

     8  New money, suit and tie

     9  I can read you like a magazine

1.8 ! 反操作:

shiyanlou:~$ nl a.txt | sed '4,$!G'   # 4 行及以下不执行
     1  Where you've been?

     2  I can show you incredible things

     3  Magic, madness, heaven, (sins)

     4  Saw you there and I thought oh my_god
     5  Look at that face, you lookokok like my next mistake404
     6  Look at that face, you loook like my next mistake404
     7  Love's a game, wanna play
     8  New money, suit and tie
     9  I can read you like a magazine

二、高级用法

以此文件为例:

shiyanlou:~/ $ nl words.txt
     1  syl
     2  I hate shiyanlou
     3  syl

2.1 s 行内替换,多重命令使用 ; 隔开,-e 和“分行”亦可实现多重命令:

shiyanlou:~/ $ sed 's/syl/shiyanlou/; s/hate/love/' words.txt
shiyanlou
I love shiyanlou
shiyanlou
shiyanlou:~/ $
shiyanlou:~/ $ sed -e 's/syl/haha/' -e 's/hate/love/' words.txt
haha
I love shiyanlou
haha
shiyanlou:~/ $
shiyanlou:~/ $ sed '   # 分行
quote> s/syl/haha/
quote> s/hate/love/' words.txt 
haha
I love shiyanlou
haha
shiyanlou:~/ $

2.2 g 无它,只替换每行第一个字段;有它,替换全部:

shiyanlou:~$ nl words.txt | sed 's/a/A/'
     1  sys
     2  I hAte shiyanlou.
     3  sys
shiyanlou:~$ nl words.txt | sed 's/a/A/g'
     1  sys
     2  I hAte shiyAnlou.
     3  sys
shiyanlou:~$ 

2.3 -f 选项执行 sed 脚本文件:

shiyanlou:~/ $ echo "s/syl/haha/\ns/hate/love/" > sfile
shiyanlou:~/ $ nl sfile
     1  s/syl/haha/
     2  s/hate/love/
shiyanlou:~/ $ sed -f sfile words.txt
haha
I love shiyanlou
haha
shiyanlou:~/ $ 

2.4 将 shebang 写入脚本文件,赋予其可执行权限,即可直接执行:

shiyanlou:~/ $ which sed   # 查找 sed 命令的可执行文件
/bin/sed
# 将 shebang 插入到文件的第一行
shiyanlou:~/ $ sed -i '1i #!/bin/sed -f' sfile   
shiyanlou:~/ $ nl sfile
     1  #!/bin/sed -f
     2  s/syl/haha/
     3  s/hate/love/
shiyanlou:~/ $ chmod +x sfile
shiyanlou:~/ $ ./sfile words.txt
haha
I love shiyanlou
haha

2.5 寻址

上文中使用 s 选项对文件进行修改,默认是全文修改。实际上我们在使用 sed 命令处理流数据时,经常需要对特定的行进行修改,这就用到了“寻址”之术。

使用下面的文件进行举例:

shiyanlou:~/ $ cat -n xunzhi
     1  a b
     2  b
     3  c
     4  
     5  d b
     6  
     7  e
     8  
     9  f

2.5.1 将字符 a 所在的行的字符 b 替换为 haha

shiyanlou:~/ $ nl xunzhi | sed '/a/s/b/haha/'
     1  a haha
     2  b
     3  c
       
     4  d b
       
     5  e
       
     6  f
shiyanlou:~/ $ 

2.5.2 /^&/ 表示空行:

shiyanlou:~/ $ cat xunzhi   # nl 命令虽然不给空行编号,但打印结果空行不是没有字符的
a b
b
c

d b

e

f
shiyanlou:~/ $ cat xunzhi | sed '/^$/d'   # 删掉全部空行
a b
b
c
d b
e
f
shiyanlou:~/ $ 
shiyanlou:~/ $ cat xunzhi | sed '2,/^$/d'   # 删掉第 2 行到第 1 个空行
a b
d b

e

f
shiyanlou:~/ $ 

2.5.3 { } 大括号可实现分组
先将 xunzhi 文件中包含 b 字符又包含 hello 字符串的行(即第 1、3 行)中的 world 替换为 shiyanlou,再将包含 bd 字符的行(即第 5 行)中的 world 替换为 louplus

shiyanlou:~/ $ cat -n xunzhi   # 修改后的 xunzhi 文件
     1  a b hello world
     2  b world
     3  c b d hello world
     4  
     5  d b world good
     6  
     7  e hello world
shiyanlou:~/ $ sed '/b/{
quote> /hello/s/world/shiyanlou/
quote> /d /s/world/louplus/   # 此处的 d 为特殊字符,且不能被转义
quote> }' xunzhi | cat -n     # 所以在其后面加个空格,成为 'd '
     1  a b hello shiyanlou   # 否则只匹配前面的 'b' 字符,那么第 2 行也将被修改
     2  b world
     3  c b d hello shiyanlou
     4  
     5  d b louplus good
     6  
     7  e hello world
shiyanlou:~/ $

2.6 -r 参数使用标准正则表达式,上面 2.5.3 的例子可以这样写:

shiyanlou:~/ $ sed -r '/b/{
quote> /hello/s/world/shiyanlou/
quote> /\d/s/hello/louplus/   # d 为特殊字符,须转义
quote> }' xunzhi | cat -n
     1  a b hello shiyanlou
     2  b world
     3  c b d louplus shiyanlou
     4  
     5  d b world good
     6  
     7  e hello world
shiyanlou:~/ $
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,012评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,628评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,653评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,485评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,574评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,590评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,596评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,340评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,794评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,102评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,276评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,940评论 5 339
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,583评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,201评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,441评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,173评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,136评论 2 352

推荐阅读更多精彩内容

  • sed是一种流编辑器,他是文本处理中的工具,能够完美配合正则表达式使用。处理时,把当前处理的行存储在临时缓存区中,...
    郭之源阅读 381评论 0 1
  • 简介 sed是非交互式的编辑器。它不会修改文件,除非使用shell重定向来保存结果。默认情况下,sed编辑器逐行处...
    caoxinyiyi阅读 719评论 0 0
  • 以行为单位的新增/删除 删除 新增 a->目标行后面添加,i ->目标行前面添加 以行为单位的替换与显示 c p ...
    zhangxu0636阅读 171评论 0 0
  • 使用sed命令可以进行字符串的批量替换操作,以节省大量的时间及人力; 使用的格式如下: sed-i "s/olds...
    E狼阅读 818评论 0 0
  • 2017年5月5日--立夏 白粥+鸡蛋+玉米+地瓜+猕猴桃+坚果
    公主兰阅读 408评论 0 1