文本处理——sed初步

sed是一种流编辑器,它一次处理一行内容。
处理时,把当前处理的行存储在临时缓冲区(pattern space),同时输出到屏幕,接着用sed命令处理缓冲区中的内容,接着读取下一行,这样不断重复,直到文件末尾。

用法:

sed -[options] [操作] inputfile

-n:不输出模式空间内容到屏幕,即不自动打印
-e: 多点编辑
-f:/PATH/SCRIPT_FILE: 从指定文件中读取编辑脚本
-r: 支持使用扩展正则表达式
-i.bak: 原处编辑并且备份源文件(.bak可以改为任意字符)

操作: [地址定界]function

地址定界:最简单的是n1,n2function:从n1匹配到n2的行,然后进行操作比如:10,20[动作行为]

单地址:
       #:指定的行
                /pattern/:被此模式匹配到的行,如果要使用扩展的正则表达式,则要使用-f选项
            地址范围:
       #,#从行到行
                #,+#:比如3,+6代表是从第3行开始增加6行到第9行
                /pat1/,/pat2/:pat1到pat2的行,如果匹配到pat1到pat2,将其加入到缓冲区,并且会继续向下匹配
                #,/pat1/
       ~:步进
                1~2:匹配奇数行。从第一行开始,每隔2行匹配一次
                2~2:匹配偶数行
    ```
   function:

d: 删除模式空间匹配的行,因为是删除啊,所以 d 后面通常不接任何咚咚;
p: 显示模式空间中的内容
a []text:在指定行后面追加文本
支持使用\n实现多行追加
i []text:在行前面插入文本
c []text:替换行为单行或多行文本
w /path/somefile: 保存模式匹配的行至指定文件,sed '10,90w /root/file' file1将从f1匹配到的行到file
r /path/somefile:读取指定文件的文本至模式空间中
匹配到的行后
=: 为模式空间中的行打印行号
!:模式空间中匹配行取反处理cat
s///:查找替换,支持使用其它分隔符,s@@@,s###
替换标记:
g: 行内全局替换
w /PATH/TO/SOMEFILE:将替换成功的行保存至文件中

####数据的搜寻并执行命令

搜索/etc/passwd,找到root对应的行,执行后面花括号中的一组命令,每个命令之间用分号分隔,这里把bash替换为blueshell,再输出这行:
nl /etc/passwd | sed -n '/root/{s/bash/blueshell/;p}'
root:x:0:0:root:/root:/bin/blueshell

如果只替换/etc/passwd的第一个bash关键字为blueshell,就退出
nl /etc/passwd | sed -n '/bash/{s/bash/blueshell/;p;q}'
root:x:0:0:root:/root:/bin/blueshell
最后的q是退出。

##案例:

nl /etc/passwd |sed '2d'只删除第 2 行
sed '/#|[[:space:]]*$/d' f1搜索出来以#号开头或有空白行
sed –n '2p' /etc/passwd 输出第二行
sed –n '1,4p' /etc/passwd从第一行到第四行显示
sed –n '/root/p' /etc/passwd 显示匹配到root的行
sed –n '2,/root/p' /etc/passwd 从2行开始匹配root,并显示
sed -n '/^$/=' file 显示空行行号
sed –n –e '/^$/p' –e '/^$/=' file 多点编辑,我觉得类似grep的-e选项,或者的关系
sed '/root/a\superman' /etc/passwd行后添加字符
sed '/root/i\superman' /etc/passwd 行前
sed '/root/c\superman' /etc/passwd 代替行
sed '/^$/d' file删除空行,不包括空格组成的空行
sed '1,10d' file
nl /etc/passwd | sed '2,5d'
nl /etc/passwd | sed '2a tea'在第二行后面添加tea
sed 's/test/mytest/g' example 将test替换为mytest
sed –n 's/root/&superman/p' /etc/passwd 单词后,相当于后向引用,替换为rootsuperman
sed –n 's/root/superman&/p' /etc/passwd 单词前
sed -e 's/dog/cat/' -e 's/hi/lo/' pets
sed –i.bak 's/dog/cat/g' pets 编辑前先将pets备份为pets.bak然后进行替换编辑

##高级编辑命令:

h:把模式空间中的内容覆盖至保持空间中;
H:把模式空间中的内容追加至保持空间中;
g:把保持空间中的内容覆盖至模式空间中;
G:把保持空间中的内容追加至模式空间中;
x:把模式空间中的内容与保持空间中的内容互换;
n:覆盖读取匹配到的行的下一行至模式空间中;
N:追加读取匹配到的行的下一行至模式空间中;
d: 删除模式空间中的行
D:删除当前模式空间开端至\n的内容(不再传至标准输出),放弃之后的命令,但是对剩余模式空间重新执行sed

示例:     

sed -n 'n;p' FILE:显示偶数行;
sed '1!G;h;$!d' FILE:逆序显示文件的内容;
sed ’$!d' FILE:取出最后一行;
sed '$!N;$!D' FILE:取出文件后两行;
sed '/^$/d;G' FILE:删除原有的所有空白行,而后为所有的非空白行后添加一个空白行;
sed 'n;d' FILE:显示奇数行;
sed 'G' FILE:在原有的每行后方添加一个空白行;

作业:

1.删除centos7系统/etc/grub2.cfg文件中所有以空白开头的行行首的空白字符
sed 's/^[[:space:]]//gp' /etc/grub2.cfg
2.删除/etc/fstab文件中所有以#开头,后面至少跟一个空白字符的行的行首的#和空白字符
sed 's/^#[[:space:]]+//g' /etc/fstab
3、在centos6系统/root/install.log每一行行首增加#号
sed 's/^/#/' /root/install.log
4、在/etc/fstab文件中不以#开头的行的行首增加#号
sed -n '/#/!{s//#/p}' /root/f1
sed 's/[#]|^$/#&/' /root/f1
5、处理/etc/fstab路径,使用sed命令取出其目录名和基名
echo "/etc/sysconfig/network-scripts" |sed -r 's@(^/.
/)([^/]+/?)@\2@'
echo "/etc/sysconfig/network-scripts" |sed -r 's@(/.*/)([/]+/?)@\1@'
6、利用sed 取出ifconfig命令中本机的IPv4地址
ifconfig eth0|sed -n -e '2s/^.r://' -e '2s/ .//p'
7、统计centos安装光盘中Package目录下的所有rpm文件的以.分隔倒数第二个字段的重复次数
ls -1 /misc/cd/Packages/ |sed -nr "s@(.*.)([[:alnum:]_]+.rpm)@\2@p" |sort |uniq -c|sort -n
8、统计/etc/init.d/functions文件中每个单词的出现次数,并排序(用grep和sed两种方法分别实现)
grep -o "[[:alpha:]]+" /etc/init.d/functions |sort|uniq -c|sort -nr
sed -nre 's/[^[:alpha:]]+/\n/gp' /etc/init.d/functions |sort | uniq -c|sort -n
9、将文本文件的n和n+1行合并为一行,n为奇数行
nl f1|sed -n "N;s/\n//p"

##后话
做这种题最重要是练习,练得多了,自然就会了,没有必要找好多文章来说明一种命令的用法,还是慢慢体会的好
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,245评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,749评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,960评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,575评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,668评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,670评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,664评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,422评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,864评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,178评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,340评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,015评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,646评论 3 323
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,265评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,494评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,261评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,206评论 2 352

推荐阅读更多精彩内容

  • 本文承接之前写的三十分钟学会AWK一文,在学习完AWK之后,趁热打铁又学习了一下SED,不得不说这两个工具真的堪称...
    mylxsw阅读 4,394评论 3 74
  • linux资料总章2.1 1.0写的不好抱歉 但是2.0已经改了很多 但是错误还是无法避免 以后资料会慢慢更新 大...
    数据革命阅读 12,157评论 2 33
  • 知识点 sort uniq cut wc sed命令 awk命令 crontab定时器 sort sort 命令对...
  • Sed工具工作原理及特性 1. sed是流编辑器,每一次读取一行到内存中,即称之为模式空间(pattern spa...
    魏镇坪阅读 10,950评论 0 12
  • 说明:本篇文章来自老男孩,这里只做备份记录 功能说明 Sed是Stream Editor(流编辑器)缩写,是操作、...
    think_lonely阅读 717评论 0 2