Linux awk和sed的用法

sed工具简介

用法：
sed [-nefri] 动作
参数：
-n：使用安静模式(Silent)模式，一般在sed的 用法中，所有来自STDIN的数据一般都会列在屏幕上。但如果是加上-n参数后，则只有经过sed特殊处理的那一行(或操作)才会被列出来
-e:直接在命令行模式上进行sed的动作编辑
-f:直接将sed的动作写在一个文件内，-f filename则可以执行filename内的sed动作。
-r：sed的动作支持的是扩展型正则表达式的语法(默认是基础正则表达式的语法)
-i:直接修改读取的文件内容，而不是由屏幕输出
动作说明：
[n1 [,n2]] function
n1,n2不见得会存在，一般代表选择进行动作的行数，举例来说，如果我的动作是需要在10到20行之间进行的，则"10,20[动作行为]"

function有以下这些参数:
a:新增，a后面可以接字符串，而这些字符串会在新的一行出现(目前的下一行)
c：替换，c后面可以接字符串，这些字符串可以替换n1,n2之间的行
d：删除，因为是删除，所以d后面通常不接任何参数
i:插入，i的后面可以接字符串，而这些字符串会在新的一行出现(目前的上一行)
p:打印，也就是将某个选择的数据打印出来，通常p会与参数sed -n 一起运行
s:替换，可以直接进行替换的工作，通常这个s的动作可以搭配正则表达式，例如1,20s/old/new/g就是

范例：

范例一：将 /etc/passwd 的内容列出，并且我需要打印行号，同时，请将第 2~5 行删除！
[root@linux ~]# nl /etc/passwd |sed '2,5d'
1 root:x:0:0:root:/root:/bin/bash
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
.....(后面省略).....
看到了吧？因为 2-5 行给他删除了，所以显示的数据中，就没有 2-5 行啰～
另外，注意一下，原本应该是要下达 sed -e 才对，没有 -e 也行啦！
同时也要注意的是， sed 后面接的动作，请务必以 '' 两个单引号括住喔！
而，如果只要删除第 2 行，可以使用 nl /etc/passwd | sed '2d' 来达成，
至于第 3 到最后一行，则是 nl /etc/passwd | sed '3,$d' 的啦！

范例二：承上题，在第二行后(亦即是加在第三行)加上『drink tea?』字样！
[root@linux ~]# nl /etc/passwd |sed '2a drink tea'
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
function有以下这些参数:
a:新增，a后面可以接字符串，而这些字符串会在新的一行出现(目前的下一行)
c：替换，c后面可以接字符串，这些字符串可以替换n1,n2之间的行
d：删除，因为是删除，所以d后面通常不接任何参数
i:插入，i的后面可以接字符串，而这些字符串会在新的一行出现(目前的上一行)
p:打印，也就是将某个选择的数据打印出来，通常p会与参数sed -n 一起运行
s:替换，可以直接进行替换的工作，通常这个s的动作可以搭配正则表达式，例如1,20s/old/new/g就是


范例：

>>范例一：将 /etc/passwd 的内容列出，并且我需要打印行号，同时，请将第 2~5 行删除！
[root@linux ~]# nl /etc/passwd |sed '2,5d'
1 root:x:0:0:root:/root:/bin/bash
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
.....(后面省略).....
看到了吧？因为 2-5 行给他删除了，所以显示的数据中，就没有 2-5 行啰～
另外，注意一下，原本应该是要下达 sed -e 才对，没有 -e 也行啦！
同时也要注意的是， sed 后面接的动作，请务必以 '' 两个单引号括住喔！
而，如果只要删除第 2 行，可以使用 nl /etc/passwd | sed '2d' 来达成，
至于第 3 到最后一行，则是 nl /etc/passwd | sed '3,$d' 的啦！



>>范例二：承上题，在第二行后(亦即是加在第三行)加上『drink tea?』字样！
[root@linux ~]# nl /etc/passwd |sed '2a drink tea'
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
drink tea
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
嘿嘿！在 a 后面加上的字符串就已将出现在第二行后面啰！那如果是要在第二行前呢？
nl /etc/passwd | sed '2i drink tea' 就对啦！

范例三：在第二行后面加入两行字，例如『Drink tea or .....』『drink beer?』
[root@linux ~]# nl /etc/passwd | sed '2a Drink tea or ......
drink beer ?'
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
Drink tea or ......
drink beer ?
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
这个范例的重点是，我们可以新增不只一行喔！可以新增好几行～
但是每一行之间都必须要以反斜线 \ 来进行新行的增加喔！所以，上面的例子中，
我们可以发现在第一行的最后面就有 \ 存在啦！那是一定要的喔！

范例四：我想将第2-5行的内容取代成为『No 2-5 number』呢？
[root@linux ~]# nl /etc/passwd | sed '2,5c No 2-5 number'
1 root:x:0:0:root:/root:/bin/bash
No 2-5 number
6 sync:x:5:0:sync:/sbin:/bin/sync
没有了 2-5 行，嘿嘿嘿嘿！我们要的数据就出现啦！

范例五：仅列出第 5-7 行
[root@linux ~]# nl /etc/passwd | sed -n '5,7p'
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
为什么要加 -n 的参数呢？您可以自行下达 sed '5,7p' 就知道了！(5-7行会重复输出)
有没有加上 -n 的参数时，输出的数据可是差很多的喔！

范例六：我们可以使用 ifconfig 来列出 IP ，若仅要 eth0 的 IP 时？
[root@linux ~]# ifconfig eth0
eth0 Link encap:Ethernet HWaddr 00:51:FD:52:9A:CA
inet addr:192.168.1.12 Bcast:192.168.1.255 Mask:255.255.255.0
inet6 addr: fe80::250:fcff:fe22:9acb/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
....(以下省略).....
其实，我们要的只是那个 inet addr:..那一行而已，所以啰，利用 grep 与 sed 来捉
[root@linux ~]# ifconfig eth0 | grep 'inet ' | sed 's/^.addr://g' |
sed 's/Bcast.$//g'
您可以将每个管线 (|) 的过程都分开来执行，就会晓得原因啰！
去头去尾之后，就会得到我们所需要的 IP 亦即是 192.168.1.12 啰～

        >> 范例七：将 /etc/man.config 档案的内容中，有 MAN 的设定就取出来，但不要说明内容。
                      [root@linux ~]# cat /etc/man.config | grep 'MAN'| sed 's/#.*$//g' | \
                      > sed '/^$/d'
                 每一行当中，若有 # 表示该行为批注，但是要注意的是，有时候，
                  批注并不是写在第一个字符，亦即是写在某个指令后方，如底下的模样：
            『shutdown -h now # 这个是关机的指令』，批注 # 就在指令的后方了。
                 因此，我们才会使用到将 #.*$ 这个正规表示法！

        >> 范例八：利用 sed 直接在 ~/.bashrc 最后一行加入『# This is a test』
                      [root@linux ~]# sed -i '$a # This is a test'  ~/.bashrc
      上头的 -i 参数可以让你的 sed 直接去修改后面接的档案内容喔！而不是由屏幕输出。
          至于那个 $a  则代表最后一行才新增的意思

awk工具

用法：awk '条件类型1{动作1} 条件类型2{动作2} ...' filename

awk主要是处理每一行的字段内的数据，而默认的字段的分隔符为空格符或[Tab]键

在每一行的每个字段都是有变量名称的，那就是$1,$2等变量名称
$0代表的是一整行数据的意思
整个awk的处理流程是:
1.读入第一行，并将第一行的数据填入$0,$1,$2等变量
2.依据条件类型的限制，判断是否需要进行后面的动作
3.做完所有的动作与条件类型
4.若还有后续的"行"的数据，则重复上面的1~3的步骤，直到所有的数据都读完为止
awk是以行为一次处理的单位，而以字段为最小的处理单位

>变量名称                            代表意义
        NF                            每一行($0)拥有的字段总数
        NR                            目前awk所处理的是"第几行"数据
        FS                            目前的分隔符，默认是空格符

awk的命令形式:
awk [-F|-f|-v] 'BEGIN{} //{command1;command2} END{}' file

[-F|-f|-v]:大参数，-F用于指定分隔符，-f调用脚本,-v定义变量var=value
' ':引用代码块
BEGIN:初始化代码块，在对每一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符
//:匹配代码块,可以是字符串或者是正则表达式
{}:命令代码块，包含一条或多条命令
；:多条命令使用分号分割
END:结尾代码块，在对每一行进行处理之后再执行的代码块，主要是进行最终计算或输出结尾摘要信息

特殊要点:
$0:表示当前行
$1:表示每一行的第一个字段
FNR:与NR类似，不过多文件记录不递增，每个文件都从1开始
FS:BEGIN时定义的分隔符
RS:记录的分隔符,默认为换行符(即文本是按一行一行来读取的)
+：匹配时表示1个或1个以上
/[0-9][0-9]+/：两个或两个以上数字
/[0-9][0-9]*/：一个或一个以上数字
OFS:输出字段分隔符,默认是空格，也可以是制表符等
ORS:输出的记录分隔符,默认为换行符,即处理结果也是按一行一行输出屏幕的

范例

print & $0
print 是awk打印指定内容的主要命令
awk '{print}' /etc/passwd == awk '{print $0}' /etc/passwd
awk '{print " "}' /etc/passwd //不输出passwd的内容，而是输出相同个数的空行，进一步解释了awk是一行一行处理文本
awk '{print "a"}' /etc/passwd //输出相同个数的a行，一行只有一个a字母
awk -F":" '{print $1}' /etc/passwd
awk -F: '{print $1; print $2}' /etc/passwd //将每一行的前二个字段，分行输出，进一步理解一行一行处理文本
awk -F: '{print $1,$3,$6}' OFS="\t" /etc/passwd //输出字段1,3,6，以制表符作为分隔符

-f指定脚本文件
awk -f script.awk file
BEGIN{
FS=":"
}
{print $1} //效果与awk -F":" '{print $1}'相同,只是分隔符使用FS在代码自身中指定

awk 'BEGIN{X=0} /^$/{ X+=1 } END{print "I find",X,"blank lines."}' test
I find 4 blank lines.
ls -l|awk 'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is",sum}'
//计算文件大小
total size is 17487

-F指定分隔符
$1 指指定分隔符后，第一个字段，$3第三个字段， \t是制表符
一个或多个连续的空格或制表符看做一个定界符，即多个空格看做一个空格
awk -F":" '{print $1}' /etc/passwd
awk -F":" '{print $1 $3}' /etc/passwd //$1与$3相连输出，不分隔
awk -F":" '{print $1,$3}' /etc/passwd //多了一个逗号，$1与$3使用空格分隔
awk -F":" '{print $1 " " $3}' /etc/passwd //$1与$3之间手动添加空格分隔
awk -F":" '{print "Username:" $1 "\t\t Uid:" $3 }' /etc/passwd //自定义输出
awk -F: '{print NF}' /etc/passwd //显示每行有多少字段
awk -F: '{print $NF}' /etc/passwd //将每行第NF个字段的值打印出来
awk -F: 'NF==4 {print }' /etc/passwd //显示只有4个字段的行
awk -F: 'NF>2{print $0}' /etc/passwd //显示每行字段数量大于2的行
awk '{print NR,$0}' /etc/passwd //输出每行的行号
awk -F: '{print NR,NF,$NF,"\t",$0}' /etc/passwd //依次打印行号，字段数，最后字段值，制表符，每行内容
awk -F: 'NR==5{print}' /etc/passwd //显示第5行
awk -F: 'NR==5 || NR==6{print}' /etc/passwd //显示第5行和第6行
route -n|awk 'NR!=1{print}' //不显示第一行

//匹配代码块
//纯字符匹配 !//纯字符不匹配 ~//字段值匹配 !~//字段值不匹配 ~/a1|a2/字段值匹配a1或a2
awk '/mysql/' /etc/passwd
awk '/mysql/{print }' /etc/passwd
awk '/mysql/{print $0}' /etc/passwd //三条指令结果一样
awk '!/mysql/{print $0}' /etc/passwd //输出不匹配mysql的行
awk '/mysql|mail/{print}' /etc/passwd
awk '!/mysql|mail/{print}' /etc/passwd
awk -F: '/mail/,/mysql/{print}' /etc/passwd //区间匹配
awk '/[2][7][7]*/{print $0}' /etc/passwd //匹配包含27为数字开头的行，如27，277，2777...
awk -F: '$1~/mail/{print $1}' /etc/passwd //$1匹配指定内容才显示
awk -F: '{if($1~/mail/) print $1}' /etc/passwd //与上面相同
awk -F: '$1!~/mail/{print $1}' /etc/passwd //不匹配
awk -F: '$1!~/mail|mysql/{print $1}' /etc/passwd

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 203,362评论 5赞 477
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 85,330评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 150,247评论 0赞 337
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,560评论 1赞 273
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,580评论 5赞 365
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,569评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,929评论 3赞 395
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,587评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,840评论 1赞 297
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,596评论 2赞 321
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,678评论 1赞 329
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,366评论 4赞 318
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,945评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,929评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,165评论 1赞 259
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 43,271评论 2赞 349
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,403评论 2赞 342

推荐阅读更多精彩内容

  • awk命令
    awk命令的基本使用 [root@shellscript ~]# head -n 3 /etc/passwd | ...
    古寒飞阅读 1,059评论 0赞 2
  • 20170904 awk
    awk介绍awk变量printf命令：实现格式化输出操作符awk patternawk actionawk数组aw...
    哈喽别样阅读 1,546评论 0赞 4
  • linux资料总章
    linux资料总章2.1 1.0写的不好抱歉 但是2.0已经改了很多 但是错误还是无法避免 以后资料会慢慢更新 大...
    数据革命阅读 12,128评论 2赞 34
  • AWK精华
    awk: grep,sed,awk grep：文本过滤 sed：文本编辑 awk：文本格式化工具； 1 什么是aw...
    木林森阅读 1,763评论 0赞 16
  • linux awk命令详解
    linux awk命令详解 来源：ggjucheng 链接：http://www.cnblogs.com/ggju...
    meng_philip123阅读 853评论 0赞 1