Linux命令行与Shell脚本编程大全-初识sed和gawk

本章内容:

  • 文本处理
  • sed编辑器基础
文本处理

Linux系统提供了两个常见的具备格式化、插入、修改或者删除文本元素的简单命令行编辑器。本节将会介绍Linux世界中最广泛的两个命令行编辑器: sedgawk

#使用sed命令的格式如下:
sed options script file
#gawk程序的基本格式如下:
gawk options program file

在命令行定义编辑器命令

#sed将test替换成big test
$ echo "This is a test" | sed 's/test/big test/'
This is a big test
$

在命令行使用多个编辑器命令

#使用sed -e 可以在命令行执行多个命令
$sed -e 's/brown/green/;s/dog/cat/' data1
The quick green fox jumps over the lazy cat
The quick green fox jumps over the lazy cat
The quick green fox jumps over the lazy cat
$

从文件中读取编辑器命令

#可以在sed命令中-f选项来指定文件
$cat script1
s/brown/green/
s/fox/elephant/
s/dog/cat/

$sed -f script1 data1
The quick green elephant jumps over the lazy cat.
The quick green elephant jumps over the lazy cat.
The quick green elephant jumps over the lazy cat.
$
gawk程序
#由于gawk命令行假定脚本是单个文本字符串,你必须将脚本放在单引号中
gawk '{print "Hello John!"}'

$0 代表整个文本行
$1代表文本行中的第1个数据字段
$2代表文本行中的第2个数据字段
$3代表文本行中的第3个数据字段
$n代表文本行中的第n个数据字段

$ cat data3
One line of test text.
Two lines of test text.
Three lines of test text.
$
$gawk '{print $1}' data3
One
Two
Three
$
#如果你要读取用其他字段分隔符的文件,可以用-F选项指定:
$ gawk -F: '{print $1}' /etc/passwd
root
daemon
bin
sys
sync

在程序脚本中使用多个命令

$ echo "My name is Rich" | gawk '{$4="Christine"; print $0}'
My name is Christine

从文件中读取程序

$ cat script2
{ print $1"'s home directory is "  $6}
$
#gawk -f 选项读取文件
$gawk -F: -f script2 /etc/passwd
root 's home directory is /root
daemon 's home directory is /usr/sbin
...

在处理数据前运行脚本

$gawk 'BEGIN {print "Hello World"}'
Hello World
$

$ cat data4
Line 1
Line 2
Line 3
Line 4
$
$gawk 'BEGIN {print "The data4 File Contents:" } {print $0} ' data4
The date4 File Contents:
Line 1
Line 2
Line 3
Line 4
$

在处理数据后运行脚本

$ cat data4
Line 1
Line 2
Line 3
Line 4
$
$gawk 'BEGIN {print "The data4 File Contents:" } { print $0 } END { print "End of File" } ' data4
The date4 File Contents:
Line 1
Line 2
Line 3
Line 4
End of File
$
sed 编辑器基础
#替换模式
s/pattern/replacement/flags
#flags 有4种可用的替换flags
#数字,表明新文本将替换第几处模式匹配的地方
#g,表明新文本将会替换所有已有文本出现的地方
#p,表明原来行的内容要打印出来
#w file,将替换的结果写到文件中

$ sed 's/test/trial/2' data5
This is a test of the trial script
This is the second test of the trial script
$

$ sed 's/test/trial/g' data5
This is a trial of the trial script
This is the second trial of the trial script
$

$ cat data6
This is a test line.
This is a different line.
$
$ sed -n 's/test/trial/p' data6
This is a trial line
# -n 选项将禁止sed编辑器输出。但p替换标记会输出修改过的行。二者配合使用则会只输出被substitude命令修改过的行

#w替换标记会产生同样的输出,不过会输出到指定的文件中:
$ sed 's/test/trial/w test' data6
This is a trial line.
This is a different line.
$
$ cat test
This is a trial line.

#替换字符有/ ! #

#使用地址
[address]command

$ sed '2s/dog/cat/' data1
This quick brown fox jumps over the lazy dog
This quick brown fox jumps over the lazy cat
This quick brown fox jumps over the lazy dog

#使用文本模式过滤器
/pattern/command

$grep Samantha /etc/passwd
Samantha:x:1001:1002:Samantha,4,,:/home/Samantha:/bin/bash

$ sed '/Samantha/s/bash/csh/' /etc/passwd
Samantha:x:1001:1002:Samantha,4,,:/home/Samantha:/bin/csh
$

#组合命令
$sed '2{
> s/fox/elephant/
> s/dog/cat/
> }' data1

#删除行
$sed '3d' data1
This is line number 1
This is line number 2
This is line number 4
$

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,142评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,298评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,068评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,081评论 1 291
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,099评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,071评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,990评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,832评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,274评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,488评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,649评论 1 347
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,378评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,979评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,625评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,796评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,643评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,545评论 2 352

推荐阅读更多精彩内容