作业-第04周--课堂-Day15-正则表达式与三剑客知识应用实践

Day15 课堂笔记

1. 正则表达式

什么是正则表达式？

$~~$ 简单地说，正则表达式就是为了处理大量的字符串及文本而定义的一套规则和方法。假设"@"代表"I am"，"！"代表"oldboy"，则执行echo "@!"的结果就是输出"I am oldboy"。通过这些特殊符号的辅助，管理员就可以快速过滤、替换或输出需要的字符串。
$~~$ linux三剑客的正则表达式有以下几个特点：

为处理大量的文本及字符串而定义的一套规则和方法。
其工作时以行为单位进行，即一次处理一行。
通过正则表达式可以将复杂的处理任务化繁为简，提高操作linux的效率。
仅被三剑客（grep/egrep、sed、awk）命令支持，其他命令无法使用。

为什么要学习正则表达式？

$~~$ 实际企业中，运维工程师在做linux运维工作时，通常都会面对大量的带有字符串的内容，比如文本配置、程序、命令输出及日志文件等，我们要从大量的字符串内容中查找符合工作需要的特定的字符串。这就需要靠正则表达式了。

有关正则表达式容易混淆的事项！

$~~$ 正则表达式的应用非常广泛，在这里，我们所讲的是linux系统运维工作中的正则表达式，就是linux三剑客grep（egrep）、sed、awk。

学习正则表达式注意事项。

1、注意LC_ALL环境变量的设置：

 export LC_ALL=C

2、给grep和egrep设置别名（CentOS6需要，CentOS67不需要）

alias grep='grep --color=auto'
alias egrep='egrep --color=auto'

完整的处理及生效命令为：

cat >>/etc/profile<<EOF
alias grep='grep --color=auto'
alias egrep='egrep --color=auto'
export LC_ALL=C
EOF
source /etc/profile

2 基本与扩展正则表达式集合

老男孩linux58期-linux正则表达式

3 基本正则表达式实践

[root@oldboyedu  ~]# mkdir ~/test -p
[root@oldboyedu  ~]# cat >~/test/oldboy.txt<<EOF
> I am oldboy teacher!
> I teach linux.
> 
> I like badminton ball ,billiard ball and chinese chess!
> our site is http://www.oldboyedu.com
> my qq num is 49000448.
> 
> not 4900000448.
> my god ,i am not oldbey,but OLDBOY!
> EOF

最终文件如下：

[root@oldboyedu  ~]# cd ~/test/
[root@oldboyedu  ~/test]# cat -n oldboy.txt 
     1  I am oldboy teacher!
     2  I teach linux.
     3  
     4  I like badminton ball ,billiard ball and chinese chess!
     5  our site is http://www.oldboyedu.com
     6  my qq num is 49000448.
     7  
     8  not 4900000448.
     9  my god ,i am not oldbey,but OLDBOY!

1 ^（尖角号）功能实践

[root@oldboyedu  ~/test]# grep -n "^m" oldboy.txt 
6:my qq num is 49000448.
9:my god ,i am not oldbey,but OLDBOY!

2 $（美元符）功能实践

[root@oldboyedu  ~/test]# grep -n "m$" oldboy.txt 
5:our site is http://www.oldboyedu.com

默认情况下，linux下的所有的文件结尾都有一个$符，查看如下：

root@oldboyedu  ~/test]# grep -n "m$" oldboy.txt | cat -A
5:our site is http://www.oldboyedu.com$

3 ^$功能实践

[root@oldboyedu  ~/test]# grep -n "^$" oldboy.txt 
3:
7:

4 .（点）功能实践

[root@oldboyedu  ~/test]# grep -n "." oldboy.txt 
1:I am oldboy teacher!
2:I teach linux.
4:I like badminton ball ,billiard ball and chinese chess!
5:our site is http://www.oldboyedu.com
6:my qq num is 49000448.
8:not 4900000448.
9:my god ,i am not oldbey,but OLDBOY!

5 \（转义符）功能实践

[root@oldboyedu  ~/test]# grep -n "\.$" oldboy.txt 
2:I teach linux.
6:my qq num is 49000448.
8:not 4900000448.

6 *（星号）功能实践

[root@oldboyedu  ~/test]# grep -n "0*" oldboy.txt 
1:I am oldboy teacher!
2:I teach linux.
3:
4:I like badminton ball ,billiard ball and chinese chess!
5:our site is http://www.oldboyedu.com
6:my qq num is 49000448.
7:
8:not 4900000448.
9:my god ,i am not oldbey,but OLDBOY!

7 .*组合符功能实践

[root@oldboyedu  ~/test]# grep -n ".*" oldboy.txt 
1:I am oldboy teacher!
2:I teach linux.
3:
4:I like badminton ball ,billiard ball and chinese chess!
5:our site is http://www.oldboyedu.com
6:my qq num is 49000448.
7:
8:not 4900000448.
9:my god ,i am not oldbey,but OLDBOY!

[root@oldboyedu  ~/test]# grep -n "^.*o" oldboy.txt 
1:I am oldboy teacher!
4:I like badminton ball ,billiard ball and chinese chess!
5:our site is http://www.oldboyedu.com
8:not 4900000448.
9:my god ,i am not oldbey,but OLDBOY!

8 []（中括号）功能实践

[root@oldboyedu  ~/test]# grep -n '[A-Z]' oldboy.txt 
1:I am oldboy teacher!
2:I teach linux.
4:I like badminton ball ,billiard ball and chinese chess!
9:my god ,i am not oldbey,but OLDBOY!

9 [^abc]（中括号内取反符）功能实践

[root@oldboyedu  ~/test]# grep -n '[^a-z]' oldboy.txt 
1:I am oldboy teacher!
2:I teach linux.
4:I like badminton ball ,billiard ball and chinese chess!
5:our site is http://www.oldboyedu.com
6:my qq num is 49000448.
8:not 4900000448.
9:my god ,i am not oldbey,but OLDBOY!```

4 扩展正则表达式实践

1 +（加号）功能实践

[root@oldboyedu  ~/test]# egrep "0+" oldboy.txt
my qq num is 49000448.
not 4900000448.
[root@oldboyedu  ~/test]# egrep -o "0+" oldboy.txt
000
00000

2 ?（问号）功能实践

[root@oldboyedu  ~/test]# cat >oldgril.txt <<EOF
> good
> glad
> gd
> god
> good
> EOF
[root@oldboyedu  ~/test]# egrep 'go?d' oldgril.txt 
gd
god

3 |（竖线）功能实践

[root@oldboyedu  ~/test]# egrep '3306|1521' /etc/services 
mysql           3306/tcp                        # MySQL
mysql           3306/udp                        # MySQL
ncube-lm        1521/tcp                # nCube License Manager
ncube-lm        1521/udp                # nCube License Manager

4 ()（小括号）功能实践

1.) 分组功能实践

要求：取出包含good或glad的行

不用小括号()时：

[root@oldboyedu  ~/test]# cat oldgril.txt 
good
glad
gd
god
good
goood
[root@oldboyedu  ~/test]# egrep 'goo|lad' oldgril.txt 
good
glad
good
goood

多了一个goood，不准确，那么用小括号试试：

[root@oldboyedu  ~/test]# cat oldgril.txt 
good
glad
gd
god
good
goood
[root@oldboyedu  ~/test]# egrep 'g(oo|la)d' oldgril.txt 
good
glad
good

2.) 小括号的后引向功能实践

[root@oldboyedu  ~/test]# cat oldgril.txt
good
glad
gd
god
good
goood
[root@oldboyedu  ~/test]# egrep "(o)\1" oldgril.txt 
good
good
goood

5 {n，m}匹配次数功能实践

[root@oldboyedu  ~/test]# egrep "0{3,5}" oldboy.txt 
my qq num is 49000448.
not 4900000448.
[root@oldboyedu  ~/test]# egrep "0{,5}" oldboy.txt 
I am oldboy teacher!
I teach linux.

I like badminton ball ,billiard ball and chinese chess!
our site is http://www.oldboyedu.com
my qq num is 49000448.

not 4900000448.
my god ,i am not oldbey,but OLDBOY!
[root@oldboyedu  ~/test]# egrep "0{3,}" oldboy.txt 
my qq num is 49000448.
not 4900000448.
[root@oldboyedu  ~/test]# egrep "0{3}" oldboy.txt 
my qq num is 49000448.
not 4900000448.

5 sed :流编辑器（Linux三剑客之一）

sed是操作、过滤和转换文本内容的强大工具。
常用功能有对文件实现快速增删改查（增加、删除、修改、查询），
其中查询的功能中最常用的2大功能是过滤（过滤指定字符串）和取行（取出指定行）。
语法：

sed [选项]  [sed内置命令字符]  [文件]

选项：

-n 取消默认sed的输出，常与sed内置命令的p连用
-i 直接修改文件内容，而不是输出到终端。

注意：如果不使用-i选项sed只是修改在内存中的数据，并不会影响磁盘上的文件

sed的内置命令字符说明

s 替换
g 全局global
p 打印print
d 删除delete

5.1 sed命令实践

准备测试文件：

[root@oldboyedu  ~/test]# cat -n oldboy.txt
     1  I am oldboy teacher!
     2  I like badminton ball ,billiard ball and chinese chess!
     3  our site is http://www.oldboyedu.com
     4  my qq num is 49000448.

问题1：输出oldboy.txt的第2-3行内容。

[root@oldboyedu  ~/test]# sed -n '2,3p' oldboy.txt 
I like badminton ball ,billiard ball and chinese chess!
our site is http://www.oldboyedu.com

问题2：过滤出含有oldboy字符串的行。

 [root@oldboyedu  ~/test]# sed -n '/oldboy/p' oldboy.txt
I am oldboy teacher!
our site is http://www.oldboyedu.com

问题3：删除含有oldboy字符串的行。

[root@oldboyedu  ~/test]# sed '/oldboy/d' oldboy.txt
I like badminton ball ,billiard ball and chinese chess!
my qq num is 49000448.

问题4：将文件中的oldboy字符串全部替换为oldgirl。

vim替换：
:%s#oldboy#oldgirl#g
或者
[root@oldboyedu  ~/test]# sed 's#oldboy#oldgirl#g' oldboy.txt
I am oldgirl teacher!
I like badminton ball ,billiard ball and chinese chess!
our site is http://www.oldgirledu.com
my qq num is 49000448.
修改文件：
sed -i 's#oldboy#oldgirl#g' oldboy.txt

问题5：将文件中的oldboy字符串全部替换为oldgirl，同时将QQ号码49000448改为31333741。

sed -e 's#oldboy#oldgirl#g' -e 's#49000448#31333741#g' oldboy.txt 
I am oldgirl teacher!
I like badminton ball ,billiard ball and chinese chess!
our site is http://www.oldgirledu.com
my qq num is 31333741.

问题6：删除指定行，比如第3行或1-4行

sed -i '3d' oldboy.txt  
sed -i '1,4d' oldboy.txt

问题6：将abc整体（不区分大小写）替换成123

[root@oldboyedu  ~/test]# cat>abc.txt <<EOF
> abc
> ABc
> ABC
> aBc
> aAA
> BcA
> AAA
> EOF
[root@oldboyedu  ~/test]# cat abc.txt 
abc
ABc
ABC
aBc
aAA
BcA
AAA
[root@oldboyedu  ~/test]# sed -i 's/abc/123/ig' abc.txt
[root@oldboyedu  ~/test]# !cat
cat abc.txt 
123
123
123
123
aAA
BcA
AAA

问题7：在oldboy.txt文件的第二行的下一行追加文I teacher linux.

[root@oldboyedu  ~/test]# cat -n oldboy.txt 
     1  I am oldboy teacher!
     2  I like badminton ball ,billiard ball and chinese chess!
     3  our site is http://www.oldboyedu.com
     4  my qq num is 49000448.
[root@oldboyedu  ~/test]# sed -i '2a I teacher linux.' oldboy.txt
[root@oldboyedu  ~/test]# cat -n oldboy.txt 
     1  I am oldboy teacher!
     2  I like badminton ball ,billiard ball and chinese chess!
     3  I teacher linux.
     4  our site is http://www.oldboyedu.com
     5  my qq num is 49000448.

问题8：在oldboy.txt文件的第二行的下一行追加文I teacher linux at 2i.

[root@oldboyedu  ~/test]# cat -n oldboy.txt 
     1  I am oldboy teacher!
     2  I like badminton ball ,billiard ball and chinese chess!
     3  I teacher linux.
     4  our site is http://www.oldboyedu.com
     5  my qq num is 49000448.
[root@oldboyedu  ~/test]# sed -i '2i I teacher linux at 2i.' oldboy.txt
[root@oldboyedu  ~/test]# cat -n oldboy.txt 
     1  I am oldboy teacher!
     2  I teacher linux at 2i.
     3  I like badminton ball ,billiard ball and chinese chess!
     4  I teacher linux.
     5  our site is http://www.oldboyedu.com
     6  my qq num is 49000448.

问题9：取ip案例

ifconfig eth0|sed -n 2p|sed 's#^.*inet ##g'|sed 's#  netm.*$##g'
10.0.0.201
或者
ifconfig eth0|sed -n 2p|sed -e 's#^.*inet ##g' -e 's#  netm.*$##g'
10.0.0.201
或者
ifconfig eth0|sed -ne 's#^.*inet ##g' -e 's#  netm.*$##gp'
10.0.0.201
或者
ifconfig eth0|sed -nr '2s#^.*inet (.*)  netm.*$#\1#gp'
10.0.0.201
或者
ip add|sed -rn 's#^.*net (.*)/24.*$#\1#gp'

6 cut：按列切割

参数：

-d 指定分隔符
-f指定哪列，多列用逗号
案例：

[root@oldboyedu ~]# cat a.txt 
1 2 3 4 5 6 7 8 9 10
[root@oldboyedu ~]# cut -d" " -f1,3,5 a.txt 
1 3 5
[root@oldboyedu ~]# cut -d" " -f3-5 a.txt 
3 4 5

[root@oldboyedu ~]# sed -n '1,5p' /etc/passwd >oldboyedu.txt
[root@oldboyedu ~]# cat oldboyedu.txt
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@oldboyedu ~]# cut -d":" -f3,4 /etc/passwd
0:0
1:1
2:2

[root@oldboyedu ~]# cat b.txt 
oldboy 49000448
[root@oldboyedu ~]# cut -c1-6,8- b.txt 
oldboy4900044

7 awk （Linux三剑客之一）

语法：

awk  [option]   'pattern{action}' file ...
awk   [参数]      '条件{动作}'    文件 ...

参数：

-F 指定分隔符

变量名	属性
$0	整行
$n	第n列（-F指定分隔符）
NF	记录列的个数，就是有多少列
$NF	最后1列
$(NF-1)	倒数第2列
NR	显示行号

案例：
环境准备：

[root@oldboyedu  ~/test]# sed -n '1,5p' /etc/passwd > test.txt
[root@oldboyedu  ~/test]# cat -n test.txt
     1  root:x:0:0:root:/root:/bin/bash
     2  bin:x:1:1:bin:/bin:/sbin/nologin
     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
     4  adm:x:3:4:adm:/var/adm:/sbin/nologin
     5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

问题1：取test.txt文件的第2行到第3行的内容。

[root@oldboyedu ~/test]# awk 'NR>1&&NR<4'  test.txt 
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
或者
[root@oldboyedu  ~/test]# awk 'NR==2,NR==3' test.txt
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

问题2：过滤出含有root字符串的行。

[root@oldboyedu ~/test/]# awk '/root/'  test.txt
root:x:0:0:root:/root:/bin/bash
[root@oldboyedu ~/test/]# awk /root/  test.txt
root:x:0:0:root:/root:/bin/bash
[root@oldboyedu ~/tstst/]# awk "/root/"  test.txt
root:x:0:0:root:/root:/bin/bash

问题3：删除含有root字符串的行。

[root@oldboyedu ~/test/]# awk '/^[^r]/'  test.txt
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

[^r]  非r
^[^r] 以非r字符开头

问题4：取文件的第一列、第三列和最后一列内容，并打印行号。

[root@oldboyedu ~/test/]# awk -F ":" '{print NR,$1,$3,$NF}' test.txt
1 root 0 /bin/bash
2 bin 1 /sbin/nologin
3 daemon 2 /sbin/nologin
4 adm 3 /sbin/nologin
5 lp 4 /sbin/nologin

问题5：取出Linux中执行ifconfig eth0后对应的IP地址（只能输出IP地址）。

[root@oldboyedu ~]# ifconfig eth0|awk 'NR==2{print $2}'
10.0.0.201

问题6：过滤文件中第一列内容匹配root的字符串，把符合的行的最后一列输出

[root@oldboyedu  ~/test]# awk -F ":" '$1~/root/ {print $NF}' test.txt 
/bin/bash

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 213,864评论 6赞 494
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 91,175评论 3赞 387
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 159,401评论 0赞 349
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 57,170评论 1赞 286
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 66,276评论 6赞 385
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,364评论 1赞 292
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,401评论 3赞 412
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,179评论 0赞 269
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,604评论 1赞 306
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,902评论 2赞 328
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,070评论 1赞 341
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,751评论 4赞 337
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,380评论 3赞 319
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,077评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,312评论 1赞 267
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,924评论 2赞 365
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,957评论 2赞 351