1.基础正则表达式的符号(grep,sed,awk)

^ $ ^$  . * .* []  [^]

^ 尖括号，表示以...开头的行。

[root@junnan1 ~]# cat a.txt 
-bash: rt: command not found
[root@junnan1 ~]# grep '^-' a.txt 
-bash: rt: command not found
[root@junnan1 ~]#

[root@junnan1 /oldboy]# cat -n /oldboy/oldboy.txt
     1  I am oldboy teacher!
     2  I teach linux.
     3  
     4  I like badminton ball ,billiard ball and chinese chess!
     5  my blog is http://oldboy.blog.51cto.com 
     6  our size is http://blog.oldboyedu.com 
     7  my qq is 49000448
     8  
     9  not 4900000448.
    10  my god ,i am not oldbey,but OLDBOY! 
    11  
[root@junnan1 /oldboy]# grep -n '^I' /oldboy/oldboy.txt 
1:I am oldboy teacher!
2:I teach linux.
4:I like badminton ball ,billiard ball and chinese chess!
[root@junnan1 /oldboy]#

注释：空行也可以过滤，单引号里面输入一个空格就行。

$ 表示以..结尾的行。

[root@junnan1 ~]# cat a.txt 
-bash: rt: command not found
[root@junnan1 ~]# grep 'd$' a.txt 
-bash: rt: command not found
[root@junnan1 ~]#

注释：$符号要放到末尾，而不是在d的前面

^$ 表示空行，什么符号都没有。

[root@junnan1 ~]# cat a.txt 
-bash: rt: command not found
[root@junnan1 ~]#

[root@junnan1 /oldboy]# grep -n '^$' /oldboy/oldboy.txt 
3:
8:
11:
[root@junnan1 /oldboy]# grep -vn '^$' /oldboy/oldboy.txt 
1:I am oldboy teacher!
2:I teach linux.
4:I like badminton ball ,billiard ball and chinese chess!
5:my blog is http://oldboy.blog.51cto.com 
6:our size is http://blog.oldboyedu.com 
7:my qq is 49000448
9:not 4900000448.
10:my god ,i am not oldbey,but OLDBOY! 
[root@junnan1 /oldboy]#

  1 
  2 -bash: rt: command not found

[root@junnan1 ~]# grep -n '^$' a.txt 
1:
[root@junnan1 ~]#

注释：-n意思是过滤时显示行号，“1:"表示第一行是空行。有空格不算有空行。我们一般是排除空行，grep -v 排除取反即可。sed awk也可以排除空行，以后会讲到。

echo -n 不输出每行结尾的回车符号，查看回车符号，用cat -A,如图：

[root@junnan1 ~]# echo 123456 >a.txt
[root@junnan1 ~]# ll a.txt
-rw-r--r-- 1 root root 7 Apr 17 16:55 a.txt
[root@junnan1 ~]# echo -n 123456 >a.txt
[root@junnan1 ~]# ll a.txt
-rw-r--r-- 1 root root 6 Apr 17 16:55 a.txt
[root@junnan1 ~]# cat -A a.txt
123456[root@junnan1 ~]#

空格过滤

空格过滤.png

注释：按住左键圈一下，就会发现空格。

. 点表示任意一个字符，不会匹配空行。

[root@junnan1 ~]# grep -n '^$' a.txt 
1:
[root@junnan1 ~]# grep -n '.' a.txt 
2:-bash: rt: command not found
[root@junnan1 ~]#

[root@junnan1 /oldboy]# grep -n '\.$' /oldboy/oldboy.txt 
2:I teach linux.
9:not 4900000448.
[root@junnan1 /oldboy]#

注释：点在正则中有特殊意义，要想排除以点为结尾的行，需要加撬棍（\）
由上面这个例子可以知道，第一行空行的确没有匹配出来。

用grep -o 可以显示查找的过程，举例如下：

[root@junnan1 ~]# grep 'a' 1.cc
asiainfo
[root@junnan1 ~]# grep -o 'a' 1.cc
a
a
[root@junnan1 ~]#

\ 撬棍转义字符表示脱掉马甲打回原形。

[root@junnan1 ~]# grep -n '.' a.txt 
2:-bash: rt: command not found
[root@junnan1 ~]# grep -n '\.' a.txt 
[root@junnan1 ~]#

单引号里面的点在单引号里面，本来有特殊意思，由于使用了撬棍，那点就是点，不再表示任意字符。

转义字符系列，常用（\n \t）\n 回车

[root@junnan1 /oldboy]# tr '\n' '\t' <oldboy.txt.bak 
I am oldboy teacher!    I teach linux.      I like badminton ball ,billiard ball and chinese chess! my blog is http://oldboy.blog.51cto.com     our size is http://blog.oldboyedu.com   my qq is 49000448       not 4900000448. my god ,i am not oldbey,but OLDBOY!         [root@junnan1 /oldboy]# cat oldboy.txt.bak
I am oldboy teacher!
I teach linux.

I like badminton ball ,billiard ball and chinese chess!
my blog is http://oldboy.blog.51cto.com 
our size is http://blog.oldboyedu.com 
my qq is 49000448

not 4900000448.
my god ,i am not oldbey,but OLDBOY! 

[root@junnan1 /oldboy]#

星号前面一个字符出现0次或0次以上


-bash: rt: command not found
     1  1
     2  2
     3  
     4  11
     5  0
     6  111
[root@junnan1 ~]# grep '1*' a.txt 

-bash: rt: command not found
     1  1
     2  2
     3  
     4  11
     5  0
     6  111
[root@junnan1 ~]# grep '1' a.txt 
     1  1
     4  11
     6  111
[root@junnan1 ~]# grep '11*' a.txt 
     1  1
     4  11
     6  111
[root@junnan1 ~]#

.* 点星号，表示所有任何符号，包含空行。

[root@junnan1 ~]# cat a.txt

-bash: rt: command not found
     1  1
     2  2
     3  
     4  11
     5  0
     6  111
[root@junnan1 ~]# grep '.*' a.txt 

-bash: rt: command not found
     1  1
     2  2
     3  
     4  11
     5  0
     6  111
[root@junnan1 ~]#

[] 中括号表示 [abc]相当于一个字符，每次匹配一个字符。

[root@junnan1 ~]# cat -n a.txt
    1  
    2  a
    3  
    4  b
    5  c
[root@junnan1 ~]# grep -n '[abc]' a.txt
2:a
4:b
5:c
[root@junnan1 ~]#

[^] 举例说明，比如 [^abc]相当于一个字符，找出除了a或除了b或除了c

[root@junnan1 ~]# cat a.txt 

a

b
c
cc
cccc
ccccccccccc
ccccccccccccc
[root@junnan1 ~]# egrep -n '[^c]' a.txt 
2:a
4:b
[root@junnan1 ~]#

注释：除了abc还有空行，但空行不会被过滤出来。

2.扩展正则符号 egrep/grep -E/sed -r/awk

+ | () {} ?

加号表示前一个字符连续出现1次或1次以上。

[root@junnan1 ~]# cat a.txt 

a

b
c
cc
cccc
ccccccccccc
ccccccccccccc
[root@junnan1 ~]# egrep -n 'c+' a.txt 
5:c
6:cc
7:cccc
8:ccccccccccc
9:ccccccccccccc
[root@junnan1 ~]#

| 管道符或者

[root@junnan1 ~]# cat a.txt

a

b
c
cc
cccc
ccccccccccc
ccccccccccccc
[root@junnan1 ~]# egrep -n 'a|b' a.txt
2:a
4:b
[root@junnan1 ~]#

[root@junnan1 /oldboy]# egrep 'my|god' oldboy.txt
my blog is http://oldboy.blog.51cto.com 
my qq is 49000448
my god ,i am not oldbey,but OLDBOY! 
[root@junnan1 /oldboy]#

{} 举例说明：a{n,m} 表示前一个字符至少出现n次，最多出现m次

正则表达式（基本正则和扩展正则）

正则表达式（基本正则和扩展正则）

1.基础正则表达式的符号(grep,sed,awk)

2.扩展正则符号 egrep/grep -E/sed -r/awk