通配符 和 正则表达式 关系

1 概述

通配符和正则表达式经常会引起混乱,本文两者之间的区别进行比较。

通配符用于匹配文件名,shell在做PathnameExpansion时用到的。通配符是由shell解析的,比如find,ls,cp,mv等命令支持通配符查找文件名。

正则表达式元字符有字符匹配、匹配次数、位置锚定、分组。主要是处理文本里的内容,用来匹配文本里的字符串,针对文件内容的文本过滤工具里,大都用到正则表达式,如grep,sed,awk,vim, less,nginx,varnish等命令支持正则表达式。

2 通配符

2.1 常用通配符

通配符是由shell处理的(不是由所涉及到命令语句处理的,其实我们在shell各个命令中也没有发现有这些通配符介绍), 它只会出现在命令的“参数”里(它不用在命令名称里,也不用在操作符上)。当shell在“参数”中遇到了通配符时,shell会将其当作路径或文件名去在磁盘上搜寻可能的匹配:若符合要求的匹配存在,则进行替换(路径扩展);否则就将该通配符作为一个普通字符传递给“命令”,然后再由命令进行处理。

总之,通配符实际上就是一种shell实现的路径扩展功能。在通配符被处理后, shell会先完成该命令的重组,然后再继续处理重组后的命令,直至执行该命令。

shell提供转义符有三种转义符号,单引号,双引号,和反向斜杠,让通配符或者元字符变成普通字符,不需要使用特殊含义

需要说明的是:通配符看起来有点象正则表达式语句,但是它与正则表达式不同的,不能相互混淆。把通配符理解为shell特殊代号字符就可。

常用通配符,通配符的其他特殊字符,转义字符如下表格

图一 通配符符号集

2.1  通配符例子

2.1.1 常用通配符例子


1、显示/var目录下所有以l开头,以一个小写字母结尾,且中间出现至少一位数字的文件或目录

ll l*[[:digit:]]*[[:lower:]]

2、显示/etc目录下以任意一位数字开头,且以非数字结尾的文件或目录

ll [[:digit:]]*[^[:digit:]]

ll [0-9]*[^0-9]

3、显示/etc/目录下以非字母开头,后面跟了一个字母及其它任意长度任意字符的文件或目录

ll [^[:alpha:]][[:alpha:]]*

4、显示/etc/目录下所有以rc开头,并后面是0-6之间的数字,其它为任意字符的文件或目录

ls -d rc[0-6]*

5、显示/etc目录下,所有以.d结尾的文件或目录

ls -d *.d

6、显示/etc目录下,所有.conf结尾,且以m,n,r,p开头的文件或目录

ls -ld [mnrp]*.conf 多了一个d 参数后就会只显示文件夹,不显示文件夹里的信息

7、只显示/root下的隐藏文件和目录

ls -Ad .*

ls -d .*[[:alnum:]]

8、只显示/etc下的非隐藏目录

ls -F | grep '/$'

ls -l  | grep '^d'


2.1.2 单引号和双引号


单引号、双引号用于用户把带有空格的字符串赋值给变量事的分界符。

[root@localhost sh]# str="Today is Monday"

[root@localhost sh]# echo $str

Today is Monday

如果没有单引号或双引号,shell会把空格后的字符串解释为命令。

[root@localhost sh]# str=Today is Monday

bash: is: command not found

单引号和双引号的区别。单引号告诉shell忽略所有特殊字符,而双引号忽略大多数,但不包括三个符号$(美元符号)、\(反斜杠)、`(反向单引号)。

[root@localhost sh]# testvalue=100

[root@localhost sh]# echo 'The testvalue is $testvalue'

The testvalue is $testvalue

[root@localhost sh]# echo "The testvalue is $testvalue"

The testvalue is 100


2.1.3 反向单引号


这里再说一下反向单引号,再键盘左上角,和波浪号一起的符号。

在Linux中起着命令替换的作用,命令替换是指shell能够将一个命令的标准输出插在一个命令行中任何位置。

如下,shell会执行反引号中的date命令,把结果插入到echo命令显示的内容中。

[root@localhost sh]# echo The date is `date`

The date is 2011年 03月 14日 星期一 21:15:43 CST


3 正则表达式

3.1 常用正则表达式

grep (global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。egrep是grep的扩展,支持更多的re元字符, fgrep就是fixed grep或fast grep,它们把所有的字母都看作单词,也就是说,正则表达式中的元字符表示回其自身的字面意义,不再特殊。linux使用GNU版本的grep。它功能更强,可以通过-G、-E、-F命令行选项来使用egrep和fgrep的功能。

grep的工作方式是这样的,它在一个或多个文件中搜索字符串模板。如果模板包括空格,则必须被引用,模板后的所有字符串被看作文件名。搜索的结果被送到屏幕,不影响原文件内容。

grep可用于shell脚本,因为grep通过返回一个状态值来说明搜索的状态,如果模板搜索成功,则返回0,如果搜索不成功,则返回1,如果搜索的文件不存在,则返回2。我们利用这些返回值就可进行一些自动化的文本处理工作。


3.2 例子


1、显示三个用户root、sunny、tom的UID和默认shell

grep "^root\>\|^sunny\>\|^tom\>" /etc/passwd | cut -d: -f3,7

grep -E "^root\>|^sunny\>|^tom\>" /etc/passwd

grep -E "^(root|sunny|tom)\>" /etc/passwd | cut -d : -f3,7

2、找出/etc/rc.d/init.d/functions文件中行首为某单词(包括下划线)后面跟一个小括号

grep -oE "^[[:alnum:]_]+\(\)" /etc/rc.d/init.d/functions

3、使用egrep取出/etc/rc.d/init.d/functions中其基名

echo /etc/rc.d/init.d/functions | grep -oE "[^/]+/?$"

非/开头,最后是/可有可无,然后结尾,这个肯定是最后一个字段才是这样的情况

4、使用egrep取出上面路径的目录名

echo /etc/rc.d/init.d/functions/ | grep -oE "^/.*/\<"

这道题不太清楚,最后一个位置锚定,/开头,/<这个是位置锚定,用/最后的位置锚定

5、统计last命令中以root登录的每个主机IP地址登录次数

last | grep ^root | grep -oE "([0-9]{1,3}.){3}[0-9]{1,3}"|sort| uniq -c|sort -nr

6、利用扩展正则表达式分别表示0-9、10-99、100-199、200-249、250-255

echo {0..255} | grep -oE "\<[0-9]\>" |tr "\n" " "直接截取出对应数字在换成一行

echo {0..255} | grep -oE "\<[1-9][0-9]\>"

echo {0..255} | grep -oE "\<1[0-9]{2}\>"词尾不锚定也可以

echo {0..255} | grep -oE "\<2[0-4][0-9]\>"

echo {0..255} | grep -oE "\<25[0-5]\>"

7、截取出ipv4地址

ifconfig | grep -oE "\<(([0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\>"

8、显示ifconfig命令结果中所有IPv4地址

ifconfig | grep -oE "\<([0-9]{1,3}\.){3}[0-9]{1,3}"

以下这个语句可以精确到每个位的范围

ifconfig | grep -oE "\<(([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\>"

注意这里的点号要加反斜杠进行转义。

9、将此字符串:welcome to magedu linux 中的每个字符去重并排序,重复次数多的排到前面

echo "welcome to magedu linux" | grep -oE [[:print:]]|sort|uniq -c|sort -r


4 区别对比

需要明确的是,通配符是用来匹配文件名,进行文件名的查找,而正则表达式是用来匹配文件里内容的,我们常用的grep命令,交给管道符之后使用grep已经不是匹配文件名了,这是对文件的操作,并不是匹配文件名。

不同点

图三 差别

相同点

图四 相同点























最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,491评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,856评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,745评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,196评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,073评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,112评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,531评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,215评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,485评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,578评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,356评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,215评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,583评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,898评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,497评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,697评论 2 335

推荐阅读更多精彩内容

  • 为何叫做 shell ? shell prompt(PS1) 与 Carriage Return(CR) 的关系?...
    Zero___阅读 3,129评论 3 49
  • 基础命令 主要的命令和快捷键 Linux系统命令由三部分组成:cmd + [options]+[operation...
    485b1aca799e阅读 1,079评论 0 0
  • 个人学习批处理的初衷来源于实际工作;在某个迭代版本有个BS(安卓手游模拟器)大需求,从而在测试过程中就重复涉及到...
    Luckykailiu阅读 4,660评论 0 11
  • 本文笔记源自这里——[实验楼]欢迎大家在下面交流其中有问题的地方喜欢请点收藏,每日更新(全部已亲自实践). 一. ...
    东皇Amrzs阅读 3,947评论 7 54
  • 再回首《新白娘子传奇》,蓦然发现,这世间也曾有过人妖殊途 几百年前,有那样一个貌若天仙的白衣女子,顾盼生辉。而那姓...
    毛兮兮阅读 339评论 0 0