linux shell正则表达式

正则

普通正则表达式
扩展正则表达式

普通正则表达式

位置相关的正则
^: 表示锚定行首，此字符后面的任意内容必需出现在行首，可能匹配。
$：表示锚定行尾，此字符前面的任意内容必须出现在行尾，才能匹配。 ^$ ：表示匹配空行，这里所描述的空行表示"回车"，而"空格"或"tab"等都不能算作此处所描述的空行。
^abc$：表示abc独占一行时，会被匹配到。
<或者\b ：匹配单词边界，表示锚定词首，其后面的字符必须作为单词首部出现。
>或者\b ：匹配单词边界，表示锚定词尾，其前面的字符必须作为单词尾部出现。
\B：匹配非单词边界，与\b正好相反。

次数相关的正则

表示前面的字符连续出现任意次，包括0次
. 表示任意单个字符。
.* 表示任意长度的任意字符，与通配符中的*的意思相同
? 表示匹配其前面的字符0或1次
+ 表示匹配其前面的字符至少1次，或者连续多次，连续次数上不封顶。
{n} 表示前面的字符连续出现n次，将要被匹配
{x,y} 表示之前的字符至少连续出现x次，最多连续出现y次，都能被匹配到，换句话说，只要之前的字符连续出现的次数在x与y之间，即可被匹配到
{,n} 表示之前的字符连续出现至多n次，最少0次，都会被匹配到
{n,} 表示之前的字符连续出现至少n次，才会被匹配到

常用字符匹配

. 表示匹配任意单个字符

表示匹配前面的字符任意次，包括0次
[ ] 表示匹配指定范围内的任意单个字符
[^ ] 表示匹配指定范围外的任意单个字符
[[:alpha:]] 表示任意大小写字母
[[:lower:]] 表示任意小写字母
[[:upper:]] 表示任意大写字母
[[:digit:]] 表示0到9之间的任意单个数字（包括0和9）
[[:alnum:]] 表示任意数字或字母
[[:space:]] 表示任意空白字符，包括"空格"、"tab键"等。
[[:punct:]] 表示任意标点符号

[0-9]与[[:digit:]]等效
[a-z]与[[:lower:]]等效
[A-Z]与[[:upper:]]等效
[a-zA-Z]与[[:alpha:]]等效
[a-zA-Z0-9]与[[:alnum:]]等效

[^0-9]与[[:digit:]]等效
[^a-z]与[[:lower:]]等效
[^A-Z]与[[:upper:]]等效
[^a-zA-Z]与[[:alpha:]]等效
[^{a-zA-Z0-9]与[}[:alnum:]]等效

简短格式并非所有正则表达式解析器都可以识别

\d 表示任意单个0到9的数字
\D 表示任意单个非数字字符
\t 表示匹配单个横向制表符（相当于一个tab键）
\s表示匹配单个空白字符，包括"空格"，"tab制表符"等
\S表示匹配单个非空白字符

分组和嵌套

( ) 表示分组，我们可以将其中的内容当做一个整体，分组可以嵌套。
(ab) 表示将ab当做一个整体去处理。
\1 表示引用整个表达式中第1个分组中的正则匹配到的结果。
\2 表示引用整个表达式中第2个分组中的正则匹配到的结果。

转义符-反斜杠

扩展正则表达式，在普通正则符号再进行扩展，其实更加简单

常用符号

. 表示任意单个字符。

表示前面的字符连续出现任意次，包括0次。
.* 表示任意长度的任意字符，与通配符中的*的意思相同。
\ 表示转义符，当与正则表达式中的符号结合时表示符号本身。
| 表示"或者"之意
[ ]表示匹配指定范围内的任意单个字符。
[^ ]表示匹配指定范围外的任意单个字符。

单个字符匹配相关

[[:alpha:]] 表示任意大小写字母。
[[:lower:]] 表示任意小写字母。
[[:upper:]] 表示任意大写字母。
[[:digit:]] 表示0到9之间的任意单个数字（包括0和9）。
[[:alnum:]] 表示任意数字或字母。
[[:space:]] 表示任意空白字符，包括"空格"、"tab键"等。
[[:punct:]] 表示任意标点符号。
[^[:alpha:]] 表示单个非字母字符。
[^[:lower:]] 表示单个非小写字母字符。
[^[:upper:]] 表示单个非大写字母字符。
[^[:digit:]] 表示单个非数字字符。
[^[:alnum:]] 表示单个非数字非字母字符。
[^[:space:]] 表示单个非空白字符。
[^[:punct:]] 表示单个非标点符号字符。
[0-9]与[[:digit:]]等效。
[a-z]与[[:lower:]]等效。
[A-Z]与[[:upper:]]等效。
[a-zA-Z]与[[:alpha:]]等效。
[a-zA-Z0-9]与[[:alnum:]]等效。
[^0-9]与[[:digit:]]等效。
[^a-z]与[[:lower:]]等效。
[^A-Z]与[[:upper:]]等效
[^a-zA-Z]与[[:alpha:]]等效
[^{a-zA-Z0-9]与[}[:alnum:]]等效

次数匹配相关

? 表示匹配其前面的字符0或1次

表示匹配其前面的字符至少1次，或者连续多次，连续次数上不封顶。
{n} 表示前面的字符连续出现n次，将会被匹配到。
{x,y} 表示之前的字符至少连续出现x次，最多连续出现y次，都能被匹配到，换句话说，只要之前的字符连续出现的次数在x与y之间，即可被匹配到。
{,n} 表示之前的字符连续出现至多n次，最少0次，都会陪匹配到。
{n,}表示之前的字符连续出现至少n次，才会被匹配到。

位置边界匹配相关

^：表示锚定行首，此字符后面的任意内容必须出现在行首，才能匹配。
$：表示锚定行尾，此字符前面的任意内容必须出现在行尾，才能匹配。 ^$ ：表示匹配空行，这里所描述的空行表示"回车"，而"空格"或"tab"等都不能算作此处所描述的空行。
^abc$：表示abc独占一行时，会被匹配到。
<或者\b ：匹配单词边界，表示锚定词首，其后面的字符必须作为单词首部出现。
>或者\b ：匹配单词边界，表示锚定词尾，其前面的字符必须作为单词尾部出现。
\B：匹配非单词边界，与\b正好相反。

分组与后向引用

Linux grep 配合正则表达式案例详解

一、基础正则表达式案例

匹配特定字符串

# 精确匹配单词
grep "error" log.txt            # 包含 error 的行
grep -w "error" log.txt         # 仅匹配完整单词 error
grep -i "ERROR" log.txt         # 忽略大小写匹配

# 示例输出：
# 2023-01-15 ERROR: Connection failed
# 2023-01-15 error code 404

位置锚点

# 行首匹配
grep "^2023" access.log         # 以2023开头的行
# 示例：2023-12-01 10:00:00 GET /index.html

# 行尾匹配
grep "\.html$" urls.txt         # 以.html结尾的行
# 示例：https://example.com/index.html

# 首尾结合（精确匹配整行）
grep "^admin$" users.txt        # 行内容仅为 admin

字符类匹配

# 数字匹配
grep "[0-9]" data.txt           # 包含任何数字的行
grep "[0-9][0-9]" data.txt      # 包含两个连续数字的行

# 字母匹配
grep "[a-z]" file.txt           # 包含小写字母的行
grep "[A-Z]" file.txt           # 包含大写字母的行

# 排除字符
grep "[^0-9]" data.txt          # 包含非数字字符的行

# 预定义字符类
grep "[[:digit:]]" file.txt     # 包含数字
grep "[[:alpha:]]" file.txt     # 包含字母
grep "[[:alnum:]]" file.txt     # 包含字母或数字
grep "[[:space:]]" file.txt     # 包含空白字符

二、扩展正则表达式案例（grep -E）

# 匹配重复模式
grep -E "go{2}d" words.txt      # good
grep -E "go{2,4}d" words.txt    # good, goood, gooood
grep -E "ab*c" file.txt         # ac, abc, abbc, abbbc...
grep -E "ab+c" file.txt         # abc, abbc, abbbc...（至少一个b）
grep -E "colou?r" file.txt      # color 或 colour

# 实际应用：匹配时间格式
grep -E "[0-9]{2}:[0-9]{2}:[0-9]{2}" log.txt
# 匹配：10:30:45, 23:59:59

分组和选择

# 分组匹配
grep -E "(abc)+" file.txt       # abc, abcabc, abcabcabc...
grep -E "(ab|cd)ef" file.txt    # abef 或 cdef

# 实际应用：匹配不同时间格式
grep -E "(AM|PM|am|pm)" time.log

# 匹配IP地址的三种形式
grep -E "(localhost|127\.0\.0\.1|0\.0\.0\.0)" config.txt

三、实际应用案例
案例1：分析日志文件

# 查找特定时间段的日志
grep "^2023-12-25 1[0-2]:" server.log    # 12月25日10-12点
grep "^2023-1[0-2]-[0-9][0-9]" app.log   # 10-12月的日志

# 查找错误和警告
grep -E "(ERROR|WARN|FATAL)" application.log

# 查找HTTP状态码
grep -E "HTTP/1\.[01]\" [4-5][0-9][0-9]" access.log
# 匹配：404, 500, 503等错误状态码

案例2：提取特定字段

# 从日志中提取IP地址
grep -oE "([0-9]{1,3}\.){3}[0-9]{1,3}" access.log | sort -u

# 从CSV中提取第二列
grep -oE "^[^,]+,([^,]+)" data.csv | cut -d, -f2

# 提取引号内的内容
grep -oE '"[^"]*"' config.json

使用固定字符串加速

# 当不需要正则时使用-F更快
grep -F "static_string" large_file.txt

# 复杂搜索中先过滤再使用正则
grep "error" huge.log | grep -E "code [4-5][0-9][0-9]"

限制匹配数量

# 只显示前5个匹配
grep -m 5 "pattern" very_large_file.txt

# 在递归搜索中限制每个文件的匹配数
grep -r -m 3 "TODO" /path/to/project/

实用组合命令

# 统计不同IP的访问次数
grep -oE "([0-9]{1,3}\.){3}[0-9]{1,3}" access.log | sort | uniq -c | sort -nr

# 查找最常出现的错误消息
grep "ERROR" app.log | cut -d':' -f3- | sort | uniq -c | sort -nr | head -10

# 实时监控日志中的错误
tail -f /var/log/syslog | grep --line-buffered -E "(ERROR|CRITICAL|ALERT)"

linux shell正则表达式