# learn.regex.7.md

For myself and for you

前言

Regular Expression 久仰大名，以前也一直有过类似的需求，然而之前或者用其他工具实现了，或者暴力解决了 😅

不过辣个咸鱼没点理想呢？加上 notepad++ 事件，坚定了我学习Vim的决心，学 Vim 当然也要学习 regex 了，当然 regex 的应用远远不止在 Vim 当中。

此笔记参考了：runoob-tutorial ，版权归原作者所有

出于行文简洁的考虑，摘抄的内容不会全部一一声明， 但我会把链接都放上来，各位谅解 🤝

这个 part2 主要是更加详细的解说一下regex的用法。

字符类

要想查找数字，字母或数字，空白是很简单的，因为已经有了对应这些字符集合的元字符。
但是如果你想匹配没有预定义元字符的字符集合(比如元音字母a,e,i,o,u),应该怎么办？

很简单，你只需要在方括号里列出它们就行了，
像[aeiou]就匹配任何一个英文元音字母，[.?!]匹配标点符号.或?或!。
这里的 . ? ! 都不需要转义，（大部分元字符在中括号里面失去原来的含义）

我们也可以轻松地指定一个字符范围，像[0-9]代表的含意与\d就是完全一致的：一位数字；
同理[a-z0-9A-Z_]也完全等同于\w（如果只考虑英文的话）。

下面是一个更复杂的表达式：\(?0\d{2}[) -]?\d{8}

注意：(和)也是元字符，后面的分组节里会提到，所以在这里需要使用转义。

这个表达式可以匹配几种格式的电话号码，像(010)88886666，或022-22334455，或02912345678等。
我们对它进行一些分析吧：首先是一个转义字符\(,它能出现0次或1次(?),然后是一个0，后面跟着2个数字(\d{2})，然后是)或-或空格中的一个，它出现1次或不出现(?)，最后是8个数字( \d{8})。

分枝条件

不幸的是，刚才那个表达式也能匹配010)12345678或 (022-87654321这样的不正确的格式。
要解决这个问题，我们需要用到分枝条件。正则表达式里的分枝条件指的是有几种规则，如果满足其中任意一种规则都应该当成匹配，具体方法是用|把不同的规则分隔开。

听不明白？没关系，看例子：

0\d{2}-\d{8}|0\d{3}-\d{7}这个表达式能匹配两种以连字号分隔的电话号码：一种是三位区号，8位本地号(如010-12345678)，一种是4位区号，7位本地号(0376-2233445)。

注意：元字符 | 具有最低的运算优先级。

\(?0\d{2}\)?[- ]?\d{8}|0\d{2}[- ]?\d{8}这个表达式匹配3位区号的电话号码，其中区号可以用小括号括起来，也可以不用，区号与本地号间可以用连字号或空格间隔，也可以没有间隔。你可以试试用分枝条件把这个表达式扩展成也支持4位区号的。

\d{5}-\d{4}|\d{5}这个表达式用于匹配美国的邮政编码。
美国邮编的规则是5位数字，或者用连字号间隔的9位数字。
之所以要给出这个例子是因为它能说明一个问题：使用分枝条件时，要注意各个条件的顺序。如果你把它改成\d{5}|\d{5}-\d{4}的话，那么就只会匹配5位的邮编(以及9位邮编的前5位)。原因是匹配分枝条件时，将会从左到右地测试每个条件，如果满足了某个分枝的话，就不会去再管其它的条件了。

所以要把长的模式放在前面。

分组

我们已经提到了怎么重复单个字符（直接在字符后面加上限定符就行了）；

但如果想要重复多个字符又该怎么办？你可以用小括号来指定子表达式(也叫做 分组)，然后你就可以指定这个子表达式的重复次数了，你也可以对子表达式进行其它一些操作(后面会有介绍)。

(\d{1,3}\.){3}\d{1,3}是一个简单的IP地址匹配表达式。
要理解这个表达式，请按下列顺序分析它：
\d{1,3}匹配1到3位的数字，(\d{1,3}\.){3}匹配三位数字加上一个英文句号(这个整体也就是这个分组)重复3次，最后再加上一个一到三位的数字(\d{1,3})。

注：IP地址中每个数字都不能大于 255. 经常有人问我, 01.02.03.04 这样前面带有0的数字, 是不是正确的IP地址呢? 答案是: 是的, IP 地址里的数字可以包含有前导 0 (leading zeroes).

不幸的是，它也将匹配256.300.888.999 这种不可能存在的IP地址。
如果能使用算术比较的话，或许能简单地解决这个问题。
但是正则表达式中并不提供关于数学的任何功能，所以只能使用冗长的分组，选择，字符类来描述一个正确的IP地址：

((2[0-4]\d|25[0-5]|[01]?\d\d?)\.){3}(2[0-4]\d|25[0-5]|[01]?\d\d?)。

理解这个表达式的关键是理解2[0-4]\d|25[0-5]|[01]?\d\d?，这里我就不细说了，你自己应该能分析得出来它的意义。

反义

有时需要查找某个字符，而它不属于一个类，这个类已经被定义过。
比如想查找除了数字以外，其它任意字符都行的情况，这时需要用到反义：

例子：

\S+ 匹配不包含空白符的字符串。

<a[^>]+> 匹配用尖括号括起来的以a开头的字符串。

后向引用

使用小括号指定一个子表达式后，匹配这个子表达式的文本(也就是此分组捕获的内容)可以在表达式或其它程序中作进一步的处理。
默认情况下，每个分组会自动拥有一个组号，规则是：从左向右，以分组的左括号为标志，第一个出现的分组的组号为1，第二个为2，以此类推。

呃……其实，组号分配还不像我刚说得那么简单：

1. 分组0对应整个正则表达式
2. 实际上组号分配过程是要从左向右扫描两遍的：第一遍只给未命名组分配，第二遍只给命名组分配－－因此所有命名组的组号都大于未命名的组号
3. 你可以使用(?:exp)这样的语法来避免一个分组被编号

后向引用用于重复搜索前面某个分组匹配的文本。例如，\1代表分组1匹配的文本。难以理解？请看示例：

\b(\w+)\b\s+\1\b可以用来匹配重复的单词，像go go, 或者kitty kitty。
这个表达式首先匹配一个单词，如果单词开始处和结束处之间有多于一个的字母或数字(\b(\w+)\b)，这个单词会被捕获到编号为1的分组中，
然后匹配1个或几个空白符(\s+)，
最后再次匹配分组1中捕获的内容（也就是前面匹配的那个单词）(\1)。

你也可以自己指定子表达式的组名。

要指定一个子表达式的组名，请使用这样的语法：(?<Word>\w+)，
或者把尖括号换成'也行：(?'Word'\w+)，这样就把\w+的组名指定为Word了。
要反向引用这个分组捕获的内容，你可以使用\k<Word>。
所以上一个例子也可以写成这样：\b(?<Word>\w+)\b\s+\k<Word>\b。

使用小括号的时候，还有很多特定用途的语法。下面列出了最常用的一些：

我们已经讨论了前两种语法。
第三个(?:exp)不会改变正则表达式的处理方式，只是这样的组匹配的内容不会像前两种那样被捕获到某个组里面，也不会拥有组号。

零宽断言

又叫做预查。

用正则表达式去匹配一个字符实例，如果匹配成功的话，
正则表达式里面的每个部分（一个元字符，或者一个表达式），都将对应字符串的一部分。
它们是一一对应的。
我们把这个过程叫做，正则表达式的模式会消耗字符。

所以正则表达式靠前的模式（不妨叫做先前模式）的匹配成功与否，会对它后面的模式匹配（不叫做后续模式）造成影响。因为先前模式一旦匹配成功，字符就被消耗掉了，后续模式就匹配不到了。

但并不是所有模式都会消耗字符，有些只消耗位置。

接下来的四个用于查找在某些内容(但并不包括这些内容)之前或之后的东西，
也就是说它们像\b,^,$那样用于指定一个位置，这个位置应该满足一定的条件（即断言， assertion），因此它们也被称为零宽断言（意思是它们并不消耗目标字符，只匹配位置，实际字符串中并不出现，所以称之为零宽）。

最好还是拿例子来说明：
注：断言用来声明一个应该为真的事实。正则表达式中只有当断言为真时才会继续进行匹配。

(?=exp)也叫零宽度 正 预测先行 断言，
它断言（认为）先前模式（即(?=exp)前面的模式）的后面能匹配表达式exp。

比如\b\w+(?=ing\b)，能匹配以ing结尾的单词，但并不包括ing（有人把它叫做预查不消耗字符）。

也就是，如果查找I'm singing while you're dancing. 时，它会匹配sing和danc。

(?<=exp)也叫零宽度 正 回顾后发 断言，
它断言后续模式（即(?=exp)后面的模式）的前面能匹配表达式exp。
比如，(?<=\bre)\w+\b会匹配以re开头的单词，但并不包括re。
在查找reading a book时，它匹配 ading。

假如你想要给一个很长的数字中每三位间加一个逗号(我们从最右边开始加起)，
你可以这样查找所有需要添加逗号的部分：
（下一步可以从右边开始，找到三个数字，就在前面加个逗号，这里先省略下一步）

((?<=\d)\d{3})+\b

用它对1234567890进行查找时结果是234567890。
字符的长度显然是3的倍数，然后可以把开头、结尾、中间的三连段都加上逗号。

下面这个例子同时使用了这两种断言：
(?<=\s)\d+ and (?=\s)
匹配以空白符间隔的数字(再次强调，不包括这些空白符)。

(?<=\s)+\d+(?=\s)+

负向零宽断言

前面我们提到过如何禁止正则表达式匹配的结果中含有某个字符或者某一类字符（反义）。

但是如果我们只是想要确保某个字符没有出现，但并不想去匹配它时（消耗字符）怎么办？
例如，如果我们想查找这样的单词--它里面出现了字母q,但是q后面跟的不是字母u。

我们可以尝试这样：

\b\w*q[^u]\w*\b

匹配包含后面不是字母u的字母q的单词。
但是如果多做测试(或者你思维足够敏锐，直接就观察出来了)，你会发现，
如果q出现在单词的结尾的话，像Iraq,Benq，这个表达式就会出错（会匹配我们不需要的东西）。

这是因为[^u]总要匹配一个字符，所以如果q是单词的最后一个字符的话，后面的[^u]将会匹配q后面的单词分隔符(可能是空格，或者是句号或其它的什么)，
后面的\w*\b将会匹配下一个单词，于是\b\w*q[^u]\w*\b就能匹配整个Iraq fighting。（可咱们又不用 fighting，peace 她不香吗？）

负向零宽断言能解决这样的问题，因为它只匹配一个位置，并不消耗任何字符。
现在，我们可以这样来解决这个问题：

\b\w*q(?!u)\w*\b

零宽度负预测先行断言(?!exp)，断言先前模式的后面不能匹配表达式exp。
例如：\d{3}(?!\d)匹配三位数字，而且这三位数字的后面不能是数字；
\b((?!abc)\w)+\b匹配不包含连续字符串abc的单词。

同理，我们可以用(?<!exp)，零宽度 负 回顾后发 断言 来断言后续模式的前面不能匹配表达式exp：

(?<![a-z])\d{7}匹配前面不是小写字母的七位数字。

一个更复杂的例子：

(?<=<(\w+)>).*(?=<\/\1>)匹配不包含属性的简单HTML标签内里的内容。
(?<=<(\w+)>)指定了这样的前缀：被尖括号括起来的单词(比如可能是<b>)，
然后是.*(任意的字符串)，
最后是一个后缀(?=<\/\1>)。注意后缀里的\/，它用到了前面提过的字符转义；
\1则是一个反向引用，引用的正是捕获的第一组，前面的(\w+)匹配的内容，这样如果前缀实际上是<b>的话，后缀就是</b>了。

整个表达式匹配的是<b>和</b>之间的内容(再次提醒，不包括<b>和</b>本身)。

注：请详细分析表达式(?<=<(\w+)>).*(?=<\/\1>)，这个表达式最能表现零宽断言的真正用途。

注释

小括号的另一种用途是通过语法(?#comment)来包含注释。
例如：2[0-4]\d(?#200-249)|25[0-5](?#250-255)|[01]?\d\d?(?#0-199)。

要包含注释的话，最好是启用忽略模式里的空白符选项，
这样在编写表达式时能任意的添加空格，Tab，换行，而实际使用时这些都将被忽略。
启用这个选项后，在#后面到这一行结束的所有文本都将被当成注释忽略掉。
例如，我们可以把前面的一个表达式写成这样：

(?<=    # 断言要匹配的文本的前缀
<(\w+)> # 查找尖括号括起来的字母或数字(即HTML/XML标签)
)       # 前缀结束
.*      # 匹配任意文本
(?=     # 断言要匹配的文本的后缀
<\/\1>  # 查找尖括号括起来的内容：前面是一个"/"，后面是先前捕获的标签
)       # 后缀结束

贪婪与懒惰

当正则表达式中包含能接受重复的限定符时，通常的行为是匹配尽可能多的字符（在使整个表达式能得到匹配的前提下）。

以这个表达式为例：a.*b，它将会匹配最长的以a开始，以b 结束的字符串。如果用它来搜索aabab的话，它会匹配整个字符串aabab。这被称为贪婪匹配。

有时，我们更需要懒惰匹配，也就是匹配尽可能少的字符。
前面给出的限定符都可以被转化为懒惰匹配模式，只要在它后面加上一个问号?。这样.*?就意味着匹配任意数量的重复，但是在能使整个匹配成功的前提下使用最少的重复。
作为贪婪标记的? 拥有和 + * ？ 同样的运算符优先级。

现在看看懒惰版的例子吧：

a.*?b匹配最短的，以a开始，以b结束的字符串。如果把它应用于aabab的话，它会匹配aab（第一到第三个字符）和ab（第四到第五个字符）。

注：为什么第一个匹配是aab（第一到第三个字符）而不是ab（第二到第三个字符）？
简单地说，因为正则表达式有另一条规则，比懒惰／贪婪规则的优先级更高：最先开始的匹配拥有最高的优先权——The match that begins earliest wins。

也就是我们之前说的消耗字符的概念，早买早享受

处理选项

上面介绍了几个选项如忽略大小写，处理多行等，这些选项能用来改变处理正则表达式的方式。下面是.Net中常用的正则表达式选项：

一个经常被问到的问题是：是不是只能同时使用多行模式和单行模式中的一种？答案是：不是。这两个选项之间没有任何关系，除了它们的名字比较相似（以至于让人感到疑惑）以外。

注：在C#中，你可以使用Regex(String, RegexOptions)构造函数来设置正则表达式的处理选项。
如：Regex regex = new Regex(@"\ba\w{6}\b", RegexOptions.IgnoreCase);

平衡组/递归匹配

注：这里介绍的平衡组语法是由.Net Framework支持的；
其它语言／库不一定支持这种功能，或者支持此功能但需要使用不同的语法。

有时我们需要匹配像( 100 * ( 50 + 15 ) )这样的可嵌套的层次性结构，
这时简单地使用\(.+\)则只会匹配到最左边的左括号和最右边的右括号之间的内容(这里我们讨论的是贪婪模式，懒惰模式也有下面的问题)。
假如原来的字符串里的左括号和右括号出现的次数不相等，比如( 5 / ( 3 + 2 ) ) )，那我们的匹配结果里两者的个数也不会相等。有没有办法在这样的字符串里匹配到最长的，配对的括号之间的内容呢？

为了避免(和\(把你的大脑彻底搞糊涂，我们还是用尖括号代替圆括号吧。
现在我们的问题变成了如何把xx <aa <bbb> <bbb> aa> yy这样的字符串里，
最长的配对的尖括号内的内容捕获出来？

这里需要用到以下的语法构造：

1. (?'group') 把捕获的内容命名为group,并压入堆栈(Stack)
2. (?'-group') 从堆栈上弹出最后压入堆栈的名为group的捕获内容，如果堆栈本来为空，则本分组的匹配失败
3. (?(group)yes|no) 如果堆栈上存在以名为group的捕获内容的话，继续匹配yes部分的表达式，否则继续匹配no部分
4. (?!) 零宽负向先行断言，由于没有后缀表达式，试图匹配总是失败

注：如果你不知道堆栈是什么东西，你就这样理解上面的三种语法吧：

第一个就是在黑板上写一个group，第二个就是从黑板上擦掉一个group，
第三个就是看黑板上写的还有没有group，如果有就继续匹配yes部分，否则就匹配no部分。

我们需要做的是每碰到了左括号，就在压入一个Open,每碰到一个右括号，就弹出一个，
到了最后就看看堆栈是否为空－－如果不为空那就证明左括号比右括号多，那匹配就应该失败。
正则表达式引擎会进行回溯(放弃最前面或最后面的一些字符)，尽量使整个表达式得到匹配。

<                         #最外层的左括号
    [^<>]*                #最外层的左括号后面的不是括号的内容
    (
        (
            (?'Open'<)    #碰到了左括号，在黑板上写一个"Open"
            [^<>]*        #匹配左括号后面的不是括号的内容
        )+
        (
            (?'-Open'>)   #碰到了右括号，擦掉一个"Open"
            [^<>]*        #匹配右括号后面不是括号的内容
        )+
    )*
    (?(Open)(?!))         #在遇到最外层的右括号前面，判断黑板上还有没有没擦掉的"Open"；如果还有，则匹配失败

>                         #最外层的右括号

平衡组的一个最常见的应用就是匹配HTML,下面这个例子可以匹配嵌套的<div>标签：

<div[^>]*>[^<>]*(((?'Open'<div[^>]*>)[^<>]*)+((?'-Open'</div>)[^<>]*)+)*(?(Open)(?!))</div>

还有些什么东西没提到

上边已经描述了构造正则表达式的大量元素，但是还有很多没有提到的东西。下面是一些未提到的元素的列表，包含语法和简单的说明。