正则表达式在文本处理中作用很大，多用在grep、sed、awk命令，其他编程语言也会用到正则表达式。
- 基本正则表达式
- 扩展正则表达式
- POSIX 字符集
- 非打印字符
- 通配符
1. 基本正则表达式
| 元字符 |
含义 |
| ^ |
行首定位符 |
| $ |
行尾定位符 |
| . |
单个字符匹配 |
| * |
限定符 |
| [] |
字符集匹配 |
| [^] |
字符集不匹配 |
| \(\) |
定义子表达式的开始和结束位置；“\(love\).*\1”相当于love.*love |
| x\{m,n\} |
区间表达式；x\{n\}表示最多重复n次，x\{m,\}表示最少重复m次，x\{m,n\}表示重复m~n次 |
| \< |
词首定位符；“\<hello”匹配含有以字符串“hello”开头的单词的文本行 |
| \> |
词尾定位符；“hello\>”匹配含有以字符串“hello”结尾的单词的文本行 |
1.1 修改基因 id
$ cat pep.fa
>lcl|NC_036237.1_cds_XP_022885606.1_1
$ sed "s/>.*cds_/>cds-/g" pep.fa
>cds-XP_022885606.1_1
1.2 去除空行
$ echo -e "a\n\nb" | grep -v "^$"
a
b
$ echo -e "a\n\nb" | grep "."
a
b
2. 扩展正则表达式
| 元字符 |
含义 |
| + |
限定前面的字符至少出现一次 |
| ? |
限定前面的字符最多只出现一次，即重复 0 次或者 1 次 |
| | 和 () |
表示多个正则表达式之间 “或” 的关系 |
2.1 grep -E
$ cat genome.gff
1 AUGUSTUS gene 3004 3423 0.81 + . g1
1 AUGUSTUS gene 80618 80998 0.91 - . g2
1 AUGUSTUS gene 81054 81815 0.69 + . g3
1 AUGUSTUS gene 88721 89122 0.87 + . g4
1 AUGUSTUS gene 381123 387745 0.88 - . g5
$ grep -vE "(g1|g3|g5)" genome.gff # 这里不加 () 貌似也可以
1 AUGUSTUS gene 80618 80998 0.91 - . g2
1 AUGUSTUS gene 88721 89122 0.87 + . g4
$ grep -vE "g(1|3|5)" genome.gff
1 AUGUSTUS gene 80618 80998 0.91 - . g2
1 AUGUSTUS gene 88721 89122 0.87 + . g4
grep -E 是支持扩展正则表达式，如果不知道这个用法就得：
$ grep -v "g1" genome.gff | grep -v "g3" | grep -v "g5"
1 AUGUSTUS gene 80618 80998 0.91 - . g2
1 AUGUSTUS gene 88721 89122 0.87 + . g4
3. POSIX 字符集
|
含义 |
| [:alnum:] |
匹配任何一个字母或数字，等价于 A-Za-z0-9 |
| [:upper:] |
匹配任何一个大写字母，等价于 A-Z |
| [:lower:] |
匹配任何一个小写字母，等价于 a-z |
| [:digit:] |
匹配任何一个数字，等价于 0-9 |
| [:space:] |
匹配任何一个空白字符，包括空格、制表符、换行符、分页符等 |
| [:blank:] |
匹配空格和制表符 |
| [:print:] |
匹配任何一个可以打印的字符，包括空白字符 |
| [:punct:] |
匹配任何一个标点符号，例如“[]”、“{}”、“,”等 |
4. 非打印字符
windows下的文本复制到 linux 经常会有非打印字符的干扰，用命令 cat -A 即可看到
| 字符 |
含义 |
| \f |
匹配一个换叶符 |
| \n |
匹配一个换行符 |
| \r |
匹配一个回车符 |
| \t |
匹配一个制表符 |
| \v |
匹配一个垂直制表符 |
| \s |
匹配任意空白字符，包括空格、制表符、换页符等；等价于[\f\n\r\t\v] |
| \S |
匹配任意非空白字符；等价于[^ \f\n\r\t\v] |
$ echo -e "\f\n\r\n" > a.txt
$ cat -A a.txt
^L$
^M$
$
5. 通配符
Shell 使用了正则表达式中的某些元字符作为其通配符。
这些字符在Shell中的意义与在正则表达式中的意义有些区别。
| 通配符 |
含义 |
| * |
表示匹配任意的字符，而不是正则表达式中的限制其前导字符的 0 次或者多次重复 |
| ? |
表示一个字符，而非其前导字符的 0 次或者1次重复 |
| [] |
匹配其中任意一个字符 |
$ ls *.pl # 匹配所有以 .pl 结尾的文件
a.pl b.pl c.pl d.pl e.pl f.pl
$ ls [a-c].pl
a.pl b.pl c.pl
