一、grep,以行为处理单位,当数据是多行折叠时,行之间存在换行符,在行尾与下行行首间的模式用grep不能匹配,这时可用dreg或fuzznuc,或者用tr -d '\n' 去除换行符
dreg -filter -pattern AAAAAA
fuzznuc -filter -pattern'AANAA'
二、正则表达式:http://regexpal.com/
1.字符匹配:
1).:代表且只能代表任意一个字符。可以匹配空格,但不能匹配空行(当前目录,加载文件)
2)[abc]:匹配字符集合内任意一个字符[a-z]
[:lower:]:小写字母
[:digit:]:所有数字
[:upper:]:大写字母
[:alpha:]:所有字母
[:alnum:]:所有字母和数字
[:punct:]:所有标点
[:space:]:所有空白集合
3)[^]:指定范围之外的任意单个字符
[^abc]:匹配非abc的字符集
[^a-z]=[^[:lower:]]
4)\:转义字符,让有着特殊意义的字符还为原型。\.表示小数点
2.匹配次数:用在指定其出现的字符的后面,用于限制前面的字符出现的次数,默认为贪婪模式(匹配很长的字符集)
1)*:重复0个、1个或多个前面的一个字符,不代表所有(区别于linux命令)
例如:grep
"x*y"表示:abxy,aby,xxxxxy,yab
2).*:匹配任意长度的任意字符
3)\?:匹配前面的字符0次或者1次,即前面的字符可有可无
grep
"x\?y"表示:abxy,aby,yab,xxxxxy
4)\+:匹配前面的字符1次或者多次,即前面的字符至少出现1次
grep
"x\+y"表示:abxy,xxxxxy
5)\{m\}:匹配前面的字符m次
6)\{m,n\}:匹配前面的字符最少m次,最多n次
7)\{0,n\}:最少0次,最多n次
8)\{m,\}:最少m次
3.位置锚定:
1)^word:搜索以word开头的内容
2)word$:搜索以word结尾的内容
3)^pattern$:用pattern来匹配整行
4)^$:空行
5)^[[:space:]]*$:空行或包含空白字符的行
6)\<或\b:锚定单词或数字左侧
7)\>或\b:锚定单词或数字右侧
8)\<
\>:精确锚定某个单词或数字
9)^.*:以任意多个字符开头
例:netstat
-tan | grep "LISTEN[[:space:]]*$"
grep
"^[[:space:]]\{1,\}[^[:space:]]" /boot/grub/grub.cfg
grep
"\b[0-9]\{2,3\}\b" /etc/passwd
4.分组及引用:
\(\):将一个或多个字符捆绑在一起,当作一个整体处理
例:\(xy\)*ab
概念:分组括号中的模式匹配到的内容会被re引擎记录于内部变量中,这些变量为:
\1:第一个括号匹配到的字符集
\2:第二个括号匹配到的字符集
\3:第三个括号匹配到的字符集
例:grep
"l..e.*l..e" lover
grep
"\(l..e\).*\1" lover
grep
"\(r..t\).*\1" \etc\passwd
后项引用:前面括号内所匹配的模式会被后面的\1等引用。
扩展re中:匹配次数与分组引用中的字符去掉转义符\。
5.或:a|b:a或b
C|cat:C或cat
(C|c)at:Cat或cat
例:显示ifconfig下的1-255的数字
ifconfig |
egrep -o "[1-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5]"
显示ifconfig下的ip地址
ifconfig |
egrep -o "地址:[0-9]{3}\.[0-9]{1,3}\.[0-9]\.[0-9]"
三、k-mer: 指的是一个字符串中所有长度为k的子字符串的集合。可以用来进行error correction、对genome进行物种分类以及伪比对。
1、jellyfish:统计k-mers