一、Firstly Dimension
正则表达式简介：
传统的统计学教育几乎没有告诉过我们，如何进行文本的统计建模分析。然而，我们日常生活中接触到的大部分数据都是以文本的形式存在。文本分析与挖掘在业界中也有着非常广泛的应用。
由于文本数据大多属于非结构化的数据，要想对文本数据进行传统的统计模型分析，必须要经过层层的数据清洗与整理。
今天我们要介绍的『正则表达式及R字符串处理』就是用来干这一种脏活累活的。
与建立酷炫的模型比起来，数据的清洗与整理似乎是一种低档次的工作。如果把建立模型类比于高级厨师的工作，那么，数据清洗无疑是类似切菜洗碗打扫卫生的活儿。然而想要成为资深的『数据玩家』，这种看似低档次的工作是必不可少的，并且，这种工作极有可能将占据你整个建模流程的80%的时间。
如果我们能够掌握高效的数据清洗工具，那么我们将拥有更多的时间来进行模型选择和参数调整，使得我们的模型更加合理有效。
我会从介绍两种不同的正则表达式，但是他们解决的问题其实是一样的。
下面将要将要举例说明，一一介绍R中常用来处理此类工作的几个函数。
一、首先学习grep函数，是R语言中最基本的正则表达式函数
赋值：
txt<-c("one more","Hello world","up up day","one the more","one two three")
num<-c("one","foru")
# 第一行：返回布尔值(1-匹配上,0-没匹配上)
# 第二行：返回匹配的长度,负值为没有匹配上
# 第三行：类型
# 第四行：是否有匹配上的结果（显示是否逐个字节进行匹配，默认为FALSE，即按字符而不是字节进行匹配）
attr(a,"index.type")# 类型
attr(a,"match.length") #返回匹配的长度,负值为没有匹配上
attr(a,"useBytes") #查看是否有匹配上的结果
regexpr()函数只查询匹配第一个特定字符，要想多次匹配需要使用gregexpr()函数
Sub函数， 返回替换字符串后的具体内容
sub(ignore.case,extended,perl,fixed,useBytes,pattern,replacement,x)
参数:
# ignore.case = FALSE，表示大小写敏感
# extended = TRUE，表示使用egrep规则
# perl = FALSE，表示不使用Perl规则
# fixed = FALSE，表示不使用精确匹配
# useBytes = FALSE，表示按字符匹配
# pattern为字符串表示正则表达式
# replacement也是字符串表示替换的内容
# x为字符型向量表示被替换的字符向量
# 该函数会根据pattern的规则对x中各元素进行搜索，遇到符合条件的第一个子字符串的位置（gsub是替换所有符合条件的），用replacement替换该子字符串，返回替换后的结果，和x的结构相同
# 我们对replacement统一赋值为“”,在c("abcd","dcba")里面查找"a",替换为空
# 该例中的"a"只是一个字符，并不是正则表达式，真正的正则表达式依靠元字符进行灵活的匹配。
# 表示将开头为a的字符串中的a替换成空，在返回值中可以发现后面出现的a并没有被替换。如果要将开头的一个字符串替换，简单地写成“^ab”就行.
# 表示将以a结尾的字符串中的a替换成空。
由于sub只替换搜寻到的第一个，因此这个例子中用gsub效果更好.
以上是最基础的正则表达式元字符，在一些正则表达式的书籍和资料中有非常详细的介绍。最后需要提一下的是“贪婪”和“懒惰”的匹配规则。默认情况下是匹配尽可能多的字符，是为贪婪匹配，默认匹配最长的a开头b结尾的字串，也就是整个字符串。
如果要进行懒惰匹配，也就是匹配最短的字串，只需要在后面加个“?”#就会匹配最开始找到的最短的a开头b结尾的字串。
二、Secondly Dimension
正则表达式不是R的专属内容，这里只做简单介绍，更详细的内容请查阅其他文章。
正则表达式是用于描述/匹配一个文本集合的表达式：
所有英文字母、数字和很多可显示的字符本身就是正则表达式，用于匹配它们自己。比如 “a” 就是匹配字母 “a” 的正则表达式
一些特殊的字符在正则表达式中不在用来描述它自身，它们在正则表达式中已经被“转义”，这些字符称为“元字符”。perl类型的正则表达式中被转义的字符有：. \ | ( ) [ ] { } ^ $ * + ?。被转义的字符已经有特殊的意义，如点号 . 表示任意字符；方括号表示选择方括号中的任意一个（如[a-z] 表示任意一个小写字符）；^ 放在表达式开始出表示匹配文本开始位置，放在方括号内开始处表示非方括号内的任一字符；大括号表示前面的字符或表达式的重复次数；| 表示可选项，即 | 前后的表达式任选一个。
如果要在正则表达式中表示元字符本身，比如我就要在文本中查找问号“?”， 那么就要使用引用符号（或称换码符号），一般是反斜杠 “\”。需要注意的是，在R语言中得用两个反斜杠即 “\”，如要匹配括号就要写成 “”
不同语言或应用程序（事实上很多规则都通用）定义了一些特殊的元字符用于表示某类字符，如 \d 表示数字0-9， \D 表示非数字，\s 表示空白字符（包括空格、制表符、换行符等），\S 表示非空白字符，\w 表示字（字母和数字），\W 表示非字，< 和 > 分别表示以空白字符开始和结束的文本。
正则表达式符号运算顺序：圆括号括起来的表达式最优先，然后是表示重复次数的操作（即：* + {} ），接下来是连接运算（其实就是几个字符放在一起，如abc），最后是表示可选项的运算（|）。所以 “foot|bar” 可以匹配“foot”或者“bar”，但是“foot|ba{2}r”匹配的是“foot”或者“baar”。
2 字符数统计和字符翻译
2.1 nchar和length
nchar这个函数简单，统计向量中每个元素的字符个数，注意这个函数和length函数的差别：nchar是向量元素的字符个数，而length是向量长度（向量元素的个数）。其他没什么需要说的。
2.2 tolower，toupper和chartr
这三个函数用法也很简单： tolower 大写转小写 toupper 小写转大写 chartr
chartr(“Tt”, “Uu”, DNA)
chartr(“Tt”, “UU”, DNA)
3 字符串连接
3.1 paste函数
paste应该是R中最常用字符串函数了，也是R字符串处理函数里面非常纯的不使用正则表达式的函数（因为用不着）。它相当于其他语言的strjoin，但是功能更强大。它把向量连成字串向量，其他类型的数据会转成向量，但不一定是你要的结果：
paste(“CK”, 1:6, sep = “”)
[1] “CK1” “CK2” “CK3” “CK4” “CK5” “CK6”
x <- list(a = “aaa”, b = “bbb”, c = “ccc”)
y <- list(d = 1, e = 2)
paste(x, y, sep = “-”) #较短的向量被循环使用
z <- list(x, y)
paste(“T”, z, sep = “:”)
[1] “T:list(a = “aaa”, b = “bbb”, c = “ccc”)”
paste函数还有一个用法，设置collapse参数，连成一个字符串：
paste(x, y, sep = “-”, collapse = "; ")
paste(x, collapse = "; ")
4 字符串拆分
4.1 strsplit函数
strsplit函数使用正则表达式，使用格式为:
strsplit(x, split, fixed = FALSE, perl = FALSE, useBytes = FALSE)
参数x为字串向量，每个元素都将单独进行拆分。
参数split为拆分位置的字串向量，默认为正则表达式匹配（fixed=FALSE）。如果你没接触过正则表达式，设置fixed=TRUE，表示使用普通文本匹配或正则表达式的精确匹配。普通文本的运算速度快。
perl=TRUE/FALSE的设置和perl语言版本有关，如果正则表达式很长，正确设置表达式并且使用perl=TRUE可以提高运算速度。
参数useBytes设置是否逐个字节进行匹配，默认为FALSE，即按字符而不是字节进行匹配。
text <- “Hello Adam!\nHello Ava!”
strsplit(text, " ")
[1] “Hello” “Adam!\nHello” “Ava!”
R语言的字符串事实上也是正则表达式，上面文本中的\n在图形输出中是被解释为换行符的
strsplit(text, “\s”)
[1] “Hello” “Adam!” “Hello” “Ava!”
strsplit得到的结果是列表，后面要怎么处理就得看情况而定了：
class(strsplit(text, “\s”))
有一种情况很特殊：如果split参数的字符长度为0，得到的结果就是一个个的字符：
strsplit(text, “”)
[1] “H” “e” “l” “l” “o” " " “A” “d” “a” “m” “!” “\n” “H” “e”
[15] “l” “l” “o” " " “A” “v” “a” “!”
从这里也可以看到R把 \n 是当成一个字符来处理的。
5 字符串查询：
5.1 grep和grepl函数：
这两个函数返回向量水平的匹配结果，不涉及匹配字符串的详细位置信息。
grep(pattern, x, ignore.case = FALSE, perl = FALSE, value = FALSE, fixed = FALSE,
useBytes = FALSE, invert = FALSE)
grepl(pattern, x, ignore.case = FALSE, perl = FALSE, fixed = FALSE, useBytes = FALSE)
虽然参数看起差不多，但是返回的结果不一样。下来例子列出C:\windows目录下的所有文件，然后用grep和grepl查找exe文件：
files <- list.files(“c:/windows”)
grep("\.exe$", files)
[1] 8 28 30 35 36 58 69 99 100 102 111 112 115 117
grepl("\.exe$", files)
[1] FALSE FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE
[12] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[23] FALSE FALSE FALSE FALSE FALSE TRUE FALSE TRUE FALSE FALSE FALSE
[34] FALSE TRUE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[45] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[56] FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[67] FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[78] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[89] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE TRUE
[100] TRUE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[111] TRUE TRUE FALSE FALSE TRUE FALSE TRUE FALSE
grep仅返回匹配项的下标，而grepl返回所有的查询结果，并用逻辑向量表示有没有找到匹配。两者的结果用于提取数据子集的结果都一样：
files[grep("\.exe$", files)]
[1] “bfsvc.exe” “explorer.exe” “fveupdate.exe” “HelpPane.exe”
[5] “hh.exe” “notepad.exe” “regedit.exe” “twunk_16.exe”
[9] “twunk_32.exe” “uninst.exe” “winhelp.exe” “winhlp32.exe”
[13] “write.exe” “xinstaller.exe”
files[grepl("\.exe$", files)]
[1] “bfsvc.exe” “explorer.exe” “fveupdate.exe” “HelpPane.exe”
[5] “hh.exe” “notepad.exe” “regedit.exe” “twunk_16.exe”
[9] “twunk_32.exe” “uninst.exe” “winhelp.exe” “winhlp32.exe”
[13] “write.exe” “xinstaller.exe”
5.2 regexpr、gregexpr和regexec
这三个函数返回的结果包含了匹配的具体位置和字符串长度信息，可以用于字符串的提取操作。
text <- c(“Hellow, Adam!”, “Hi, Adam!”, “How are you, Adam.”)
regexpr(“Adam”, text)
gregexpr(“Adam”, text)
regexec(“Adam”, text)
6 字符串替换
6.1 sub和gsub函数
虽然sub和gsub是用于字符串替换的函数，但严格地说R语言没有字符串替换的函数，因为R语言不管什么操作对参数都是传值不传址
text
[1] “Hellow, Adam!” “Hi, Adam!” “How are you, Adam.”
sub(pattern = “Adam”, replacement = “world”, text)
[1] “Hellow, world!” “Hi, world!” “How are you, world.”
text
[1] “Hellow, Adam!” “Hi, Adam!” “How are you, Adam.”
可以看到：虽然说是“替换”，但原字符串并没有改变，要改变原变量我们只能通过再赋值的方式。 sub和gsub的区别是前者只做一次替换（不管有几次匹配），而gsub把满足条件的匹配都做替换：
sub(pattern = “Adam|Ava”, replacement = “world”, text)
[1] “Hellow, world!” “Hi, world!” “How are you, world.”
gsub(pattern = “Adam|Ava”, replacement = “world”, text)
[1] “Hellow, world!” “Hi, world!” “How are you, world.”
sub和gsub函数可以使用提取表达式（转义字符+数字）让部分变成全部：
sub(pattern = “.(Adam).”, replacement = “\1”, text)
7 字符串提取
7.1 substr和substring函数
substr和substring函数通过位置进行字符串拆分或提取，它们本身并不使用正则表达式，但是结合正则表达式函数regexpr、gregexpr或regexec使用可以非常方便地从大量文本中提取所需信息。两者的参数设置基本相同：
substr(x, start, stop)
substring(text, first, last = 1000000L)
x均为要拆分的字串向量
start/first 为截取的起始位置向量
stop/last 为截取字串的终止位置向量
但它们的返回值的长度（个数）有差 别：
substr返回的字串个数等于第一个参数的长度
而substring返回字串个数等于三个参数中最长向量长度，短向量循环使用。
先看第1参数（要 拆分的字符向量）长度为1例子：
x <- “123456789”
substr(x, c(2, 4), c(4, 5, 8))
substring(x, c(2, 4), c(4, 5, 8))
因为x的向量长度为1，所以substr获得的结果只有1个字串，即第2和第3个参数向量只用了第一个组合：起始位置2，终止位置4。 而substring的语句三个参数中最长的向量为c(4,5,8)，执行时按短向量循环使用的规则第一个参数事实上就是c(x,x,x)，第二个参数就成了c(2,4,2)，最终截取的字串起始位置组合为：2-4, 4-5和2-8。
请按照这样的处理规则解释下面语句运行的结果：
x <- c(“123456789”, “abcdefghijklmnopq”)
substr(x, c(2, 4), c(4, 5, 8))
substring(x, c(2, 4), c(4, 5, 8))
用substring函数可以很方便地把DNA/RNA序列进行三联拆分（用于蛋白质翻译）：
bases <- c(“A”, “T”, “G”, “C”)
DNA <- paste(sample(bases, 12, replace = T), collapse = “”)
DNA
substring(DNA, seq(1, 10, by = 3), seq(3, 12, by = 3))
用regexpr、gregexpr或regexec函数获得位置信息后再进行字符串提取的操作可以自己试试看。
8 其他：
8.1 strtrim函数
用于将字符串修剪到特定的显示宽度，其用法为strtrim(x, width)，返回字符串向量的长度等于x的长度。因为是“修剪”，所以只能去掉多余的字符不能增加其他额外的字符：如果字符串本身的长度小于width，得到的是原字符串，别指望它会用空格或其他什么字符补齐：
strtrim(c(“abcdef”, “abcdef”, “abcdef”), c(1, 5, 10))
strtrim(c(1, 123, 1234567), 4)
8.2 strwrap函数
该函数把一个字符串当成一个段落的文字（不管字符串中是否有换行符），按照段落的格式（缩进和长度）和断字方式进行分行，每一行是结果中的一个字符串。例如：
str1 <- “Each character string in the input is first split into paragraphs\n(or lines containing whitespace only).
The paragraphs are then\nformatted by breaking lines at word boundaries.
The target\ncolumns for wrapping lines and the indentation of the first and\nall subsequent lines of a paragraph can be controlled\nindependently.”
str2 <- rep(str1, 2)
strwrap(str2, width = 80, indent = 2)
[1] " Each character string in the input is first split into paragraphs (or lines"
[2] “containing whitespace only). The paragraphs are then formatted by breaking”
[3] “lines at word boundaries. The target columns for wrapping lines and the”
[4] “indentation of the first and all subsequent lines of a paragraph can be”
[5] “controlled independently.”
[6] " Each character string in the input is first split into paragraphs (or lines"
[7] “containing whitespace only). The paragraphs are then formatted by breaking”
[8] “lines at word boundaries. The target columns for wrapping lines and the”
[9] “indentation of the first and all subsequent lines of a paragraph can be”
[10] “controlled independently.”
simplify参数用于指定结果的返回样式，默认为TRUE，即结果中所有的字符串都按顺序放在一个字符串向量中（如上）；如果为FALSE，那么结果将是列表。另外一个参数exdent用于指定除第一行以外的行缩进：
strwrap(str1, width = 80, indent = 0, exdent = 2)
[1] “Each character string in the input is first split into paragraphs (or lines”
[2] " containing whitespace only). The paragraphs are then formatted by breaking"
[3] " lines at word boundaries. The target columns for wrapping lines and the"
[4] " indentation of the first and all subsequent lines of a paragraph can be"
[5] " controlled independently."
8.3 match和charmatch
match(“xx”, c(“abc”, “xx”, “xxx”, “xx”))
match(2, c(3, 1, 2, 4))
charmatch(“xx”, “xx”)
charmatch(“xx”, “xxa”)
charmatch(“xx”, “axx”)
match按向量进行运算，返回第一次匹配的元素的位置（如果有），非字符向量也可用。charmatch函数真坑爹。其他不看了，其实有正则表达式就足够。
END
有问题，欢迎留言。
每日更新(sql,R,python,databricks,sqlserver),感谢关注！！！
百家号更加精彩---ID：SL1谈数据分析
---------------------------------------------------------------------------------------------
