一、数据的读取与导出
①. 读取数据:txt、csv和xlsx文件
· 速度最慢
options(stringsAsFactors=FALSE) ## 防止把字符串转化成因子型变量
data <- read.table("iris.txt",sep="\t",header = T) ## 读取txt文件
data <- read.csv("iris.csv",sep=",",header = T) ## 读取csv文件
# install.packages("readxl");library(readxl)
data <- readxl::read_xlsx("iris.xlsx",sheet = 1) ## 读取xlsx文件
· 中等速度
library(readr)
data <- read_tsv("iris.txt") ## 读取txt文件
data <- read_csv("iris.csv") ## 读取csv文件
data <- read_delim("iris.txt",delim = "\t") ## 读取txt文件
data <- read_delim("iris.csv",delim = ",") ## 读取csv文件
· 速度最快
library(data.table)
data <- data.table::fread("iris.txt") ## 读取txt文件
data <- data.table::fread("iris.csv") ## 读取csv文件
②. 数据导出：导出为txt、csv和xlsx文件
write.table(data ,"iris_new.txt",sep="\t",row.names = F) ## 导出txt文件
write.table(data ,"iris_new.csv",sep=",",row.names = F) ## 导出csv文件
write.csv(data ,"iris_new.csv") ## 导出csv文件
# install.packages("openxlsx");library(openxlsx)
write.xlsx(data ,"iris_new.xlsx",sheetName="iris") ## 导出xlsx文件
③. 环境变量的导出与读取
saveRDS(data,"iris.rds")
save(data,file="iris.Rdata")
data <- readRDS("iris.rds")
二、dplyr清洗数据
· 本文章所使用的Iris数据集（鸢尾花数据集），是机器学习任务中常用的分类实验数据集，由Fisher在1936收集整理。
· Iris一共包含150个样本，分为3类，每类50个数据，每个数据包含4个属性。
· 可通过花萼长度，花萼宽度，花瓣长度，花瓣宽度4个特征预测鸢尾花卉属于山鸢尾（Setosa）、变色鸢尾（Versicolour）还是维吉尼亚鸢尾（Virginica）中的哪一类。
> head(iris,10) # 查看数据集前10行
Sepal.Length Sepal.Width Petal.Length Petal.Width Species
1 5.1 3.5 1.4 0.2 setosa
2 4.9 3.0 1.4 0.2 setosa
3 4.7 3.2 1.3 0.2 setosa
4 4.6 3.1 1.5 0.2 setosa
5 5.0 3.6 1.4 0.2 setosa
6 5.4 3.9 1.7 0.4 setosa
7 4.6 3.4 1.4 0.3 setosa
8 5.0 3.4 1.5 0.2 setosa
9 4.4 2.9 1.4 0.2 setosa
10 4.9 3.1 1.5 0.1 setosa
install.packages("dplyr") # dplyr包安装
· dplyr是一个很方便的用来清洗数据的R包；
· 我们主要掌握它的6个函数，足以应付大部分的需求：filter()、arrange()、select()、mutate()、summarize()和group_by()；
①. filter()
· 筛选花萼长度＞5，宽度>3.5且物种为山鸢尾的行
> dplyr::filter(iris,Species=="setosa",Sepal.Length>5,Sepal.Width>3.5)
Sepal.Length Sepal.Width Petal.Length Petal.Width Species
1 5.4 3.9 1.7 0.4 setosa
2 5.4 3.7 1.5 0.2 setosa
3 5.8 4.0 1.2 0.2 setosa
4 5.7 4.4 1.5 0.4 setosa
5 5.4 3.9 1.3 0.4 setosa
6 5.7 3.8 1.7 0.3 setosa
7 5.1 3.8 1.5 0.3 setosa
8 5.1 3.7 1.5 0.4 setosa
9 5.2 4.1 1.5 0.1 setosa
10 5.5 4.2 1.4 0.2 setosa
11 5.1 3.8 1.9 0.4 setosa
12 5.1 3.8 1.6 0.2 setosa
13 5.3 3.7 1.5 0.2 setosa
· 筛选花萼长度＞5且物种为山鸢尾，或花萼宽度>3.5且物种为山鸢尾的行
dplyr::filter(iris,Species=="setosa",Sepal.Length>5|Sepal.Width>3.5)
Sepal.Length Sepal.Width Petal.Length Petal.Width Species
1 5.1 3.5 1.4 0.2 setosa
2 5.0 3.6 1.4 0.2 setosa
3 5.4 3.9 1.7 0.4 setosa
4 5.4 3.7 1.5 0.2 setosa
5 5.8 4.0 1.2 0.2 setosa
6 5.7 4.4 1.5 0.4 setosa
7 5.4 3.9 1.3 0.4 setosa
8 5.1 3.5 1.4 0.3 setosa
9 5.7 3.8 1.7 0.3 setosa
10 5.1 3.8 1.5 0.3 setosa
11 5.4 3.4 1.7 0.2 setosa
12 5.1 3.7 1.5 0.4 setosa
13 4.6 3.6 1.0 0.2 setosa
14 5.1 3.3 1.7 0.5 setosa
15 5.2 3.5 1.5 0.2 setosa
16 5.2 3.4 1.4 0.2 setosa
17 5.4 3.4 1.5 0.4 setosa
18 5.2 4.1 1.5 0.1 setosa
19 5.5 4.2 1.4 0.2 setosa
20 5.5 3.5 1.3 0.2 setosa
21 4.9 3.6 1.4 0.1 setosa
22 5.1 3.4 1.5 0.2 setosa
23 5.1 3.8 1.9 0.4 setosa
24 5.1 3.8 1.6 0.2 setosa
25 5.3 3.7 1.5 0.2 setosa
②. arrange()
· 按列排序，默认是升序。我们可以通过参数desc()来使它降序
· 我们按花瓣长度Petal.Length排序
> head(dplyr::arrange(iris,desc(Petal.Length)),5)
Sepal.Length Sepal.Width Petal.Length Petal.Width Species
1 7.7 2.6 6.9 2.3 virginica
2 7.7 3.8 6.7 2.2 virginica
3 7.7 2.8 6.7 2.0 virginica
4 7.6 3.0 6.6 2.1 virginica
5 7.9 3.8 6.4 2.0 virginica
> head(dplyr::arrange(iris,Petal.Length),5)
Sepal.Length Sepal.Width Petal.Length Petal.Width Species
1 4.6 3.6 1.0 0.2 setosa
2 4.3 3.0 1.1 0.1 setosa
3 5.8 4.0 1.2 0.2 setosa
4 5.0 3.2 1.2 0.2 setosa
5 4.7 3.2 1.3 0.2 setosa
③. select()
· 选择我们需要的列，例如我们只希望保留花瓣长度Petal.Length、花瓣宽度 Petal.Width和物种Species的信息
> head(dplyr::select(iris,Petal.Length,Petal.Width,Species),5)
Petal.Length Petal.Width Species
1 1.4 0.2 setosa
2 1.4 0.2 setosa
3 1.3 0.2 setosa
4 1.5 0.2 setosa
5 1.4 0.2 setosa
· 剔除我们不需要的列，例如我们只希望保留花瓣长度Petal.Length、花瓣宽度 Petal.Width和物种Species的信息，那我们可以剔除花萼长度Sepal.Length和花萼宽度epal.Width
> head(dplyr::select(iris,-Sepal.Length,-Sepal.Width),5)
Petal.Length Petal.Width Species
1 1.4 0.2 setosa
2 1.4 0.2 setosa
3 1.3 0.2 setosa
4 1.5 0.2 setosa
5 1.4 0.2 setosa
④. mutate()
· 使用mutate()可以往数据集里面添加新的列
· 我们往iris数据集里面添加两个新列，分别是花萼长宽比Sepal.prop和花瓣长宽比Petal..prop
>head(dplyr::mutate(iris,Sepal.prop=Sepal.Length/Sepal.Width,
Petal.prop=Petal.Length/Petal.Width),5)
Sepal.Length Sepal.Width Petal.Length Petal.Width Species Sepal.prop Petal.prop
1 5.1 3.5 1.4 0.2 setosa 1.457143 7.0
2 4.9 3.0 1.4 0.2 setosa 1.633333 7.0
3 4.7 3.2 1.3 0.2 setosa 1.468750 6.5
4 4.6 3.1 1.5 0.2 setosa 1.483871 7.5
5 5.0 3.6 1.4 0.2 setosa 1.388889 7.0
⑤. summarize()
· summarize()和mutate()一样可以产生新变量，但summarize()不能保留原来的变量；
> head(dplyr::summarize(iris,Sepal.prop=Sepal.Length/Sepal.Width,
+ Petal.prop=Petal.Length/Petal.Width),5)
Sepal.prop Petal.prop
1 1.457143 7.0
2 1.633333 7.0
3 1.468750 6.5
4 1.483871 7.5
5 1.388889 7.0
· summarize()更多的适用于摘要统计，即可以把许多行压缩成一行。而mutate()无法做到这一点；
>head(dplyr::summarize(iris,Sepal.Length.mean=mean(Sepal.Length)),5)
Sepal.Length.mean
1 5.843333
> head(dplyr::mutate(iris,Sepal.Length.mean=mean(Sepal.Length)),5)
Sepal.Length Sepal.Width Petal.Length Petal.Width Species Sepal.Length.mean
1 5.1 3.5 1.4 0.2 setosa 5.843333
2 4.9 3.0 1.4 0.2 setosa 5.843333
3 4.7 3.2 1.3 0.2 setosa 5.843333
4 4.6 3.1 1.5 0.2 setosa 5.843333
5 5.0 3.6 1.4 0.2 setosa 5.843333
⑥. group_by()
· group_by()可以按组操作
· group_by()只有和管道符(%>% )或者summarize()结合起来，才能达到最佳的效果
· 例如，计算不同物种花萼长度的平均值
> iris %>% group_by(Species) %>% summarize(Sepal.Length.mean=mean(Sepal.Length))
# A tibble: 3 x 2
Species Sepal.Length.mean
* <fct> <dbl>
1 setosa 5.01
2 versicolor 5.94
3 virginica 6.59
· 同样是计算不同物种花萼长度的平均值，mutate()无法将许多行压缩成一行
> iris %>% group_by(Species) %>% mutate(Sepal.Length.mean=mean(Sepal.Length))
# A tibble: 150 x 6
# Groups: Species [3]
Sepal.Length Sepal.Width Petal.Length Petal.Width Species Sepal.Length.mean
<dbl> <dbl> <dbl> <dbl> <fct> <dbl>
1 5.1 3.5 1.4 0.2 setosa 5.01
2 4.9 3 1.4 0.2 setosa 5.01
3 4.7 3.2 1.3 0.2 setosa 5.01
4 4.6 3.1 1.5 0.2 setosa 5.01
5 5 3.6 1.4 0.2 setosa 5.01
6 5.4 3.9 1.7 0.4 setosa 5.01
7 4.6 3.4 1.4 0.3 setosa 5.01
8 5 3.4 1.5 0.2 setosa 5.01
9 4.4 2.9 1.4 0.2 setosa 5.01
10 4.9 3.1 1.5 0.1 setosa 5.01
# … with 140 more rows
⑦. 总结：
· 把这6个函数都用上
iris %>%
select(Sepal.Length,Petal.Length,Species) %>%
filter(Sepal.Length>1,Petal.Length>1) %>%
mutate(mean.Length=(Sepal.Length+Petal.Length)/2) %>%
group_by(Species) %>%
summarise(Length=mean(mean.Length))
# A tibble: 3 x 2
Species Length
* <fct> <dbl>
1 setosa 3.24
2 versicolor 5.10
3 virginica 6.07
三、表格操作
①. 表格的变换
· gather()函数可以把宽数据变成长数据
> df <- data.frame(x=c("A","B","C"),'2010'=c(1,3,4),'2011'=c(3,5,2))
> colnames(df) <- c("name","2010","2011")
> df
name 2010 2011
1 A 1 3
2 B 3 5
3 C 4 2
> gather(df,year,value,-name)
name year value
1 A 2010 1
2 B 2010 3
3 C 2010 4
4 A 2011 3
5 B 2011 5
6 C 2011 2
> gather(df,year,value)
year value
1 name A
2 name B
3 name C
4 2010 1
5 2010 3
6 2010 4
7 2011 3
8 2011 5
9 2011 2
· spread()函数可以把长数据变成宽数据
> df <- data.frame(x=c("A","B","C"),'2010'=c(1,3,4),'2011'=c(3,5,2))
> colnames(df) <- c("name","2010","2011")
> df <- gather(df,year,value,-name)
> df
name year value
1 A 2010 1
2 B 2010 3
3 C 2010 4
4 A 2011 3
5 B 2011 5
6 C 2011 2
> df <- spread(df,year,value)
> df
name 2010 2011
1 A 1 3
2 B 3 5
3 C 4 2
②. 表格的拼接
· cbind()函数纵向拼接
· rbind()函数纵向拼接
> df1 <- data.frame(x=c("a","b","c"),y=1:3)
> df2 <- data.frame(z=c("A","b","c"),y=c(3,6,9))
> cbind(df1,df2)
x y z y
1 a 1 A 3
2 b 2 b 6
3 c 3 c 9
> rbind(df1,df2)
Error in match.names(clabs, names(xi)) :
names do not match previous names
> colnames(df2)[1] <- "x"
> rbind(df1,df2)
x y
1 a 1
2 b 2
3 c 3
4 A 3
5 b 6
6 c 9
③. 表格的合并
· merge()函数
> df1 <- data.frame(x=c("a","b","c"),y=1:3)
> df2 <- data.frame(z=c("A","b","c"),y=c(3,6,9))
> merge(df1,df2,by.x = "x",by.y = "z")
x y.x y.y
1 b 2 6
2 c 3 9
> merge(df1,df2,by.x = "x",by.y = "z",all = T)
x y.x y.y
1 a 1 NA
2 A NA 3
3 b 2 6
4 c 3 9
· left_join函数、right_join函数、inner_join函数和full_join函数
· left_join函数只保留左表的所有数据
> df1 <- data.frame(x=c("a","b","c"),y=1:3)
> df2 <- data.frame(z=c("A","b","c"),y=c(3,6,9))
> left_join(df1,df2)
Joining, by = "y"
x y z
1 a 1 <NA>
2 b 2 <NA>
3 c 3 A
> ?left_join
> left_join(df1,df2,by=c("x"="z"))
x y.x y.y
1 a 1 NA
2 b 2 6
3 c 3 9
· right_join函数只保留右表的所有数据
> df1 <- data.frame(x=c("a","b","c"),y=1:3)
> df2 <- data.frame(z=c("A","b","c"),y=c(3,6,9))
> right_join(df1,df2,by=c("x"="z"))
x y.x y.y
1 b 2 6
2 c 3 9
3 A NA 3
· inner_join函数只保留所有表的公共数据
> df1 <- data.frame(x=c("a","b","c"),y=1:3)
> df2 <- data.frame(z=c("A","b","c"),y=c(3,6,9))
> inner_join(df1,df2)
Joining, by = "y"
x y z
1 c 3 A
> inner_join(df1,df2,by=c("x"="z"))
x y.x y.y
1 b 2 6
2 c 3 9
· full_join函数保留所有表的公共数据
> df1 <- data.frame(x=c("a","b","c"),y=1:3)
> df2 <- data.frame(z=c("A","b","c"),y=c(3,6,9))
> full_join(df1,df2)
Joining, by = "y"
x y z
1 a 1 <NA>
2 b 2 <NA>
3 c 3 A
4 <NA> 6 b
5 <NA> 9 c
> full_join(df1,df2,by=c("x"="z"))
x y.x y.y
1 a 1 NA
2 b 2 6
3 c 3 9
4 A NA 3
