第二章 创建数据集

本章内容：探索R中的数据结构、输入数据、导入数据、标注数据

2.1 数据集的概念

数据集通常是由数据构成的一个矩形数组，行表示观测，列表示变量。

不同的行业对于数据集的行和列叫法不同。统计学家称它们为观测（observation）和变量（variable），数据库分析师则称其为记录（record）和字段（field），数据挖掘/机器学习学科的研究者则把它们叫做示例（example）和属性（attribute）。

R可以处理的数据类型（模式）包括数值型、字符型、逻辑型（TRUE/FALSE）、复数型（虚数）和原生型（字节）。

R将实例标识符称为行名（rownames），将类别型（包括名义型和有序型）变量称为因子（factors）。

2.2 数据结构

对象（object）是指可以赋值给变量的任何事物，包括常量、数据结构、函数，甚至图形。对象都拥有某种模式，描述了此对象是如何存储的，以及某个类，像print这样的泛型函数表明如何处理此对象。

数据框（data frame）是R中用于存储数据的一种结构：列表示变量，行表示观测。在同一个数据框中可以存储不同类型（如数值型、字符型）的变量。数据框将是你用来存储数据集的主要数据结构。

因子（factor）是名义型变量或有序型变量。它们在R中被特殊地存储和处理。你将在2.2.5节中学习因子的处理。

image.png

2.2.1 向量

向量是用于存储数值型、字符型或逻辑型数据的一维数组。执行组合功能的函数c()可用来创建向量。

> a <- c(1,2,5,3,6,-2,4)
> b <- c("one ","two","three")
> c <- c(TRUE,TRUE,TRUE,FALSE,TRUE,FALSE)
> a[3]
[1] 5
> a[c(1,3,5)]
[1] 1 5 6
> a [2:6]
[1]  2  5  3  6 -2
> 

a是数值型向量，b是字符型向量，而c是逻辑型向量
单个向量中的数据必须拥有相同的类型或模式（数值型、字符型或逻辑型）。

2.2.2 矩阵

矩阵是一个二维数组，只是每个元素都拥有相同的模式（数值型、字符型或逻辑型）。

可通过函数 matrix() 创建矩阵。

一般使用格式为：

```mymatrix <- matrix(vector,nrow=number_of_rows,ncol=number_of_colums,byrow=logical_value,dimnames=list(char_vector_rownames,char_vector_colnames))`

格式解析：vector包含了矩阵的元素，nrow和ncol用以指定行和列的维数，dimnames包含了可选的、以字符型向量表示的行名和列名。选项byrow则表明矩阵应当按行填充（byrow=TRUE）还是按列填充（byrow=FALSE），默认情况下按列填充。

创建矩阵

y <-matrix(1:20,nrow=5,ncol=4)
y
[,1] [,2] [,3] [,4]
[1,] 1 6 11 16
[2,] 2 7 12 17
[3,] 3 8 13 18
[4,] 4 9 14 19
[5,] 5 10 15 20
cells <- c(1,26,24,68)
rnames <- c("R1","R2")
cnames <- c("C1","C2")
mymatrix <-matrix(cells,nrow=2,ncol=2,byrow=TRUE,dimnames=list(rnames,cnames))
mymatrix
C1 C2
R1 1 26
R2 24 68
mymatrix <- matrix(cells,nrow=2,ncol=2,byrow=FALSE,dimnames=list(rnames,cnames))
mymatrix
C1 C2
R1 1 24
R2 26 68
矩阵下标的使用
x <- matrix(1:10,nrow=2)
x
[,1] [,2] [,3] [,4] [,5]
[1,] 1 3 5 7 9
[2,] 2 4 6 8 10
x[2,]
[1] 2 4 6 8 10
x[,2]
[1] 3 4
x[1,4]
[1] 7
x[1,c(4,5)]
[1] 7 9

解析：
1.我们创建了一个内容为数字1到10的2×5矩阵。默认情况下，矩阵按列填充。
2.我们分别选择了第二行和第二列的元素。
3.又选择了第一行第四列的元素。
4.最后选择了位于第一行第四、第五列的元素。

2.2.3数组

数组（array）与矩阵类似，但是维度可以大于2。

数组可通过array函数创建，形式如下：

myarray <- array(vector,dimensions,dimnames)

解析：其中vector包含了数组中的数据，dimensions是一个数值型向量，给出了各个维度下标的最大值，而dimnames是可选的、各维度名称标签的列表。

>创建一个数组
> dim1 <- c("A1","A2")
> dim2 <- c("B1","B2","B3")
> dim3 <- c("C1","C2","C3","C4")
> z <- array(1:24,c(2,3,4),dimnames=list(dim1,dim2,dim3))
> z
, , C1
​
 B1 B2 B3
A1  1  3  5
A2  2  4  6
​
, , C2
​
 B1 B2 B3
A1  7  9 11
A2  8 10 12
​
, , C3
​
 B1 B2 B3
A1 13 15 17
A2 14 16 18
​
, , C4
​
 B1 B2 B3
A1 19 21 23
A2 20 22 24

三维立体结构，不咋用。

2.2.4 数据框

由于不同的列可以包含不同模式（数值型、字符型等）的数据，数据框的概念较矩阵来说更为一般。它与你通常在SAS、SPSS和Stata中看到的数据集类似。数据框将是你在R中最常处理的数据结构。

数据框可通过函数data.frame()创建：

mydata <- data.frame(col1,col2,col3,...)

解析：其中的列向量col1, col2, col3,… 可为任何类型（如字符型、数值型或逻辑型）。每一列的名称可由函数names指定。

>#创建一个数据框
> patientID <- c(1,2,3,4)
> age <- c(25,34,28,52)
> diabetes <- c("Type1","Type2","Type1","Type1")
> status <- c("Poor","Improved","Excellent","Poor")
> patientdata <- data.frame(patientID,age,diabetes,status)
> patientdata
 patientID age diabetes    status
1         1  25    Type1      Poor
2         2  34    Type2  Improved
3         3  28    Type1 Excellent
4         4  52    Type1      Poor

选取数据框中的元素

patientdata[1:2]
patientID age
1 1 25
2 2 34
3 3 28
4 4 52

> patientdata[c("diabetes","status")]
 diabetes    status
1    Type1      Poor
2    Type2  Improved
3    Type1 Excellent
4    Type1      Poor
> patientdata$age
[1] 25 34 28 52

它被用来选取一个给定数据框中的某个特定变量。

> table(patientdata$diabetes,patientdata$status)

Excellent Improved Poor
Type1 1 0 2
Type2 0 1 0

在每个变量名前都键入一次patientdata$可能会让人生厌，所以不妨走一些捷径。可以联合使用函数attach()和detach()或单独使用函数with()来简化代码。</pre>

在每个变量名前都键入一次patientdata$可能会让人生厌，所以不妨走一些捷径。可以联合使用函数attach()和detach()或单独使用函数with()来简化代码。

1. attach() detach() with()

函数attach()可将数据框添加到R的搜索路径中。

R在遇到一个变量名以后，将检查搜索路径中的数据框，以定位到这个变量。

以第1章中的mtcars数据框为例，可以使用以下代码获取每加仑行驶英里数（mpg）变量的描述性统计量，并分别绘制此变量与发动机排量（disp）和车身重量（wt）的散点图：

> summary(mtcars$cars)
Length  Class   Mode 
 0   NULL   NULL 
> plot(mtcars$mpg,mtcars$disp)
> plot(mtcars$mpg,mtcars$wt)
或者:
> attach(mtcars)
> summary(mpg)
> summary(mpg)
 Min. 1st Qu.  Median    Mean 3rd Qu. 
 10.40   15.43   19.20   20.09   22.80 
 Max. 
 33.90 
> plot(mpg,disp)
> plot(mpg,wt)
> detach(mtcars)
#函数detach()将数据框从搜索路径中移除。
或者
with(mtcars,{summary(mpg,disp,wt)
+ plot(mpg,disp)
+ plot(mpg,wt)
+ })
#函数with()的局限性在于，赋值仅在此函数的括号内生效。
> with(mtcars,{
+ stats <- summary(mpg)
+ stats
+ })
 Min. 1st Qu.  Median    Mean 3rd Qu. 
 10.40   15.43   19.20   20.09   22.80 
 Max. 
 33.90 
> stats 

错误: 找不到对象'stats'
如果你需要创建在with()结构以外存在的对象，使用特殊赋值符<<-替代标准赋值符（<-）即可，它可将对象保存到with()之外的全局环境中。
相对于attach()，多数的R书籍更推荐使用with()。个人认为从根本上说，选择哪一个是
自己的偏好问题，并且应当根据你的目的和对于这两个函数含义的理解而定。</pre>

2. 实例标识符

在病例数据中，病人编号（patientID）用于区分数据集中不同的个体。在R中，实例标识符（case identifier）可通过数据框操作函数中的rowname选项指定。

patientdata <- data.frame(patientID,age,diabetes,status,row.names=patientID)

例如，语句：将patientID指定为R中标记各类打印输出和图形中实例名称所用的变量。

2.2.5 因子

变量可归结为名义型、有序型或连续型变量.

名义型变量是没有顺序之分的类别变量。

有序型变量表示一种顺序关系，而非数量关系。

类别（名义型）变量和有序类别（有序型）变量在R中称为因子（factor）。

函数factor()以一个整数向量的形式存储类别值，整数的取值范围是[1... k ]（其中k 是名义型变量中唯一值的个数），同时一个由字符串（原始值）组成的内部向量将映射到这些整数上。

因子的使用
patientID <- c(1,2,3,4)
age <- c(25,34,28,52)
diabetes <- c("Type1","Type2","Type1","Type1")
status <- c("Poor","Improved","Excellent","Poor")
diabetes <- factor(diabetes)
ststus <- factor(status,order=TRUE)
patientdata <- data.frame(patientID,age,diabetes,status)
str(patientdata)
'data.frame': 4 obs. of 4 variables:

age : num 25 34 28 52
status : Factor w/ 3 levels "Excellent","Improved",..: 3 2 1 3

summary(patientdata)
patientID age diabetes
Min. :1.00 Min. :25.00 Type1:3
1st Qu.:1.75 1st Qu.:27.25 Type2:1
Median :2.50 Median :31.00
Mean :2.50 Mean :34.75
3rd Qu.:3.25 3rd Qu.:38.50
Max. :4.00 Max. :52.00
status
Excellent:1
Improved :1
Poor :2
</pre>

2.2.6 列表

列表（list）是R的数据类型中最为复杂的一种。一般来说，列表就是一些对象（或成分，component）的有序集合。

列表允许你整合若干（可能无关的）对象到单个对象名下。例如，某个列表中可能是若干向量、矩阵、数据框，甚至其他列表的组合。

可以使用函数list()创建列表：

mylist <- list(object1,object2,...)

或者:

mylist <- list(name1=object1,name2=object2,...)

创建一个列表
g <- "My First List"
h <- c(25,26,18,39)
j <- matrix(1:10,nrow=5)
k <- c("one","two","three")
mylist <- list(title=g,ages=h,j,k)
mylist
ages
[1] 25 26 18 39
​
[[3]]
[,1] [,2]
[1,] 1 6
[2,] 2 7
[3,] 3 8
[4,] 4 9
[5,] 5 10
​

[[4]]
[1] "one" "two" "three"
​

mylist[[2]]
[1] 25 26 18 39
mylist[["ages"]]
[1] 25 26 18 39

解析:
本例创建了一个列表，其中有四个成分：一个字符串、一个数值型向量、一个矩阵以及一个字符型向量。

注意事项:

1. 对象名称中的句点（.）没有特殊意义。但美元符号（x是指数据框A中的变量x。

2. R不提供多行注释或块注释功能。你必须以#作为多行注释每行的开始。出于调试目的，你也可以把想让解释器忽略的代码放到语句if(FALSE){... }中。将FALSE改为TRUE 即允许这块代码执行。

3. 将一个值赋给某个向量、矩阵、数组或列表中一个不存在的元素时，R将自动扩展这个数据结构以容纳新值。

   x <- c(7,6,4)
   x[7] <- 10
   x
   [1] 7 6 4 NA NA NA 10

通过赋值，向量x由三个元素扩展到了七个元素。
x <- x[1:3]会重新将其缩减回三个元素。</pre>

4.R中没有标量。标量以单元素向量的形式出现。

5.  R中的下标不从0开始，而从1开始。在上述向量中，x[1]的值为8。

6.  变量无法被声明。它们在首次被赋值时生成。

    了解更多:参阅[John Cook的优秀博文“R programming for those coming from other languages”](www.johndcook.com/Rlanguagefor_programmers.html)

    正在寻找编码风格指南的程序员不妨看看[“Google’R Style Guide”](http://googlestyleguide.googlecode.com/svn/trunk/google-r-style.html)

2.3 数据的输入

如图2-2所示，R可从键盘、文本文件、Microsoft Excel和Access、流行的统计软件、特殊格式的文件，以及多种关系型数据库中导入数据。由于我们无从得知你的数据将来自何处，故会在下文论及各种数据源。读者按需参阅即可。

image.png

2.3.1 使用键盘输入数据

R中的函数edit()会自动调用一个允许手动输入数据的文本编辑器。具体步骤如下：

(1) 创建一个空数据框（或矩阵），其中变量名和变量的模式需与理想中的最终数据集一致；

(2) 针对这个数据对象调用文本编辑器，输入你的数据，并将结果保存回此数据对象中。在下例中，你将创建一个名为mydata的数据框，它含有三个变量：age（数值型）、gender（字符型）和weight（数值型）。然后你将调用文本编辑器，键入数据，最后保存结果。

> mydata <- data.frame(age=numeric(0),
+ gender=character(0),weight=numeric(0))
> mydata <- edit(mydata)</pre>

2.3.2 从带分隔符的文本文件导入数据

使用read.table()从带分隔符的文本文件中导入数据。

mydataframe <-read.table(file,header=logical_value,sep="delimiter",row.names="name")

logical（逻辑型）、numeric（数值型）、character（字符型）、factor（因子）

2.3.3 导入Excel数据

读取一个Excel文件的最好方式，就是在Excel中将其导出为一个逗号分隔文件（csv），并使用前文描述的方式将其导入R中。

在Windows系统中，你也可以使用RODBC包来访问Excel文件。电子表格的第一行应当包含变量/列的名称。

mydataframe <- read.xlsx(workbook,1)

2.3.4 导入XML数据

以XML格式编码的数据正在逐渐增多。R中有若干用于处理XML文件的包。例如，由Duncan Temple Lang编写的XML包允许用户读取、写入和操作XML文件。XML格式本身已经超出了本书的范围。对使用R存取XML文档感兴趣的读者可以参阅www.omegahat.org/RSXML，从中可以找到若干份优秀的软件包文档。

2.3.5 从网页抓取数据

在Web数据抓取（Webscraping）的过程中，用户从互联网上提取嵌入在网页中的信息，并将其保存为R中的数据结构以做进一步的分析。

完成这个任务的一种途径是使用函数readLines()下载网页，然后使用如grep()和gsub()一类的函数处理它。对于结构复杂的网页，可以使用RCurl包和XML包来提取其中想要的信息。更多信息和示例，请参考可在网站Programming with R上找到的“Webscraping using readLines and RCurl”一文。

2.3.6 导入SPSS数据

SPSS数据集可以通过foreign包中的函数read.spss()导入到R中，也可以使用Hmisc包中的spss.get()函数。

函数spss.get()是对read. spss()的一个封装，它可以为你自动设置后者的许多参数，让整个转换过程更加简单一致，最后得到数据分析人员所期望的结果。

> install.packages("Hmisc")
> mydataframe <- spss.get("mydata.sav",use,value.labels=TRUE)
解析：
mydata.sav是要导入的SPSS数据文件，use.value.labels=TRUE表示让函数将带有值标签的变量导入为R中水平对应相同的因子，mydataframe是导入后的R数据框。

2.3.7 导入SAS数据

使用不多，略

2.3.8 导入Stata数据

要将Stata数据导入R中非常简单直接。所需代码类似于：

> library(foreign)
> mydataframe <- read.dta("mydata.dta")

这里，mydata.dta是Stata数据集，mydataframe是返回的R数据框。

2.3.9 导入netCDF数据

Unidata项目主导的开源软件库netCDF（network Common Data Form，网络通用数据格式）定义了一种机器无关的数据格式，可用于创建和分发面向数组的科学数据。netCDF格式通常用来存储地球物理数据。ncdf包和ncdf4包为netCDF文件提供了高层的R接口。

ncdf包为通过Unidata的netCDF库（版本3或更早）创建的数据文件提供了支持，而且在Windows、Mac OS X和Linux上均可使用。ncdf4包支持netCDF 4或更早的版本，但在Windows上尚不可用。

image.png

2.3.10 导入HDF5数据

HDF5（Hierarchical Data Format，分层数据格式）是一套用于管理超大型和结构极端复杂数据集的软件技术方案。hdf5包能够以那些理解HDF5格式的软件可以读取的格式，将R对象写入到一个文件中。

2.3.11 访问数据库管理系统

R中有多种面向关系型数据库管理系统（DBMS）的接口，包括Microsoft SQL Server、Microsoft Access、MySQL、Oracle、PostgreSQL、DB2、Sybase、Teradata以及SQLite。

使用R来访问存储在外部数据库中的数据是一种分析大数据集的有效手段（参见附录G），并且能够发挥SQL和R各自的优势。

1.ODBC接口

第一步：安装驱动，安装针对系统和数据库类型安装和配置合适的ODBC驱动。

第二步：install.packages("ODBC")

第三步：加载包

RODBC的主要函数：

RODBC包允许R和一个通过ODBC连接的SQL数据库之间进行双向通信。这就意味着你不仅可以读取数据库中的数据到R中，同时也可以使用R修改数据库中的内容。

2.DBI相关包

DBI包为访问数据库提供了一个通用且一致的客户端接口。构建于这个框架之上的RJDBC包提供了通过JDBC驱动访问数据库的方案。使用时请确保安装了针对你的系统和数据库的必要JDBC驱动。其他有用的、基于DBI的包有RMySQL、ROracle、RPostgreSQL和RSQLite。这些包都为对应的数据库提供了原生的数据库驱动，但可能不是在所有系统上都可用。详情请参阅CRAN上的相应文档。

2.3.12 通过Stat/Transfer导入数据

在我们结束数据导入的讨论之前，值得提到一款能让上述任务的难度显著降低的商业软件。Stat/Transfer（www.stattransfer.com）是一款可在34种数据格式之间作转换的独立应用程序，其中包括R中的数据格式（见图2-4）。

image.png

2.4 数据集的标注

为了使结果更易解读，数据分析人员通常会对数据集进行标注。通常这种标注包括为变量名添加描述性的标签，以及为类别型变量中的编码添加值标签。例如，对于变量age，你可能想附加一个描述更详细的标签“Age at hospitalization (in years)”（入院年龄）。对于编码为1或2的性别变量gender，你可能想将其关联到标签“male”和“female”上。

2.4.1 变量标签

遗憾的是，R处理变量标签的能力有限。一种解决方法是将变量标签作为变量名，然后通过位置下标来访问这个变量。考虑之前病例数据框的例子。名为age的第二列包含着个体首次入院时的年龄。

代码： name(patientdata)[2]<-"Age at hosptialization (in years)"

缺点：新的变量名称太长，不适合重复输入。

升级：恶意使用patientdata[2] 来引用这个变量，而在本应输出age的地方输出字符串“Age at hospitalization (in years)" 。但同样不理想！

2.4.2 值标签

函数factor()可为类别变量创建值标签。继续上例，假设你有一个名为gender的变量，其中1表示男性，2表示女性。

你可以使用代码：

> patientdata$gender <- factor(patientdata$gender)
 levels=c(1,2),
 labels=c("male","female")

来创建值标签，这里的levles代表变量的实际值，而labels表示包含了理想值标签的字符型向量。

2.5 处理数据对象的实用函数

处理数据对象的实用函数