本内容为【科研私家菜】R语言机器学习与临床预测模型系列课程
你想要的R语言学习资料都在这里， 快来收藏关注【科研私家菜】
01 预测模型中的缺失值
预测模型构建的数据处理过程中，往往会存在缺失值，对于缺失值的处理，目前各大统计书提出的方法有剔除，用均数填补，用众数填补，采用其他自变量进行回归，推算缺失值进行填补等。
1.1 特定值替换缺失值
FillNA <- function(x){
x[is.na(x )]<- 0;
x
}
1.2 使用均值，众数，中位数进行填补
library(data.table)
library(dplyr)
library(tidyverse)
#data.table
setDT(data)
data[,names(data):=lapply(.SD,function(x){x[is.na(x)] <- getmode(x)
x})]
#dplyr
data %>%
mutate_all(function(x){x[is.na(x)] <- getmode(x)
x})
dplyr_if_else <- function(x) { mutate_all(x, ~if_else(is.na(.), 0, .)) }
#tidyverse
df %>%
select(Pclass, Sex, SibSp, Embarked) %>%
map_dfc(~ replace_na(.x, rstatix::get_mode(.x)[1]))
02 数据缺失值处理
缺失值处理一般包括三步：
- 识别缺失数据；
- 检查导致数据缺失的原因；
- 删除包含缺失值的实例或用合理的数值代替（插补）缺失值。
2.1 判断缺失值
is.na()、is.nan()和is.infinite()可分别用来识别缺失值、不可能值和无穷值
na表示缺失值
nan表示NOT A NUMBER
infinite表示+-Inf
>x <- NA
> is.na(x)
[1] TRUE
> is.nan(x)
[1] FALSE
> is.infinite(x)
[1] FALSE
# 函数complete.cases()可用来识别矩阵或数据框中没有缺失值的行
#加载数据集
>data(sleep,package = "VIM")
#没有缺失值的行
>sleep[complete.cases(sleep),]
#列出有一个或多个缺失值的行
>sleep[!complete.cases(sleep),]
2.2 缺失数据可视化
#自己生成图形
>library("VIM")
>aggr(sleep,prop = FALSE,numbers = TRUE)
# matrixplot()函数可生成展示每个实例数据的图形
#自己生成图形
marginplot(sleep[c("Gest","Dream")],phc=c(20),col=c("darkgray","red","blue"))
2.3 缺失数据删除
complete.cases()可以用来存储没有缺失值的数据框或者矩阵形式的实例（行）：
#可以把mydata替换成sleep,延续上面的代码
>newdata <- mydata[complete.cases(mydata),]
#可以把mydata替换成sleep,延续上面的代码
>newdata <- na.omit(mydata)
处理含缺失值的数据集时，成对删除常作为行删除的备选方法使用。对于成对删除，观测只是当它含缺失数据的变量涉及某个特定分析时才会被删除：
>cor(sleep,use = "pairwise.complete.obs")
2.4 缺失值补全
mice()首先从一个包含缺失数据的数据框开始，然后返回一个包含多个（默认为5个）完整数据集的对象。
每个完整数据集都是通过对原始数据框中的缺失数据进行插补而生成的。
由于插补有随机的成分，因此每个完整数据集都略有不同。
然后，with()函数可依次对每个完整数据集应用统计模型（如线性模型或广义线性模型），最 后 ，pool()函数将这些单独的分析结果整合为一组结果。
最终模型的标准误和p值都将准确地反映出由于缺失值和多重插补而产生的不确定性。
>library(mice)
>data("sleep",package = "VIM")
>imp <- mice(sleep,seed = 1234)
#imp <- mice(sleep)
>fit <- with(imp,lm(Dream~Span+Gest))
fit
>pooled <- pool(fit)
>summary(pooled)
imp
>dataset2 <- complete(imp,action = 2)
>cor(sleep,use = "pairwise.complete.obs")
test <-read.csv("test.csv",header=TRUE,sep=",",na.strings = "")
03. na.fail和na.omit
1、na.fail（<向量a>）: 如果向量a内包括至少1个NA，则返回错误；如果不包括任何NA，则返回原有向量a
2、na.omit（<向量a>）: 返回删除NA后的向量a
3、attr（ na.omit（<向量a>） ,”na.action”）: 返回向量a中元素为NA的下标
4、is.na：判断向量内的元素是否为NA
函数na.fail和 na.omit 不仅可以应用于向量，也可以应用于矩阵和数据框。
data<-c(1,2,NA,2,4,2,10,NA,9)
data.na.omit<-na.omit(data)
data.na.omit
[1] 1 2 2 4 2 10 9
attr(,"na.action")
[1] 3 8
attr(,"class")
[1] "omit"
attr(data.na.omit,"na.action")
[1] 3 8
attr(,"class")
[1] "omit"
a<-c(1,2,3,NA,NA,2,NA,5)
a[!is.na(a)]
[1] 1 2 3 2 5
data <- read.table(text="
a b c d e f
NA 1 1 1 1 1
1 NA 1 1 1 1
1 1 NA 1 1 1
1 1 1 NA 1 1
1 1 1 1 NA 1
1 1 1 1 1 NA",header=T)
na.omit(data)
data
>[1] a b c d e f
<0 行> (或0-长度的row.names)
> a <- 2:12
> b <- seq(2,23,2)
> c <- c(1:11)^3
> d <- c(5:8, 30:36)
> df <- data.frame(a,b,c,d)
> df$a[df$a==8] <- NA
> df$b[df$b==8] <- NA
> df$c[df$c==8] <- NA
> df$d[df$d==8] <- NA
> df$d[df$d==32] <- NA
> df
a b c d
1 2 2 1 5
2 3 4 NA 6
3 4 6 27 7
4 5 NA 64 NA
5 6 10 125 30
6 7 12 216 31
7 NA 14 343 NA
8 9 16 512 33
9 10 18 729 34
10 11 20 1000 35
11 12 22 1331 36
// 只根据第四列，也就是d 的 NA，移除相应的行
> bad.d <- is.na(df$d)
> bad.d
[1] FALSE FALSE FALSE TRUE FALSE FALSE TRUE FALSE FALSE FALSE FALSE
> df[!bad.d,]
a b c d
1 2 2 1 5
2 3 4 NA 6
3 4 6 27 7
5 6 10 125 30
6 7 12 216 31
8 9 16 512 33
9 10 18 729 34
10 11 20 1000 35
11 12 22 1331 36
// 根据第二列和第三列的NA 移除相应的行
> df[complete.cases(df[,2:3]),]
a b c d
1 2 2 1 5
3 4 6 27 7
5 6 10 125 30
6 7 12 216 31
7 NA 14 343 NA
8 9 16 512 33
9 10 18 729 34
10 11 20 1000 35
11 12 22 1331 36
// 根据第二列和 第四列的NA，移除相应的行
> df[complete.cases(df[,c(2,4)]),]
a b c d
1 2 2 1 5
2 3 4 NA 6
3 4 6 27 7
5 6 10 125 30
6 7 12 216 31
8 9 16 512 33
9 10 18 729 34
10 11 20 1000 35
11 12 22 1331 36
// 根据所有列的NA，移除相应的行
> df[complete.cases(df),]
a b c d
1 2 2 1 5
3 4 6 27 7
5 6 10 125 30
6 7 12 216 31
8 9 16 512 33
9 10 18 729 34
10 11 20 1000 35
11 12 22 1331 36
>
// 这个效果跟上面的df[complete.cases(df),] 相同
> na.omit(df)
a b c d
1 2 2 1 5
3 4 6 27 7
5 6 10 125 30
6 7 12 216 31
8 9 16 512 33
9 10 18 729 34
10 11 20 1000 35
11 12 22 1331 36
// 计算某一列的平均值， 移除NA值
> mean(df$d, na.rm=TRUE)
04 均值替换、回归插补及多重插补进行插补
# 设置工作空间
# 把“数据及程序”文件夹拷贝到F盘下，再用setwd设置工作空间
setwd("E:\\R_workspace\\R语言数据分析与挖掘实战\\chp4")
# 读取销售数据文件，提取标题行
inputfile <- read.csv('./data/catering_sale.csv', header = TRUE)
View(inputfile)
# 变换变量名
inputfile <- data.frame(sales = inputfile$'销量', date = inputfile$'日期')
View(inputfile)
# 数据截取
inputfile <- inputfile[5:16, ]
View(inputfile)
# 缺失数据的识别
is.na(inputfile) # 判断是否存在缺失
n <- sum(is.na(inputfile)) # 输出缺失值个数
n
# 异常值识别
par(mfrow = c(1, 2)) # 将绘图窗口划为1行两列，同时显示两图
dotchart(inputfile$sales) # 绘制单变量散点图
boxplot(inputfile$sales, horizontal = TRUE) # 绘制水平箱形图
# 异常数据处理
inputfile$sales[5] = NA # 将异常值处理成缺失值
fix(inputfile) # 表格形式呈现数据
# 缺失值的处理
inputfile$date <- as.numeric(inputfile$date) # 将日期转换成数值型变量
sub <- which(is.na(inputfile$sales)) # 识别缺失值所在行数
sub
# 将数据集分成完整数据和缺失数据两部分
inputfile1 <- inputfile[-sub, ]
inputfile2 <- inputfile[sub, ]
# 行删除法处理缺失，结果转存
result1 <- inputfile1
View(result1)
# 均值替换法处理缺失，结果转存
avg_sales <- mean(inputfile1$sales) # 求变量未缺失部分的均值
avg_sales
# 用均值替换缺失
inputfile2$sales <- rep(avg_sales,n)
# 并入完成插补的数据
result2 <- rbind(inputfile1, inputfile2)
View(result2)
# 回归插补法处理缺失，结果转存
# 回归模型拟合
# 注意：因变量~自变量
model <- lm(sales ~ date, data = inputfile1)
# 模型预测
inputfile2$sales <- predict(model, inputfile2)
result3 <- rbind(inputfile1, inputfile2)
# 多重插补法处理缺失，结果转存
library(lattice) # 调入函数包
library(MASS)
library(nnet)
library(mice) # 前三个包是mice的基础
# 4重插补，即生成4个无缺失数据集
imp <- mice(inputfile, m = 4)
# 选择插补模型
# inputfile为原始数据，有缺失
fit <- with(imp,lm(sales ~ date, data = inputfile))
# m重复完整数据分析结果池
pooled <- pool(fit)
summary(pooled)
result4 <- complete(imp, action = 3) # 选择第三个插补数据集作为结果
#install.packages(‘VIM')
library(VIM)
aggr(airquality)
#平均值填补
airquality$ Ozone[is.na(airquality$Ozone)] <- mean(airquality $ Ozone,na.rm=T)
#中位数填补
airquality$ Solar.R[is.na(airquality$ Solar.R)] <- median(airquality$ Solar.R,na.rm = T)
#计算缺失值个数，等于0 则不存在缺失值
sum(is.na(airquality))
#相邻均值填补
airquality <- read.csv(data.csv) #重新读入数据
for (i in 1:length(airquality$ Ozone)) {
airquality$ Ozone[i] <- ifelse(is.na(airquality$ Ozone[i]),
mean(c(airquality$ Ozone[i-1],airquality$ Ozone[i+1]),na.rm=T),
airquality$ Ozone[i])
}
#（1）K-近邻算法填补
# 基本思想：对于需要填补的观测值，先利用欧氏距离找到其邻近的K个观测，再将这K个邻近的值进行加权平均进行填补。
# 原始数据中存在多个缺失值，可以利用DMwR包中的knnImputation()函数进行填补
dat1 <- knnImputation(airquality[,c(1:4)],meth = 'weighAvg',scale = T)
# 提取原始数据中的前4列进行填补，meth = "weighAvg" 指使用加权平均的方法进行填补，scale = T指在选取邻近值时，先对数据进行标准化。
aggr(dat1) #查看缺失值分布
#（2）随机森林填补缺失值
#随机森林填补，随机森林是机器学习中一种常见的方法，以决策树为基分类的器的集成学习模型。
# missForest包中missForest()函数可实现随机森林填补，ntree代表模型中的树的棵数，一般情况下，对于高维数据可选择较小的值（如100），以达到快速插补的效果；对于大数据集进行填补时，可能耗时比较多。
library(missForest)
dat2 <- missForest(airquality,ntree = 100)
# dat2中包含填补好的数据，可利用dat2$ximp查看填补后的值，
head(dat2$ximp)
aggr(dat2$ximp)
# 同时，OOBerror表示袋外填补缺失的误差估计。
dat2$OOBerror
# 多重插补法
# 多重插补法是在一个缺失的数据集中生成一个完整的数据集，并利用蒙特卡洛的方法进行填补的一种重复模拟的方法。
# 包mice中的mice()函数可实现对缺失数据的多重插补，原数据集中Ozone和Solar.R变量存在缺失,采用'rf'法插补。
dat3 <- mice(airquality,m=5,method = 'rf')
# 其中，m为生成完整数据集的个数，默认为5. method为插补参数的方法，'norm.predict'、'pmm'、'rf'、'norm'依次为回归预测法、平均值插补法、随机森林法和高斯线性回归法。
summary(dat3)
# 通过以下代码可查看填补的值
dat3$imp$Solar.R
# 最后选择某一列（如1,2,3）填充到缺失数据集中即可形成完整的数据集.
关注R小盐，关注科研私家菜(VX_GZH: SciPrivate)，有问题请联系R小盐。让我们一起来学习 R语言机器学习与临床预测模型
