R小盐准备介绍R语言机器学习与预测模型的学习笔记
你想要的R语言学习资料都在这里， 快来收藏关注【科研私家菜】
01 预测模型常用R包
- 常见回归分析包:
rpart 包含有分类回归树的方法; earth 包可以实现多元自适应样条回归;
mgev包含广义加性模型回归; Rweka 包中的MSP函数可用于回归。pls 包中的plsr 函数实
现偏最小二乘和主成分回归。stats 包中的ppr函数实现投影寻踪分析，同时包括线性回归的
方法，含有loess函数用于拟合多样式曲面。MASS包含有岭回归函数lm.ridge、阻力回归函
数lqs、稳健回归函数rlm。Lars 包实现了lasso 回归。Locfit 包可实现局部回归。bigRR包关
注于高吞吐量岭回归。 - 集成学习相关包:
ipred包里面有bagging方法做预测;mboost包里面有boosting方法做预测; randomForest 包为随机森林方法; caretEnsemble 包含创建组合模型的方法; caret 包包含bagging的框架。 - 高斯过程相关的包:
tgp包基于贝叶斯树的高斯过程回归; gpr 包包含高斯过程回归函数。 - 时间序列预测相关包:
mAr包可用子多元自回归分析; MSBVAR包含有贝叶斯向量自回归模型; timsac 是时间序列分析和控制的包; tseries forecast包用于时间序列预测; tsDyn 包用于多元时间序列预测; fractal 包含有分形时间序列分析方法。 - 神经网络相关包:
nnet 包含有神经网络回归函数; RSNNS包提供了各种神经网络的函数;
AMORE包用于神经网络的建模。 - 支持向量机相关包:
svmpath包里的函数可用来选取支持向量机的代价参数C; kermnlab 包含有支持向量机相关函数; e1071 包含有支持向量机的方法。 - 特征选择相关包:
varSelRF 包用于特征选择; randomForest 包可用于特征选择; Caret 包的
gafs函数，用于特征提取。 - 蒙特卡洛相关包:
MCMCpack、mc2d 用于二维蒙特卡罗模拟、mcmc包随机数生成与蒙特卡
洛模拟基本方法; boa. memcplots、coda用于蒙特卡洛模拟诊断; csampling、elrm. MCMCglmm实现基于模拟的回归分析。 - 状态空间模型相关包:
MARSS包含有多元自回归状态空间模型相关函数;dse.FKF、KFAS这些包用于卡尔曼滤波。 - 其他用于预测的包:
frbs 包实现了许多用于回归和分类、从数据中学习模糊规则系统的标准方法; h2o 包含有深度学习的方法。
02 R语言预测示例
#读入数据
library(forecast)
acf(wineind,lag.max = 100)
#观察曲线簇
len=1993-1980+1
data0=wineind[1:12*len]
range0=range(data0)+c(-100,100)
plot(1:12,1:12,ylim=range0,col='white', xlab="月份", ylab="销量")
for(i in 1:len)
{
points(1:12,wineind[(12*(i-1)+1):(12*i)])
RecentVal4=NULL
RecentVal6=NULL
RecentVal8=NULL
RecentVal12=NULL
#替换掉太大或太小的值
wineind[wineind<18000]=18000
wineind[wineind>38000]=38000
for(i in (12+1):(length(wineind)-1))
{
Month<-c(Month,i%%12+1)
DstValue<-c(DstValue, wineind[i+1])
RecentVal1<-c(RecentVal1,wineind[i])
RecentVal4<-c(RecentVal4,wineind[i-3])
RecentVal6<-c(RecentVal6,wineind[i-5])
RecentVal8<-c(RecentVal8,wineind[i-7])
RecentVal12<-c(RecentVal12,wineind[i-11])
}
preData=data.frame(Month,DstValue,RecentVal1,RecentVal4,RecentVal6,RecentVal8,RecentVal12)
head(preData)
#画出散点矩阵图
plot(preData)
#使用DstValue与RecentVal12拟合线性模型
lm.fit=lm(DstValue~RecentVal12,data=preData)
cook<-cooks.distance(lm.fit)
plot(cook)
abline(h=0.15,lty=2,col='red')
cook[cook>0.15]
preData=preData[-c(123,79),]
#分离训练集与测试集
trainData=preData[1:150,]
testData=preData[151:163,]
#建立模型
lm.fit<-lm(DstValue~Month+RecentVal1+RecentVal4+RecentVal6+RecentVal8+RecentVal12,data=trainData)
summary(lm.fit)
#对Month、RecentVal4、RecentVal8三个变量按5次多项式进行衍生
lm.fit<-lm(DstValue~Month+I(Month^2)+I(Month^3)+I(Month^4)+I(Month^5)+ RecentVal1+RecentVal4+I(RecentVal4^2)+I(RecentVal4^3)+I(RecentVal4^4)+I(RecentVal4^5)+ RecentVal6+RecentVal8+I(RecentVal8^2)+I(RecentVal8^3)+I(RecentVal8^4)+I(RecentVal8^5)+ RecentVal12,data=trainData)
summary(lm.fit)
#由于涉及到变量太多，使用逐步回归删除掉影响小的变量
lm.fit<-step(lm.fit)
summary(lm.fit)
lm.fit<-lm(formula = DstValue ~ Month + I(Month^4) + I(Month^5) + RecentVal6 +
RecentVal8 + I(RecentVal8^2) + I(RecentVal8^3) + I(RecentVal8^4) +
I(RecentVal8^5) + RecentVal12, data = trainData)
summary(lm.fit)
#对新数据进行预测
testData$pred=predict(lm.fit,testData)
#计算百分误差率
testData$diff=abs(testData$DstValue-testData$pred)/testData$DstValue
testData
summary(testData)
效果如下：
关注R小盐，关注科研私家菜(VX_GZH: SciPrivate)，有问题请联系R小盐。让我们一起来学习 R语言机器学习与临床预测模型
