R语言是单核计算语言,在数据建模或计算过程中,常常出现相同或相似任务的重复计算,一般操作是for循环处理或采用apply族函数处理,为了更快完成计算,采用并行计算是更优的选择。
本文采用R语言中的parallel包与foreach包实现并行计算,并针对单变量并行和多变量并行计算这两个常用场景做了函数封装。
安装包
install.packages("foreach")
install.packages("parallel")
install.packages("doParallel")
单变量并行
单变量并行计算,是最常见的应用场景,函数的动态参数只有一个,对动态参数进行遍历计算。采用parallel包实现。
# 单变量并行计算
single_parallel <- function(func,iterable,...){
"
:param func:被并行函数
:param iteralbe:func的1个动态参数(vector、list)
:param ...:func的静态参数
:return list,与iterable等长
"
#1.加载包
library(parallel)
#2.计算计算机内核数
cores <- detectCores(logical = FALSE)
#3.打开并行计算
cl <- makeCluster(cores)
#4.给每个单独内核传递变量,函数等
clusterExport(cl,deparse(substitute(func)))
#5.开始并行计算(用法与sapply类似)
result <- parSapply(cl,iterable,func,...)
#6.关闭并行计算
stopCluster(cl)
return(result)
}
其中,第4步比较重要,表示向每个进程的R session传入被并行函数和一些全局变量。
多变量并行
多变量并行,是另一个常见的应用场景,是单变量并行的一个拓展,可以理解为mapply函数的并行版本,多变量并行允许传入多个动态参数,采用foreach包实现。
# 多变量并行计算
multi_parallel <- function(func,...,MoreArgs=NULL){
"
:param func:被并行函数
:param ...:func的多个动态参数
:param MoreArgs:func的静态参数(list)
:return list
"
# 加载包
library(foreach)
library(doParallel)
library(parallel)
# 内核数
cores <- detectCores(logical = FALSE)
# 打开
cl <- makeCluster(cores)
# 注册
registerDoParallel(cl)
# 并行计算
dots <- list(...) # 动态参数list
result <- foreach(i=seq(length(dots))) %dopar%
do.call(func,c(lapply(dots,`[`,i),MoreArgs)) # 数据与参数组成list传入函数
# 关闭
stopCluster(cl)
return(result)
}
结果展示
测试single_parallel和multi_parallel函数,代码以及结果如下。
# 单变量并行测试代码
single_parallel(log,1:10)
## [1] 0.0000000 0.6931472 1.0986123 1.3862944 1.6094379
## [6] 1.7917595 1.9459101 2.0794415 2.1972246 2.3025851
single_parallel(round,runif(10),digits=1)
## [1] 0.4 0.5 0.9 0.9 0.2 0.7 0.3 0.6 0.7 0.8
# 多变量并行测试代码
multi_parallel(paste,c("a","b"),c("c","d"),MoreArgs = list(sep="_"))
## [[1]]
## [1] "a_c"
##
## [[2]]
## [1] "b_d"