在R中，我如何并行计算求和函数？
在R中，可以使用多种方法进行并行计算求和函数。以下是一种常见的方法：
- 使用parallel包：parallel包提供了一些函数来实现并行计算。可以使用以下步骤来并行计算求和函数：
- 首先，加载parallel包：
library(parallel) - 然后，创建一个并行计算的集群：
cl <- makeCluster(n)，其中n是你想要的并行计算的进程数。 - 接下来，将数据分割成多个部分，每个部分由一个进程处理：
split_data <- split(data, 1:n) - 然后，使用
parLapply()函数将求和函数应用于每个部分：result <- parLapply(cl, split_data, sum_function) - 最后，使用
unlist()函数将结果合并为一个向量：final_result <- unlist(result) - 最后，记得关闭并行计算的集群：
stopCluster(cl)
这种方法适用于较大的数据集和较复杂的求和函数。
- 使用foreach包：foreach包提供了一种更简单的方法来实现并行计算。可以使用以下步骤来并行计算求和函数：
- 首先，加载foreach包和doParallel包：
library(foreach)和library(doParallel) - 然后，创建一个并行计算的注册表：
registerDoParallel(n)，其中n是你想要的并行计算的进程数。 - 接下来，使用
foreach()函数和.combine参数指定求和函数：result <- foreach(i = 1:n, .combine = "c") %dopar% sum_function(data) - 最后，记得注销并行计算的注册表：
registerDoSEQ()
这种方法适用于较小的数据集和较简单的求和函数。
以上是在R中进行并行计算求和函数的两种常见方法。根据具体的需求和数据规模，选择适合的方法来提高计算效率。
相关·内容
2回答
如果我在没有注册集群的情况下运行foreach... %dopar%，foreach会抛出一个警告，并按顺序执行代码：
library("doParallel")
foreach(i=1:3) %dopar%
sqrt(i)
收益率：
Warning message:
executing %dopar% sequentially: no parallel backend registered
但是，如果我在启动、注册和停止集群后运行相同的代码，它将失败：
cl <- makeCluster(2)
registerDoParallel(cl)
stopCluster(
浏览 0提问于2014-08-03得票数 36
回答已采纳
基于，我尝试编写一个脚本，如下所示：
library(parallel)
library(doParallel)
cl<-makeCluster(2,outfile='')
registerDoParallel(cl)
foreach(i=1:5, .packages='parallel') %dopar% {
system.time(mclapply(1:10, function(x){rnorm(1e5)},mc.cores=2))
}
stopCluster(cl)
它不起作用，但现在正在弹出错误代码：
Error in unseria
浏览 9提问于2016-02-18得票数 2
回答已采纳
我正在编写一个函数，它可以抓取一个巨大的XML文件。由于这些节点大约有一百万个，所以我想使用foreach包。下面的代码和相关注释
xmlfile=xmlParse(file="./DATI/xmldata.xml") #read the file
#explore
if(exists("dbfromxml")) rm(dbfromxml)
root<-xmlRoot(xmlfile)
persons<-xmlChildren(root)
rm(root)
nrecords<-xmlSize(persons)
#set out the
浏览 2提问于2014-11-06得票数 0
1回答
我正在测试R下的，我想知道如何指定CPU核的数量。我只在python下找到tensorflow解决方案，没有keras。
> library(keras)
> library(doParallel)
> cl <- makeCluster(2)
> registerDoParallel(cl)
> is_keras_available()
[1]TRUE
> foreach(i=1:3) %dopar% { is_keras_available()}
Error in { :
task 1 failed - "impossible to
浏览 0提问于2018-03-01得票数 2
回答已采纳
我正在为R建立一个包，我希望能够跨平台。我是在Linux下开发的，mclapply函数将从parallel包中使用。Windows不支持此包(它使用doParallel)。不过，我真的很喜欢parallel包，因为它的简单性和速度，我不知道这是否应该成为为CRAN提供两个不同版本的包的原因，对于单独的操作系统(似乎是需要维护的额外工作)，更不用说它是否允许使用了。
有什么想法？
而且，现在我还在考虑parallel's
mclapply(ldata, function(x), mc.cores=cores)
相当于doParallel的
cl <- makeCluster(cor
浏览 3提问于2013-09-03得票数 7
回答已采纳
1回答
R:运行并行的反测试
、、、、
我需要并行运行冗长和计算密集的反测试。我的背考平均需要8个小时才能跑完，我需要跑30个小时。它们都用不同的输入调用相同的函数。到目前为止，我能够找到的是下面使用foreach包的代码。
require(foreach)
require(parallel)
require(doParallel)
cores = detectCores() #32
cl<-makeCluster(cores) #register cores
registerDoParallel(cl, cores = cores)
foreach (j=1:2) %dopar% {
if(j == 1)
浏览 2提问于2016-08-26得票数 2
回答已采纳
1回答
我对使用foreach并行for循环很陌生，并且很难理解它是如何工作的。作为练习的一个例子，我创建了一个基于dataframe (输入)的简单列表(input2)。我试图通过h和j的循环来计算b。
library(doParallel)
library(foreach)
library(dplyr)
input <- data.frame(matrix(rnorm(200*200, 0, .5), ncol=200))
input[input <=0] =0
input['X201'] <- seq(from = 0, to = 20, length.out
浏览 0提问于2018-10-12得票数 4
回答已采纳
1回答
这基本上是对更专门的问题的跟进。在R中进行并行计算时，有一些关于僵尸进程创建的帖子。
并行计算有几种方法，我将重点介绍到目前为止在本地机器上使用的三种方法。我在带有doMC内核的本地计算机上使用了doParallel和foreach包：
(a)登记分叉组群：
library(doParallel)
cl <- makeForkCluster(4)
# equivalently here: cl <- makeForkCluster(nnodes=getOption("mc.cores", 4L))
registerDoParallel(cl
浏览 2提问于2014-08-19得票数 14
回答已采纳
1回答
我有一个非常大的数据集(5000*100)，我想使用kmeans函数查找集群。但是，我不知道如何使用clusterApply函数。
set.seed(88)
mydata=rnorm(5000*100)
mydata=matrix(data=mydata,nrow = 5000,ncol = 100)
parallel.a=function(i) {
kmeans(mydata,3,nstart = i,iter.max = 1000)
}
library(parallel)
cl.cores <- detectCores()-1
cl <- makeCluster(cl.c
浏览 2提问于2016-11-10得票数 2
回答已采纳
1回答
我正在尝试使用foreach包运行一个随机森林来进行并行处理。下面是我正在运行的代码。
library(doParallel)
library(doMC)
library(foreach)
library(randomForest)
Train <- read.csv("Train_Parallel.csv")
Test <- read.csv("Test_Parallel.csv")
Scoring <- read.csv("Scoring_Parallel.csv")
cores = detectCores()-1
c
浏览 0提问于2017-10-01得票数 1
我有一个很大的数据集(大约4000万行x 4列)，我想对每行中的数据执行一次Fisher测试。
数据示例如下所示：
refAppleBase altAppleBase refHawBase altHawBase
1 115 1 94 0
2 117 4 93 1
3 125 4 94 1
4 107 26 89
浏览 1提问于2019-01-07得票数 0
这是一个非常简单的例子。
df = c("already ","miss you","haters","she's cool")
df = data.frame(df)
library(doParallel)
cl = makeCluster(4)
registerDoParallel(cl)
foreach(i = df[1:4,1], .combine = rbind, .packages='tm') %dopar% classification(i)
stopCluster(cl)
在实际
浏览 1提问于2016-09-29得票数 4
1回答
并行计算时数据表的子集
、、、
我正在尝试使用data.table运行并行计算。我有一个大的数据集，我想与每一组独立和平行的学科一起工作。
Let: DataP是一个大数据集: ID、x1、x2、x3、group
我的代码是：
# Data preparations
# I split an index (indx) because data split takes a lot of time with my data.
setkey(DataP ,SplitKey_f)
indx<-split(seq(nrow(DataP )),DataP $group)
l<-length(unique(DataP$grou
浏览 1提问于2016-03-16得票数 1
回答已采纳
1回答
在R上自动使用多个核
、、、
我正在使用一个名为MFE的库来生成元特性。但是，我现在正在处理几个文件，我注意到我只使用了我的机器的一个核心，花费了太多的时间。
我一直在尝试实现一些库，正如我在另一个问题中所看到的：library(iterators) library(foreach) library(doParallel)
这一个，但我笨到不能实现它=‘。
我只想把这个片段放到我所有的内核中，这样我就可以让它更快了：
## Extract general, statistical and model based measures
metafeatures(Species ~ ., iris, groups=c("g
浏览 0提问于2019-06-05得票数 2
回答已采纳
1回答
关于foreach函数，doParallel和R中的doMC有什么不同？doParallel支持windows，类unix，而doMC只支持类unix。换句话说，为什么doParallel不能直接取代doMC呢？谢谢。
更新：doParallel构建在parallel之上，它本质上是multicore和snow的合并，并自动为您的系统使用适当的工具。因此，我们可以使用doParallel来支持多系统。换句话说，我们可以使用doParallel来取代doMC。
参考：
顺便说一句，registerDoParallel(ncores=3)和
cl <- makeCluster(3)
regi
浏览 5提问于2015-03-11得票数 51
回答已采纳
1回答
R中的上对角并行计算
、、、、
我使用以下代码：
library(foreach)
library(doParallel)
N<-5
cl<-makeCluster(8)
registerDoParallel(cl)
#loop
s8 <- foreach(i=1:N, .combine='rbind') %:%
foreach(j=1:N, .combine='c') %dopar% {
dis <-as.numeric (i+j) } ## In reality there something more co
浏览 5提问于2016-04-25得票数 1
回答已采纳
我在R中的循环中在一个parLapply中运行parallel，但是我得到了一个错误：
library(doSNOW)
library(foreach)
cl<-makeCluster(4) #change the 2 to your number of CPU cores
registerDoSNOW(cl)
foreach(1:2) %dopar% {
clusterExport(cl, "parLapply")
parLapply(cl, 1:2,function(exponent)2^exponent)
}
在启动此代码时，我得到了以下错误：
&
浏览 3提问于2017-06-01得票数 1
回答已采纳
2回答
我现在正在处理一个大型数据集，有些函数可能需要几个小时才能处理。我想知道如何通过进度条或数字(1，2，3，...,100)显示代码的进度。我希望将结果存储为有两列的数据框架。下面是一个例子。谢谢。
require(foreach)
require(doParallel)
require(Kendall)
cores=detectCores()
cl <- makeCluster(cores-1)
registerDoParallel(cl)
mydata=matrix(rnorm(8000*500),ncol = 500)
result=as.data.frame(matrix(nr
浏览 2提问于2016-11-18得票数 13
回答已采纳
1回答
我曾经用doMC和foreach进行并行计算，现在我可以访问集群了。我的问题类似于这个，但是在这个帖子上没有反应。
基本上，我可以向我的批处理队列系统请求多个任务-n和每个任务-c的多个核心。我确实能够使用doMPI对我请求的任务数量进行并行模拟，但是现在我想使用startMPIcluster的maxcores选项来使每个MPI进程使用多核功能。
我注意到的是，parallel::detectCores()似乎没有看到我被赋予了多少核，并且返回了一个节点的最大核心数。
就目前而言，我尝试过：
ncore = 3 #same number as the one I put with -c opt
浏览 1提问于2016-02-18得票数 1
我试图计算矩阵中列之间的余弦相似性。我能够使用标准的循环使其工作，但是当我试图使它并行运行以使代码运行得更快时，它不会给出相同的答案。问题是，我无法使用foreach循环方法得到相同的答案。我怀疑我没有使用正确的语法，因为我只使用了一个foreach循环。我试图使第二个循环成为正则的for循环，并且我在foreach循环中使用了%:%参数，但是函数甚至没有运行。
请看下面我附加的代码。提前感谢您的帮助。
## Function that calculates cosine similarity using paralel functions.
#for calculating paralle
浏览 0提问于2015-01-19得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
