mclapply与parLapply速度

文章/答案/技术大牛

发布

1回答

r、parallel-processing、mclapply

我在Linux上运行，可以很容易地使用mclapply。我在使用parlapply时遇到了一些错误，甚至在使用clusterEvalQ之后也是如此。在我进一步解决这个问题之前，有没有什么问题，比如，两者之间是否存在显著的速度差异，或者人们在Windows上只使用parLapply？我读过关于parLapplyLB的文章，可以看到这种方法的用法，但是如果我严格地研究mclapply和parlapply，那么FORK方法和PSOCK方法在速度上有很大的差异吗？

浏览 24提问于2016-08-15得票数 2

回答已采纳

1回答

为多个操作系统使用并行或doParallel作为CRAN包的自定义包

r、parallel-processing、cran

我是在Linux下开发的，mclapply函数将从parallel包中使用。Windows不支持此包(它使用doParallel)。不过，我真的很喜欢parallel包，因为它的简单性和速度，我不知道这是否应该成为为CRAN提供两个不同版本的包的原因，对于单独的操作系统(似乎是需要维护的额外工作)，更不用说它是否允许使用了。而且，现在我还在考虑parallel's相当于doParallel的 cl <- makeCluster(cor

浏览 3提问于2013-09-03得票数 7

回答已采纳

1回答

理解lapply和future.apply以获得更快的循环？

r、parallel-processing、lapply

我用谷歌搜索了一下，发现了一个并行的软件包，并开始理解mclapply，但后来意识到它不适用于windows。

浏览 66提问于2020-09-17得票数 0

回答已采纳

1回答

R:为函数启动单独的线程并等待结果

r、multithreading

我在R中有一个函数fA调用了三次相同的函数fB，如下所示： r1 <- fB(param1) r3 <- fB(param3)}谢谢

浏览 2提问于2014-05-24得票数 0

2回答

在R中理解mclapply和parLapply之间的区别

r、parallel-processing、mclapply

然而，我对parLapply for Windows的理解遇到了障碍。我似乎不能在使用parLapply的windows中实现同样的效果。这是正确的，还是有一些类似的mclapply函数适用于Windows？

浏览 2提问于2013-06-20得票数 29

回答已采纳

1回答

无法让tm_map使用mc.cores参数

r、tm

我有一个有超过1000万份文件的大语料库。每当我尝试使用mc.cores参数对多个核进行转换时，都会得到错误：我有15个可用的核心在我目前托管的r工作室。> inspect(corpus[1])Metadata: corpus specific: 0, document level (indexed): 0&l

浏览 3提问于2017-08-22得票数 1

回答已采纳

1回答

snow如何将列表元素分发给工人？

r、parallel-processing、snow

当调用parLapply()时，有多少列表元素被发送到每个工作进程？例如，假设我们在一个雪袜子集群上有一个包含6个元素和2个工作者的列表。parLapply()是在一次发送调用中向每个worker发送两个列表元素，还是每次发送一个元素？

浏览 0提问于2013-05-10得票数 2

回答已采纳

2回答

适用于Windows的‘'mclapply’

所以，如果你看到代码的第224-228行，它使用了‘mclapply’函数--我发现这个函数只能在Linux或MAC上运行。那么，有没有人可以帮我写这个特定的代码，或者给出一个关于如何在windows中使用'mclapply‘的一般概念？

浏览 1提问于2015-11-19得票数 4

1回答

R并行包-在我的玩具示例中，性能非常慢

r、parallel-processing、package

other operations Tboot <- parLapply

浏览 26提问于2020-04-13得票数 3

回答已采纳

1回答

R中的并行和多核处理

r、parallel-processing、multicore

我认为这是R能力的极致，但现在开始...我已经看过Parallel包了，它已经被弃用了。理想情况下，我希望以新线程的形式调用函数。干杯

浏览 0提问于2013-06-12得票数 8

回答已采纳

2回答

R，mclapply，vs

r、foreach、mclapply

我在所有的“令人尴尬的并行”计算中使用mclapply。我发现它干净易用，当参数mc.cores = 1和mc.preschedule = TRUE时，我可以在mclapply中插入browser()并逐行调试，就像在普通的R中一样--这对于更快地实现代码的生成是一个巨大的帮助foreach提供的mclapply没有提供什么？有什么原因我应该考虑写前瞻代码前进吗？

浏览 5提问于2017-06-28得票数 20

3回答

windows不支持mc.cores >1

r、windows、parallel-processing、multicore

( waydf$geometry$coordinates , nrow ) ) # row per linell <- parallel::mclapply

浏览 0提问于2017-09-21得票数 6

回答已采纳

1回答

用于Windows的并行mapply()；类似mcmapply()

r、performance、parallel-processing、apply

parallel包具有适用于非Windows用户的mcapply函数(即mcapply()、mclapply()、mcmapply()等)和面向Windows用户的parApply函数(即parApply()、parLapply()等)。不过，没有parLapply()。 Windows中是否有与mcmapply()相当的内容？

浏览 0提问于2020-09-02得票数 0

回答已采纳

2回答

R中分裂的快速替代

r、split、pentaho、lapply

我使用split()对数据帧进行分区，以便使用parLapply()并行调用每个分区上的函数。数据帧有130万行20 cols。我用两列分割/分区，两列都是字符类型。下面是split()行：然后将分区输入parLapply()，如下所示：system.time(par_pop <- parLapply(cl, pop_part

浏览 2提问于2013-09-26得票数 14

回答已采纳

1回答

我可以嵌套parallel:parLapply()吗？

r、parallel-processing

4) #Do some stuff here result<-do.call(, parLapply(cluster, c(1:2), innerLoop))对于R-2.14.0

浏览 1提问于2011-12-07得票数 8

回答已采纳

1回答

R不重置种子时，使用“L‘’Ecuyer CMRG”RNG？

r、parallel-processing、prng

我正在读"Parallel R“这本书，选项mc.set.seed = TRUE应该在每次调用mclapply()时为每个工作者提供一个新的种子。下面是我的代码：RNGkind("L'Ecuyer-CMRG") [[1]][1] -0.9013552 0.3445190 mclapply(1:2, fun

浏览 1提问于2013-02-25得票数 9

2回答