如何将foreach转换成parLapply？
在云计算领域中，将foreach转换成parLapply是一种并行计算的技术，可以提高程序的执行效率和性能。下面是完善且全面的答案：
- 概念：
- foreach：foreach是一个R语言中的迭代函数，用于遍历一个可迭代对象中的元素，并对每个元素执行相同的操作。
- parLapply：parLapply是一个R语言中的并行迭代函数，基于foreach包实现，可以在多个处理器核心或计算节点上并行执行迭代操作。
- 分类：
- foreach：foreach函数是顺序执行的，适用于单个处理器核心或计算节点。
- parLapply：parLapply函数是并行执行的，适用于多个处理器核心或计算节点。
- 优势：
- foreach：foreach函数简单易用，适用于小规模数据和简单的迭代操作。
- parLapply：parLapply函数可以利用多个处理器核心或计算节点的并行计算能力，加速大规模数据和复杂的迭代操作。
- 应用场景：
- foreach：foreach函数适用于需要遍历一个可迭代对象，并对每个元素执行相同操作的场景，如数据清洗、特征提取等。
- parLapply：parLapply函数适用于需要并行计算的场景，如大规模数据处理、机器学习模型训练等。
- 推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云弹性MapReduce（EMR）：https://cloud.tencent.com/product/emr
- 腾讯云容器服务（TKE）：https://cloud.tencent.com/product/tke
- 腾讯云函数计算（SCF）：https://cloud.tencent.com/product/scf
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和情况进行评估和决策。
相关·内容
我在R中的循环中在一个parLapply中运行parallel，但是我得到了一个错误：
library(doSNOW)
library(foreach)
cl<-makeCluster(4) #change the 2 to your number of CPU cores
registerDoSNOW(cl)
foreach(1:2) %dopar% {
clusterExport(cl, "parLapply")
parLapply(cl, 1:2,function(exponent)2^exponent)
}
在启动此代码时，我得到了以下错误：
&
浏览 3提问于2017-06-01得票数 1
回答已采纳
我正在为R建立一个包，我希望能够跨平台。我是在Linux下开发的，mclapply函数将从parallel包中使用。Windows不支持此包(它使用doParallel)。不过，我真的很喜欢parallel包，因为它的简单性和速度，我不知道这是否应该成为为CRAN提供两个不同版本的包的原因，对于单独的操作系统(似乎是需要维护的额外工作)，更不用说它是否允许使用了。
有什么想法？
而且，现在我还在考虑parallel's
mclapply(ldata, function(x), mc.cores=cores)
相当于doParallel的
cl <- makeCluster(cor
浏览 3提问于2013-09-03得票数 7
回答已采纳
1回答
我正在使用parLapply并行运行一个函数，如下所示：
parLapply(cl, df, fun = SomeFunction)
其中cl是我预先注册的集群。
然而，函数的执行时间太长了，当执行时间太长时，我想退出。
我知道R.utils包有withTimeOut函数，它工作得很好(当有循环要退出时--从本质上来说，应用就是一个循环)。对于并行应用家族是否有类似的功能？
浏览 1提问于2018-11-27得票数 2
回答已采纳
我有一个这样的函数：
parLapply(cl, 1:400, function(exponent) 2^exponent)
R现在将任务划分为每个核心的偶数部分。
我如何将其更改为，比方说：
100 - Core_0 50 - Core_1 ...
浏览 2提问于2018-01-22得票数 0
我正在使用中给出的BTYD plus代码。此代码使用MCMC技术来估计BTYD模型的Pareto/NBD参数。
所以，如果你看到代码的第224-228行，它使用了‘mclapply’函数--我发现这个函数只能在Linux或MAC上运行。我正在windows机器上工作，需要转换这部分代码，以便我能够在Windows机器上执行它。那么，有没有人可以帮我写这个特定的代码，或者给出一个关于如何在windows中使用'mclapply‘的一般概念？
浏览 1提问于2015-11-19得票数 4
我有一个命令：replicate(10^4, binom_ttest(100, 0.5)) %>% {sum(.<0.05)}/20000
binom_ttest是我创建的函数，它为binom测试返回2x p.value 1，为t测试返回1。
因为这是一个很长的计算，我想问一下如何将它分配给两个集群？我知道使用parLapply是有可能的，但这是行不通的：parLapply(makeCluster(2), 1:10000, binom_ttest(100, 0.5))
浏览 0提问于2021-11-29得票数 0
回答已采纳
2回答
我在所有的“令人尴尬的并行”计算中使用mclapply。我发现它干净易用，当参数mc.cores = 1和mc.preschedule = TRUE时，我可以在mclapply中插入browser()并逐行调试，就像在普通的R中一样--这对于更快地实现代码的生成是一个巨大的帮助。
foreach提供的mclapply没有提供什么？有什么原因我应该考虑写前瞻代码前进吗？
如果我正确理解，两种方法都可以使用multicore方法进行并行计算(允许分叉)，出于性能原因，我喜欢使用这种方法。
我已经看到foreach在不同的包中被使用，并且阅读了它的基本知识，但坦率地说，我发现它并不容易使用。我也想不
浏览 5提问于2017-06-28得票数 20
1回答
我在Linux上运行，可以很容易地使用mclapply。我在使用parlapply时遇到了一些错误，甚至在使用clusterEvalQ之后也是如此。
在我进一步解决这个问题之前，有没有什么问题，比如，两者之间是否存在显著的速度差异，或者人们在Windows上只使用parLapply？
我读过关于parLapplyLB的文章，可以看到这种方法的用法，但是如果我严格地研究mclapply和parlapply，那么FORK方法和PSOCK方法在速度上有很大的差异吗？
我的函数的性质可能决定了答案；它使用stri_extract。
浏览 24提问于2016-08-15得票数 2
回答已采纳
我最近得到了一台有多个内核的计算机，并且正在学习使用并行计算。我对lapply相当精通，有人告诉我parLapply的工作原理非常相似。但是我没有正确地操作它。似乎我必须显式地将所有内容都放在parLapply中才能使其工作(即要使用的函数、变量等)。对于lapply，它从父环境读取数据，而parLapply似乎不会这样做。因此，在下面的例子中，我可以通过将所有信息放在parLapply中来使一切正常工作，但是如果我在用户定义的函数中使用它，我就不能显式地将text.var放在parLapply中。
library(parallel)
text.var <- rep("I lik
浏览 0提问于2012-08-18得票数 38
回答已采纳
1回答
在这里，我试图用R中的并行处理来翻译文本的语言，这是我第一次使用并行处理。我的代码是：
install.packages("RYandexTranslate")
install.packages("textcat")
install.packages("plyr")
install.packages("parallel")
library("RYandexTranslate")
library("textcat")
library("d
浏览 1提问于2016-07-19得票数 1
我在20个内核上使用parLapply函数。我猜对于其他函数parSapply等也是一样的。
首先，将集群作为参数传递给函数，以便该函数可以在不同的子函数之间分派集群的使用，这是不是一种糟糕的做法？
其次，我将这个集群参数传递给一个函数，所以我假设每次我使用parLapply时它都是同一个集群，对每个parLapply调用使用一个新集群是不是更好？
谢谢
Rgds
浏览 1提问于2014-01-17得票数 4
我正在研究如何将动态列表转换成数据库，c#，请给我建议，谢谢
List<dynamic>dlist=new List<dynamic>
至
DataTable
浏览 4提问于2014-02-10得票数 10
有人能解释为什么parLapply是最慢的吗？
> cl <- makeCluster(no_cores)
> myVar<-2:4000
> microbenchmark(
+ Reduce("+",parLapply(cl,myVar,function(X) X^2)),
+ Reduce("+",lapply(myVar,function(X) X^2)),
+ Reduce("+",myVar^2)
+ )
Unit: milliseconds
浏览 2提问于2015-12-25得票数 1
回答已采纳
1回答
当调用parLapply()时，有多少列表元素被发送到每个工作进程？例如，假设我们在一个雪袜子集群上有一个包含6个元素和2个工作者的列表。parLapply()是在一次发送调用中向每个worker发送两个列表元素，还是每次发送一个元素？
我想最小化我的集群通信开销(我有许多列表元素可以由每个CPU相对快速地处理)，并且从我在htop CPU计量器上看到的情况看，它看起来像是在一次发送一个列表元素。是否可以设置在一次发送调用中调度的列表元素的数量？
浏览 0提问于2013-05-10得票数 2
回答已采纳
1回答
我试图在2组数据上运行一个函数，每个数据都是纬度和经度的集合，例如：
a <- data.frame(Location = c("a","b"), Latitude = c(99.1,99.2), Longitude = c(114.1,114.2))
b <- data.frame(Location = c("c","d"), Latitude = c(99.3,99.4), Longitude = c(114.3,114.4))
这个函数是(仅仅是使用pythagoras的例子)
fn_dist <- fun
浏览 0提问于2018-09-18得票数 0
回答已采纳
1回答
我有一个r代码，可以简化为简单的版本，如下所示。
cl <- parallel::makeCluster(2, type="SOCK")
b<-data.frame(c(1,1,2,2,3,3,4,4,7,7,9,9,11,11,12,12,13,13,14,14))
colnames(b)<-c("col1")
b_uni<-unique(b)
clusterExport(cl,"b_uni")
bbb <- parallel::parLapply(cl,1:nrow(b_uni), fun=function(i
浏览 0提问于2017-10-11得票数 1
我是r编程的新手，从我问题的本质可以看出这一点。我正在尝试利用训练函数的并行计算能力。 library(parallel)
#detects number of cores available to use for parallel package
nCores <- detectCores(logical = FALSE)
cat(nCores, " cores detected.")
# detect threads with parallel()
nThreads<- detectCores(logical = TRUE)
cat(nThreads,
浏览 101提问于2019-04-26得票数 2
回答已采纳
1回答
这是我很难理解的：
cl = makeCluster(rep("localhost", 8), "SOCK")
# This will not work, error: dat not found in the nodes
pmult = function(cl, a, x)
{
mult = function(s) s*x
parLapply(cl, a, mult)
}
scalars = 1:4
dat = rnorm(4)
pmult(cl, scalars, dat)
# This will work
pmult = functio
浏览 2提问于2013-05-31得票数 4
回答已采纳
3回答
我试图用纯javascript将一个对象转换为一个数组。
我想把它转换成：
[{"itemCode":"Mob-mtr"},{"itemCode":"640-chr"}]
对此：
["Mob-mtr","640-chr","541-mtr"]
我试过这样的代码：
var arr = Object.keys(obj).map(function (key) {return obj[key]});
还有一些其他的变体，但都没有成功。
知道如何将这个对象转换成数组吗？
浏览 0提问于2016-05-15得票数 1
回答已采纳
我在R中有一个函数fA调用了三次相同的函数fB，如下所示：
fA <- function(x){
r1 <- fB(param1)
r2 <- fB(param2)
r3 <- fB(param3)
return(c(r1,r2,r3))
}
在fA函数中计算fBs函数的参数。但是为了更快，我如何在后台启动每个fB函数并等待结果(这样thre fB函数是并行执行的)
谢谢
浏览 2提问于2014-05-24得票数 0
我正在尝试通过使用parallel package的parLapply远程连接到一台超级计算机来使用多个内核(通过computeCanada)来并行运行一个模型列表。 当我运行这行代码时： modsout<-parLapply(cl=cl, X=mods, fun=run_um) 我得到以下错误： models3out<-parLapply(cl=cl, X=mods, fun=run_um)
Error in do.call(c, clusterApply(cl = cl, x = splitList(X, nchunks), fun
= lapply, :
s
浏览 12提问于2019-05-15得票数 0
1回答
我正在读取包含超过100个文件的目录中的csv文件，然后我正在做一些事情，我有8核cpu，所以我想以并行模式完成更快。
我写了一些代码，但它对我不起作用--(使用linux)
library(data.table)
library(parallel)
# Calculate the number of cores
no_cores <- detectCores() - 1
# Initiate cluster
cl <- makeCluster(no_cores)
processFile <- function(f) {
# reading file by data
浏览 0提问于2017-03-13得票数 0
我有多个嵌套的foreach循环来做一些处理，我如何将这个表达式转换成Linq？
slug.Text = "";
foreach (var script in slugItem.script) {
foreach (var body in script.body) {
foreach (var vo in body.vo) {
foreach (var content in vo.content) {
foreach (var text in content.text) {
slug.Text = string.Format("{0}\n{
浏览 0提问于2012-07-04得票数 0
回答已采纳
3回答
代码：
foreach (var item in items)
testItems.Add(new TestItem { Header = item.TestItemTypeName, Content = item });
testItems是ObservableCollection<TabItem>型的
如何将上面的foreach循环转换成linq格式？谢谢。
浏览 5提问于2014-04-08得票数 0
回答已采纳
我想更改mysql结果的格式...
[0] =>
[id] => 1
[name] => King
[1] =>
[id] => 5
[name] => Queen
转换为此格式：
[1] => King
[5] => Queen
但是我不知道如何将mysql结果转换成这样的格式。
$teamSql = "SELECT id, name FROM users WHERE projectid = '1';
$teamQuery =
浏览 0提问于2012-01-06得票数 0
回答已采纳
我在一个矩阵的不同的行子集上应用了几个函数。以下是一些示例数据：
set.seed(1)
## The data is a simple matrix
dataset <- matrix(sample(1:25, 25), 5, 5)
# [,1] [,2] [,3] [,4] [,5]
#[1,] 7 18 4 19 6
#[2,] 9 22 3 25 16
#[3,] 14 12 24 8 2
#[4,] 20 11 21 23 15
#[5,] 5 1 13
浏览 1提问于2018-02-08得票数 1
回答已采纳
所以我有一个很大的组合列表，来自一个数据，我正在运行一个简单的lm回归，但是组合列表非常长，需要很长的时间来运行每个列表的所有lm。我用谷歌搜索了一下，发现了一个并行的软件包，并开始理解mclapply，但后来意识到它不适用于windows。然后我发现了future.apply::future_lapply 所以基本上这是我的函数中最慢的一部分，它是： regression<- combinations %>%
apply(1, paste, collapse = " + ") %>%
gsub(pattern = " \\+ N
浏览 66提问于2020-09-17得票数 0
回答已采纳
如何从speedDistribution函数调用全局函数parLapply？
speedDistribution <- function(speed)
{
return(quantile(speed, seq(0.2, 1, by = 0.20)))
}
estimateFeatures <- function(trips,target)
{
cl <- makeCluster( 4 )
features = NULL
features = parLapply(cl, 1:length(trips), function(z){
z <-
浏览 3提问于2015-01-12得票数 2
回答已采纳
2回答
R中的多线程
、、、
我需要我的一个项目来缩短一个长长的URL列表(+300 k)。
谨随函附上以下代码：
# This is the function through which I extract an URL and check whether they are
# redirecting towards Twitter or to another external website.
exturl <- function(tweet){
text_tw <- tweet
locunshort2 <- NA # starting value is NA
indtext <-
浏览 12提问于2022-02-28得票数 0
我想使用并行软件包进行学习。然而，每种仿真都有不同的参数。我尝试了下面的代码，但没有起作用。
require(snow)
library(parallel)
tasks = list(
job1 = function(t, n) sim(t=5, n=30),
job2 = function(t, n) sim(t=5, n=50)
)
cl = makeCluster( length(tasks) )
clusterExport(cl, ls())
out = clusterApply(cl, tasks, function(f) f(t, n))
如有任何帮助和建议，将不胜
浏览 0提问于2018-10-12得票数 0
当我试图恢复R中的parLapply算法已经弹出的数据帧时，我遇到了一个问题。
我附上了下一个例子和虹膜数据集，以显示问题。我创建了一个函数，对每个虹膜物种建立一个线性模型，然后对它们进行一个循环。
uniques<-unique(iris$Species)
model<-function(i){
table<-iris[iris$Species==uniques[i],]
fit<-lm(Petal.Width ~ Petal.Length + Sepal.Width + Sepal.Length, data=table)
predicted
浏览 1提问于2017-10-10得票数 0
1回答
我有一个巨大的数据集，其中包含空间数据点和空间多边形。我想计算每个点到最近多边形的距离。
我使用了geosphere包中的dist2Line()。但是时间太长了。
我需要一个更快版本的dist2Line()。
任何帮助都将不胜感激！
浏览 24提问于2019-07-10得票数 1
7回答
嗨，我使用的是CakePHP版本2.x
我正在使用
pr($this->request->params['named']);
//Output
Array
(
[street_name] => Bhubaneswar
[house_number] => 1247
[phone] => xxxxxxxx
[zip] => xxxxx
)
在上面的数组中，我想查看如下所示
/street_name:Bhubaneswar/house_number:1247/phone:xxxxxxxx/zip:xxxxx
如何将
浏览 5提问于2014-07-11得票数 0
回答已采纳
2回答
这个标题可能有误导性，但我并不真正知道它叫什么。对此我深表歉意：
所以，我有这样一个数组
$start = array(
array('waterpark'),
array('spain','greece'),
array('1','2','3','4'),
);
如何将数组转换成这样
$output = array(
array('waterpark', 'spain', '1'),
array
浏览 0提问于2015-06-17得票数 3
回答已采纳
当我遇到一个意外的问题时，我正在调试我正在处理的parLapply函数: parLapply的MoreArgs参数不起作用！现在已经是凌晨5点了，我一定是累了，错过了一些明显而愚蠢的东西，但我无法让自己的生活明白这是什么。总之，下面是给我带来麻烦的最起码的例子：
require(parallel)
cluster <- makeCluster(3)
testFUN <- function(n=10, min=0, max=100, outname="test1.Rdata"){
nums <- runif(n, min=min, max=max)
浏览 2提问于2018-08-03得票数 2
3回答
我正在努力学习linq，但在一些概念上遇到了困难。我该如何将这个双foreach循环转换成linq查询呢？
foreach (var l1 in list1)
{
foreach (var l2 in list2)
{
if (l1 == l2)
{
list1.Remove(l1);
}
}
}
浏览 0提问于2015-02-06得票数 0
1回答
我使用以下代码
ORT<-sqlQuery(channel, "Select ort FROM test")
ORT<-ORT[,c("ort")]
ORT<-as.list(ORT)
ORT <- parLapply(cl,ORT,function(ORT) cleanup(ORT))
sqlSave(channel, ORT,tablename="table_name1")
首先，我将Sql数据库的一个列加载到R中，这很好。接下来，我想使用并行包运行一个函数。这是第一个问题，ORT需要是字符向量，但是Sql将向量作为数
浏览 4提问于2013-11-11得票数 0
回答已采纳
运行对parLapply的调用
cl <- makeCluster(n_division)
parLapply(cl,
seq(1, 22),
function(indice){
data <- readRDS("data.rds")
liste <- unique(data$identif)
lapply(liste,
function(id){
print(id)
df_i
浏览 2提问于2019-10-21得票数 0
我的dataframe是通过读取RDBMS表创建的，它有一列，其中只有一个值：
val sourceCols = spark.read.format("jdbc").option("url", hiveMetaConURL)
.option("dbtable", "(select source_columns from base.spe_tab where tablename='base.forecast') as sCols&#
浏览 52提问于2018-07-28得票数 -1
回答已采纳
2回答
我现在正在处理一个大型数据集，有些函数可能需要几个小时才能处理。我想知道如何通过进度条或数字(1，2，3，...,100)显示代码的进度。我希望将结果存储为有两列的数据框架。下面是一个例子。谢谢。
require(foreach)
require(doParallel)
require(Kendall)
cores=detectCores()
cl <- makeCluster(cores-1)
registerDoParallel(cl)
mydata=matrix(rnorm(8000*500),ncol = 500)
result=as.data.frame(matrix(nr
浏览 2提问于2016-11-18得票数 13
回答已采纳
如何将base64索引转换为普通字符串？
$let = chr(bindec($let))；
它返回：
我需要转换成字符串。
foreach($binaryArray as $binary){
$let = str_pad($binary, 6, 0, STR_PAD_RIGHT);
//$let = bindec($let);
$let = chr(bindec($let));
$base64String .= $let;
}
浏览 9提问于2021-11-29得票数 1
回答已采纳
1回答
我有一个如上所述的数组。偶数字符串是uniqueId，奇数字符串是值。我想把它转换成update sql，即.update，表格集合，value=$value和id=$id。但问题是如何将奇数字符串转换为id，将偶数字符串转换为值。如何将上述数组转换为可执行的sql。
我尝试过json_encode，它让我获得逗号分隔值。我试过爆炸，但不起作用。感谢每一个似乎都不起作用的suggestion.but
谢谢
浏览 3提问于2019-03-10得票数 0
1回答
我不明白如何将全局定义的类传递给使用并行包生成的集群。我让它发挥作用：
funs = "testClass"
fun = function(x) testClass(test = x^2)
testClass = function(test) return(test)
cl <- parallel::makeCluster(2, outfile='')
parallel::clusterExport(cl = cl, varlist = funs, envir = globalenv())
res <- parallel::parLapply(cl
浏览 6提问于2016-10-28得票数 1
回答已采纳
我最近开始在R中为一个项目使用并行技术，并使用包中的在Linux系统上运行我的程序。然而，我对parLapply for Windows的理解遇到了障碍。
使用mclapply，我可以设置核心数、迭代数，并将其传递给工作区中的现有函数。
mclapply(1:8, function(z) adder(z, 100), mc.cores=4)
我似乎不能在使用parLapply的windows中实现同样的效果。据我所知，我需要使用clusterExport()传递所有变量，并传递要应用到参数中的实际函数。
这是正确的，还是有一些类似的mclapply函数适用于Windows？
浏览 2提问于2013-06-20得票数 29
回答已采纳
1回答
我有一组原始查询要转换成游标，然后通过Illuminate\Database\Query\Builder ()方法获取它们的数据。例如：
$queries = [];
$queries[] = 'SELECT * from users';
$queries[] = 'SELECT * from toys INNER JOIN users ON toys.owner_id = user.id';
$queries[] = 'SELECT * from toys';
$connection = \DB::connection();
foreach
浏览 24提问于2021-02-21得票数 0
我想把我所有的文档ID转换成数组，这样我就可以执行array.includes()查询了。
这是我的代码-
this.db.collection('camps', ref => ref.where('id', '==', "fxvb95"))
.snapshotChanges().subscribe(data => {
data.forEach(doc => {
const y = doc.payload.doc.data()['altUID'];
conso
浏览 2提问于2021-05-21得票数 0
回答已采纳
1回答
假设我有一个类，如下所示：
public class MyClass {
public string MyString { get;set; }
}
然后我将其扩展为：
public class MyExtender : MyClass {
public string MyString2 { get;set; }
}
如何将MyClass转换成扩展的，我试过了：
item = (MyExtender)classitem;
但这并不管用。
浏览 0提问于2012-09-18得票数 0
4回答
我可以说我不知道我在请求什么帮助，因为我不知道格式，但我有一张照片。
我有一个byte[]数组，我如何将它转换成下面的格式(右图)？
这不是普通的ascii。
浏览 9提问于2009-05-01得票数 1
回答已采纳
1回答
我使用DomCrawler来获取一些数据，我想知道是否可以从闭包中获取数组，以下是我的代码： $promises = $products
->each(function(Crawler $node) use ($client, $cookieJar) {
$href = $node->filter('a')->last()->attr('href');
return [
$href => $client->getAsyn
浏览 27提问于2021-02-10得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
