用map并行化for循环，用pyspark并行化reduce

文章/答案/技术大牛

发布

1回答

python、apache-spark、pyspark

现在，我正在使用一个for循环。但我有一种感觉，使用pyspark中的map和reduce函数可以更有效地完成这项工作。下面是我的代码：from pyspark.sql import SQLContext, GroupedDatarid of date_string = datetime.strftime(dt, '%Y-%m-%d'

浏览 0提问于2016-08-24得票数 3

1回答

Spark实现Scala的并行交叉验证

scala、apache-spark、cross-validation、apache-spark-ml

Pyspark提供了一个很大的可能性，可以通过将模型的交叉验证并行化，简单地用我如何才能实现类似的功能，斯派克的ScalaCrossValidator，即并行化每一个折叠？

浏览 1提问于2017-01-05得票数 3

回答已采纳

1回答

Spark:如何将pairRdd的值转换为Rdd？

apache-spark、pyspark

1,2,3]},{'f':[1,2]}])reduce_rdd= pair_rdd.reduceByKey(lambda x,y: x+y) 输出结果： [('f', [1, 2, 3, 1, 2])] 因为reduce_rdd的值可能非常大，所以我想并行reduce_rddreduce_rdd.

浏览 14提问于2020-07-02得票数 1

回答已采纳

1回答

TensorFlow中张量运算的并行化

python、tensorflow、gpu

我正在尝试并行不同的张量操作。我知道tf.vectorized_map和/或tf.map_fn可以相对于第一个轴并行输入张量，但这不是我想要的。我正在寻找一种方法来并行化一组可能具有不同形状的张量上的for循环。for t in list_of_tensors:有没有可能在GPU上用TensorFlow并行

浏览 3提问于2021-07-07得票数 1

1回答

用PySpark实现程序并行化

python、apache-spark、parallel-processing、pyspark

我对PySpark还是个新手，我正在寻找如何用PySpark并行化一个简单的程序。我没有找到一个Spark转换，可以正确地进行这种处理。我想要做的处理方法是过滤一个非常大的有序向量/列表的一些数值。该程序在“经典”Python中实现非常简单，但需要使用Spark并行化非常快速地获得结果。

浏览 1提问于2018-01-20得票数 0

6回答

"MapReduce“中"Reduce”的并行化

multithreading、optimization、map、multicore、reduce

我理解Map是如何很容易并行化的--每台计算机/CPU只能在阵列的一小部分上运行。 Reduce/foldl是可并行的吗？似乎每个计算都依赖于前一个计算。它只对某些类型的函数可并行化吗？

浏览 1提问于2008-11-30得票数 10

回答已采纳

1回答

如何并行化python/pyspark中的for循环(潜在地跨Amazon服务器上的多个节点运行)？

python、amazon-web-services、parallel-processing、pyspark、mapreduce

我有一些计算密集型的代码，可并行化得令人尴尬。伪代码如下所示。因此，我希望通过将计算分散到亚马逊上运行的500个独立节点来并行运行n=500迭代，将内部循环的运行时间缩短到大约30秒。我该怎么做呢？我假设PySpark是标准的框架，Amazon EMR是相关的服务，可以让我在多个节点上并行运行。所以我的问题是:我应该如何增强上面的代码，以便使用PySpark框架在亚马逊服务器上的500个并行节点上运行？或者，有没有不同的框架和/或Amazon

浏览 52提问于2019-06-02得票数 1

1回答

用Pyspark并行化HTTP请求

python、apache-spark、pyspark

我正在使用pyspark进行一些数据转换:如下所示： .option("dbtable"driver", "org.apache.phoenix.jdbc.PhoenixDriver") \objRDD = df_systems_tree_users.rdd.map我的问题是如何优化代码以高效地并行化我的ht

浏览 0提问于2017-08-31得票数 3

1回答

如何使用PySpark并行化我的文件处理程序

apache-spark、for-loop、pyspark、parallel-processing

对于在这个For循环中遍历的每个文件，我都调用了一个函数parse_file(...)它解析该文件并调用一系列处理该文件的其他函数。整个项目运行起来需要几分钟时间，这很慢，而且驱动程序还没有使用太多的PySpark。问题是每个parse_file(...)在文件级，for循环是按顺序执行。是否可以使用PySpark并行化文件级for循环来运行parse_file(...)对所有这些文件并行执行函数，以减少程序执行时间并提高效率？如果是这样的话，由于程序

浏览 2提问于2020-06-04得票数 1

1回答

优化LBFGS OWLQN实现

apache-spark、apache-spark-mllib、apache-spark-ml

我正在寻找有关在Spark1.6ML库中实现并行LBFGS和OWLQN算法的文档。我为1.6：找到了这个页面，但没有任何关于并行化的内容最后，我阅读了代码link1。该方法似乎使用Breeze优化模型，但我找不到火花函数的调用位置(map、flatMap、reduce、.)。在代码link2中，map</

浏览 2提问于2016-08-01得票数 2

回答已采纳

1回答

用OpenMP实现嵌套循环的并行化

c++、parallel-processing、nested、openmp

我试图用OpenMP在我的代码中并行化以下循环 pot2body=0.0; CEnergymulti::calculatePot(vector<CMolecule*> m_mols) ...schedule(dynamic)

浏览 3提问于2013-04-09得票数 1

回答已采纳

1回答

Spark文档:添加列表元素的简单示例

python、apache-spark、lambda、mapreduce

我正在学习Spark，偶然发现了文档中关于并行化集合的部分。我用python复制了文档中的以下代码，以执行Reduce步骤：datapar = sc.parallelize(data) result = datapar.reduce</e

浏览 9提问于2016-07-15得票数 0

回答已采纳

0回答

将pyspark* 2.2.0数据帧分区写入S3并行化*

dataframe、amazon-s3、parallel-processing、pyspark

开始使用pyspark，遇到了我用代码创建的瓶颈：问题是，循环使处理成为串行的显然，

浏览 4提问于2017-12-10得票数 0

2回答

R-并行化多模型学习(使用dplyr和purrr)

r、parallel-processing、dplyr、purrr

用例是，我对每个主题都有多个观察，我想为每个主题训练一个模型。关于如何做到这一点，请参阅Hadley的。purrr：library(dplyr)dt %>% map$observation, "norm")) 因此，由于建模是一个令人尴尬的并行任务，我想知道dplyr、purrr是否有一种很容易使用的并行化机制(比如并行

浏览 2提问于2016-07-07得票数 16

回答已采纳

2回答

对串行算法进行并行化

algorithm、mapreduce、parallel-processing、distributed-computing、text-mining

嘿，朋友们，Queue<Element>; 有没有办法让像这样的串行算法并行化？我正在尝试想一种反馈机制，能够提供自己的输入，但是如何将其并行化呢？感谢您的帮助/意见

浏览 0提问于2012-05-02得票数 3

1回答

如何使用prefect“How”并行化嵌套循环

prefect

我正在尝试弄清楚如何使用prefect并行化嵌套循环，这需要在外部扇出/输入内进行内部扇出/输入。如果我在外部循环上使用map()，然后将也使用map()的外部循环计算的一些结果传递给unmapped()中的内部循环，这是否会创建内部扇出？那么我如何做一个"partial reduce“来在外部循环中使用内部循环的结果呢？一个指针或例子将是非常感谢的。

浏览 9提问于2020-06-15得票数 2

回答已采纳

3回答

混合Boost FOREACH宏和OpenMP并行化

c++、boost、foreach、openmp

我目前有一段代码(用C语言编写)，它的外部循环是OpenMP并行化的(它在本地对共享内存列表进行操作)。我用C++重写了它，并且我发现BOOST_FOREACH宏是一种非常好的语法，作为循环构造，用于迭代列表、数组等。我的问题是:有没有办法既可以使用这种语法，又可以像OpenMP那样并行化循环？

浏览 3提问于2010-11-22得票数 6

回答已采纳

3回答

布尔值的流，是否为真？

java、lambda、parallel-processing、java-8、java-stream

我想要并行化以下使用parallelStream截取的代码： for (Element e : setOfE) { } return false;以下操作是否适用于并行流，并使用常规短路评估？setOfE.parallelStream().map(e -> eval(e)).reduce(false, (a,b) -> a || b))

浏览 0提问于2014-10-11得票数 57

回答已采纳

1回答

映射化简以计算奇异值分解( SVD )

hadoop、mapreduce

是否可以并行化SVD计算，例如使用Hadoop的MAP REDUCE？你能提供一个简单的例子吗？

浏览 4提问于2011-02-20得票数 2

回答已采纳

1回答

Intel TBB禁用嵌套并行

c++、parallel-processing、openmp、tbb

考虑以下场景:我正在编写一个函数，其中有一个计算密集型循环。我用TBB的parallel_for并行化了它。现在，问题是这个函数可以单独使用，并且可以从并行化中获益。或者它可能在另一个循环中使用。在后一种情况下，外部循环也可以并行化。而且，通常情况下，最好只并行化外部循环。通常，在TBB并行化中，外部和内部循环都不是问题，因为与OpenMP不同

浏览 8提问于2015-06-02得票数 3

回答已采纳

点击加载更多