使用PySpark随机打乱/重新排序RDD对象的元素

文章/答案/技术大牛

发布

1回答

python、apache-spark、pyspark、rdd

我有一个由list对象组成的RDD对象(示例：[1,2,3,4,5,6] )。我需要对其进行采样，并为此使用sample() pyspark函数，但它看起来检索的是第一个元素，而不是随机采样。我的想法是将元素打乱，然后使用sample()函数，但我无法进行随机化。

浏览 120提问于2021-04-15得票数 0

2回答

花花公子:洗牌

python、hadoop、apache-spark、bigdata、pyspark

我试图随机化RDD中元素的顺序。我目前的方法是用一个混合整数的RDD压缩元素，然后由这些整数加入。我试过用随机键进行排序，这很有效，但是很慢。

浏览 0提问于2015-08-19得票数 8

回答已采纳

5回答

Spark RDD或dataframe中的随机洗牌列

apache-spark、spark-dataframe

有没有什么办法可以让RDD或dataframe中的一列随机排列，使该列中的条目以随机顺序出现？我不确定我可以使用哪些API来完成这样的任务。

浏览 3提问于2016-05-18得票数 9

1回答

星星之火1.6:如何将从Scala jar生成的RDD转换为吡火花RDD？

java、python、scala、apache-spark

我正在尝试创建一些POC代码，演示如何从PySpark调用Scala函数，结果是一个PySpark.RDD。以下是Scala端的代码： } 这就是我在PySpark端访问它所做的事情： >>>

浏览 18提问于2017-05-05得票数 0

回答已采纳

2回答

读取csv文件，其中列被洗牌。

azure、pyspark、databricks、azure-databricks

我试图在数据库中读取csv文件，在这种情况下，它用混合列代替A、B、C，它会像C、A、B一样随机排列，我尝试使用map()，它会抛出错误‘不能选择'_thread.RLock’对象‘from pyspark.sql import SparkSession from pyspark</

浏览 25提问于2022-06-27得票数 0

4回答

对数组进行排序

javascript、jquery、arrays

我有以下内容，然后我想将数组恢复到其原始状态，并将输出发布到console.log。但我有点迷失了方向： var cards=new Array( 'clu02', 'clu04', 'clu06', &#

浏览 0提问于2014-03-06得票数 0

3回答

如何在Spark (Python)中对Row对象的字段进行排序

python、apache-spark、pyspark、apache-spark-sql、pyspark-sql

我正在Spark中创建Row对象。我不希望我的字段按字母顺序排序。但是，如果我这样做，它们是按字母顺序排序的。row = Row(foo=1, bar=2)Row(bar=2, foo=1) 然后，当我在这个对象上创建一个dataframe时，列的顺序将是bar优先，foo第二，而我更喜欢的是相反的顺序。我知道我可以使用"_1“和&qu

浏览 1提问于2016-02-11得票数 14

回答已采纳

1回答

在使用PySpark时，如何在Spark中实现Python数据结构？

python、python-2.7、apache-spark、pyspark

我目前正在自学Spark programming，并试图用PySpark重新编写一个现有的Python应用程序。然而，我仍然对如何在PySpark中使用常规Python对象感到困惑。我了解Spark中的分布式数据结构，如RDD、DataFrame、Datasets、vector等。Spark有自己的转换操作和动作操作，如.map()、.reduceByKey()来操作这些对象。但是，如果我在PySpark中创建传统<

浏览 34提问于2017-03-01得票数 1

回答已采纳

1回答

传递由: PySpark引起的函数错误的java.io.EOFException映射转换

pyspark

当我试图将一个函数传递给Spark的map方法时，我遇到了一些问题。我的问题似乎是在功能，但不确定它。我的功能是这样的： rowDict = row.asDict() rowDicthash_column返回一个Row()对象，或者通过将函数简化为只返回("Hello")，但仍然收到相同的错误。/sql/session

浏览 34提问于2022-10-28得票数 0

3回答

PySpark:从随机均匀分布创建数据

python、apache-spark、pyspark

我试图创建一个数据，使用随机均匀分布在星火。我找不到关于如何创建数据文件的任何内容，但是当我阅读文档时，我发现pyspark.mllib.random有一个RandomRDDs对象，它有一个uniformRDD方法，它可以从随机的均匀分布中创建rdds但问题是它不能产生二维的rdd。是否有一种方法可以创建一个二维的rdd或者(最好是)数据？我可以创建一些rdd，并使用</e

浏览 1提问于2018-05-16得票数 7

回答已采纳

1回答

c++ srand不会给出相同的随机数序列

c++、srand

我有一个使用rand()和srand()的优化算法。为了能够测试行为，我将种子设置为一个特定的数字，以便在程序的不同运行中获得相同的随机数序列。argv) unsigned int seed=47456536; // a lot of stuff including RN问题是，在不同的运行中，我得到了不同的数字序列。

浏览 4提问于2015-02-07得票数 5

3回答

如何使用CoreData进行随机排序

iphone、objective-c、sorting、core-data

我正在使用NSFetchRequest获取一些项目，这些项目可以按流行度或随机性排序。 [request setSortDescriptors:sortDescriptors]; 但是如何对它们进行随机排序呢

浏览 0提问于2010-01-14得票数 4

回答已采纳

0回答

2021-11-11：打乱数组。给你一个整数数组 nums ，设计算法来打乱一个没有重复元素的数？

编程算法

2021-11-11：打乱数组。给你一个整数数组 nums ，设计算法来打乱一个没有重复元素的数组。实现 Solution class:Solutio(int[] nums) 使用整数数组 nums 初始化对象；int[] reset() 重设数组到它的初始状态并返回；int[] shuffle()返回数组随机打乱后的结果。

浏览 208提问于2021-11-11

3回答

Python Spark如何使用RDD* API按组查找累计和*

python、apache-spark、pyspark、rdd

我是spark编程的新手。需要与火花python程序的帮助，在那里我有像这样的输入数据，并希望获得每个组的累积摘要。如果有人能在这方面指导我，我将不胜感激。输入数据：11,1,2,15012,2,1,70所需的输出数据如下：11,1,2,250 /(100+150)12,1,1,5012,2,2,90 / (70+20)def par

浏览 4提问于2017-03-21得票数 3

1回答

将行列表保存到pyspark中的配置单元表

python、hive、pyspark、pyspark-sql

我有一个pyspark应用程序。我将一个hive表复制到我的hdfs目录中&在python中，我对这个表执行了sqlContext.sql查询。现在这个变量是我称之为rows的数据帧。我需要随机地对rows进行混洗，所以我必须将它们转换为一个行列表rows_list = rows.collect()。然后我使用shuffle(rows_list)将列表打乱到合适的位置。我取x所需的随机行数 for r in range(x):

浏览 1提问于2016-04-28得票数 5

回答已采纳

2回答

打印RDD* / Dataframe的特定分区*

pyspark

我一直在试验PySpark RDD的分区和重新分区。rdd.glom().collect() rdd<

浏览 2提问于2021-05-19得票数 1

回答已采纳

1回答

将一个简单的字符串作为文本文件存储在蔚蓝突触中(到数据湖gen2)

python、azure、azure-synapse、azure-data-lake-gen2

我试图在datalakeGen2中将一个简单的字符串存储为文本文件，编写在Synapse记事本上的python代码。但它似乎并不是直接的。我试图将文本转换为rdd，然后存储：from pyspark import SparkContextstr = "test str

浏览 2提问于2021-06-29得票数 0

回答已采纳

2回答

apache火花迭代跳过并从RDD获取

java、apache-spark、rdd

给定一个RDD，对其进行排序，然后以离散大小的块来使用它的最佳方法是什么？List<Integer> second = sorted.take(2); 我真正想要的是在第一次调用1, 2时使用take(2)，然后有某种“跳过”参数传递到第二个take(2)以返回3, 4？由于这个“跳过”函数似乎不存在于当前的RDD功能中，那么将排序的RDD分解为已知大小的</e

浏览 2提问于2018-03-19得票数 1

回答已采纳

2回答

测试将值插入到mongodb中(pyspark，pymongo)

python、mongodb、apache-spark、pyspark、mocking

table.find_one({}) import pysparkimport pymongo servers=(("mongodbpymongo.MongoClient('mongod

浏览 2提问于2019-08-20得票数 1

3回答

火花中的flatMap会引起洗牌吗？

scala、apache-spark、bigdata

星星之火中的flatMap行为是否与映射函数类似，因此不会导致洗牌，还是会触发洗牌。我怀疑这确实会引起洗牌。有人能确认一下吗？

浏览 0提问于2016-04-04得票数 8

回答已采纳

点击加载更多