1回答
我有一个数据帧，我想在其中对值进行混洗，或者更一般地按层次排序，但我被卡住了。下面是我的例子： library(plyr)df <- data.frame(a = rep(letters[1:4], each = 10), b = rnorm(40)b2 a 0.72842344 a 0.25306236 a -0.9339964 在本
浏览 15提问于2020-09-02得票数 0
回答已采纳
10回答
在pandas中按行或按列混洗数据帧的简单而有效的方法是什么？即如何编写一个函数shuffle(df, n, axis=0)，该函数接受一个数据帧、多个随机n和一个轴(axis=0是行，axis=1是列)，并返回已经被随机n次的数据帧的副本。编辑：关键是在不破坏数据帧的行&#
浏览 114提问于2013-04-03得票数 82
回答已采纳
2回答
目前，我在一个单节点Hadoop上工作，我编写了一个作业，将只有一个分区的排序数据帧输出到一个csv文件。我发现，当使用不同的重新分区时，会产生几种结果。首先，我使用orderBy对数据进行排序，然后使用repartition输出CSV文件，但输出是分块排序的，而不是以整体的方式排序。然后，我尝试丢弃repartition函数，但输出只是记录的一部分。我意识到<e
浏览 3提问于2021-09-28得票数 1
1回答
我是Dask库的新手，我想知道如果我们在两个系统上使用dask实现并行计算，那么我们应用计算的数据框架是否存储在这两个系统上？并行计算究竟是如何进行的，文档中并不清楚。
浏览 0提问于2018-07-03得票数 0
最近，有一些关于基于排序的混洗的问题一直困扰着我:1.混洗写入过程会产生多少文件？2*核心还是2*任务？2.基于排序的混洗将产生两种类型的文件:数据文件和索引文件，那么数据文件是什么样子的呢？3.在dataFile中生成了多少partitionID？基于什么来生成partitionID？每个任务会生成相同范围<
浏览 0提问于2019-04-16得票数 0
我有一个数据集，我首先对其进行了混洗，然后将其划分(k倍)为一个数据帧，该数据帧是训练集(67个观察值)和一个表示测试集(10个观察值)的数据帧。
我如何使用训练集在R中建立线性模型来预测测试集？
浏览 1提问于2017-03-07得票数 0
2回答
散列算法混洗？
、、、、
我希望设计一种对列表中的项进行混洗的排序过程/算法，但要根据输入的散列唯一地做到这一点；因此，当对相同的输入--本质上是密码短语--进行散列或处理时，会重新生成完全相同的混洗。这将需要具有唯一地混洗26^4项的能力(应用程序将两个列表配对，每个列表的长度为26^4项，但它只需要混<e
浏览 1提问于2018-04-20得票数 0
1回答
我正在尝试通过对几个列使用dropDuplicates()来删除spark数据帧中的重复项。但是由于大量的混洗和数据倾斜，作业被挂起了。为此，我使用了5个内核和30 do的内存。我正在执行dropDuplicates()的数据大约是1,200万行。
考虑到数据倾斜和混洗，请给我建议在spark中删除重复项<em
浏览 0提问于2018-09-25得票数 0
我正在查看我的spark任务的一些输入和输出指标。这基本上是一个count by key，末尾有一个saveAsHadoop，用于将数据存储到DynamoDB中。一个经典的- map-reduce。看看一些指标，
似乎在映射之后，spark盲目地混洗数据，然后将reduce函数应用于每个混洗的部分。如果reduce函数主要减少输出，那么最好在混<
浏览 0提问于2016-12-16得票数 0
我在csv文件中有75个电子商务客户帐户数据。现在，我想要处理这些数据，并做出一些关于提供促销优惠的决定。由于数据量非常大，我决定使用SparkSQL。因此，如果我能确保一个帐户的数据与事务数据在</em
浏览 2提问于2017-09-28得票数 1
1回答
我有两个包含GB级数据的大型pyspark数据帧df1和df2。第一个数据帧中的列是id1、col1。第二个数据帧中的列是id2、col2。数据帧具有相等的行数。此外，id1和id2的所有值都是唯一的。此外，id1的所有值都恰好对应于一个值id2。 为。前几个条目是用于df1
浏览 9提问于2020-06-10得票数 2
回答已采纳
1回答
我有一个包含1000个例子的数据集，其中500个是正面的，500个是负面的。我正在用0.7的分割比率验证它们，然后把它们放在除了有两层25个节点之外的默认参数的rapidminers MP上。然而，当我验证它时，我的预测都是否定的，我不知道为什么？即使是糟糕的优化MP (就像在这个例子中)，我也应该至少得到一个积极的预测。好吧，这是我第一次在rapidminer上这样做，可能是一个非常基本的
浏览 0提问于2014-06-20得票数 0
1回答
我有一个包含ID列的dataframe，我想对只有特定ID的行进行混洗。我的数据帧示例如下： -----------------------------------------------------------2 tomato red 2 melon yellow 我尝试了下面的方法，而不是像我
浏览 18提问于2019-12-18得票数 1
回答已采纳
1回答
[str(path) for path in list(train_path.glob('*/*.jpeg'))]上面是你可以看到的示例代码在这种情况下，我也有同样的问题：
train_dataset = tf.data.Dataset.from_tensor_slices((x_train, y_train)).batch(64).shuffle
浏览 12提问于2020-02-05得票数 0
回答已采纳
1回答
对avroIO读取的记录是否有排序保证，或者我可以认为它们被很好地打乱了吗？在读取这些文件之后，我需要将数据打乱(如果连续几天这样做，这可能是相当昂贵和耗时的)，但这与将文件打乱然后读取它们是一样的吗？我知道混洗文件并不是完全的混洗，因为我不会在文件中混洗记录，但我可以在文件级上接受足够好的混洗</em
浏览 0提问于2018-03-29得票数 0
1回答
我目前正努力在R Studio中处理数据帧。假设我的数据帧如下所示： x y0 a1 a0 b1 b 是否有可能对行进行混洗，但可以定义变量y的四个不同序列(即aa，ab，bb，ba)相同频繁地出现？在我的原始数据框中总共有24行，我希望我能把我的问题弄清楚。非常感谢您<
浏览 11提问于2020-11-26得票数 0
回答已采纳
下面的代码片段在每次执行时对数字进行混洗，并更改数字的顺序：但是我希望在每次执行应用程序时都要对数字进行混洗，并生成相同的数字序列？
浏览 1提问于2017-06-13得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
