如何有效地逐行处理大型数据帧？

文章/答案/技术大牛

发布

1回答

r、large-data、split-apply-combine

我有一个很大的数据帧(10,000,000+行)需要处理。我也是R的新手，我想更好地了解如何处理像这样的大型数据集。我有一个要应用于数据帧中每一行的公式。但我从经验中发现，"for loops“和"apply”并不能很好地处理非常大的数据集。我一直在尝试使用Split- apply -Combine，但当我想逐行应用函数时，我不太明白如何使用

浏览 15提问于2020-02-13得票数 0

1回答

如何有效地连接大型pyspark数据帧和小型python列表以获取数据库上的某些NLP结果

python、dataframe、apache-spark、pyspark、databricks

我正在用SparkNLP和SparkML在数据库上做自然语言处理。 df1: 0 [0, 2, 3] [0.2105, 0.116, 0.18]

浏览 1提问于2020-09-07得票数 0

1回答

迭代行时未更新Dataframe值

python、pandas

我是Pandas的新手，我正在尝试用它来分析一个大型数据集。我已经阅读了我能找到的所有关于它的东西，但就是不能让它工作。我试图更新数据帧中的值，同时逐行迭代数据帧中的值，但数据帧中的值没有更新。

浏览 0提问于2019-03-28得票数 0

1回答

我遇到的问题是处理来自新根属性的分支如图所示 gain: 1.263221025628615 for Materialprocessing branchmax gain of 0.6036978279454468new root Venue has branches [2 1] 步骤3的最后一步应该根据所选属性的唯一值过滤数据帧2,4,3,3,3,2,1,1,11,2,3,3,3,1,2,1,6 2,6,4,4,

浏览 25提问于2021-11-20得票数 1

回答已采纳

2回答

在大型PySpark数据帧的每一行中应用函数？

pyspark、large-scale

我有一个很大的数据帧(大约30M行)。我有一个函数f。f的任务是遍历每一行，检查一些逻辑，并将输出输入到字典中。该功能需要逐行执行。我如何才能有效地执行业务？

浏览 6提问于2017-08-25得票数 13

1回答

观察循环中的pandas数据帧行

python、loops、dataframe

我尝试在循环中逐行读取数据帧。有一个数据帧df['col_1', 'col_2', 'col_n']，还有一个特定的函数f(df)，它以数据帧的一行作为参数。有没有人能帮我写一段代码，让我在循环中逐行读取数据帧，并对每一行应用f()函数。 PS:在这里，函数f()的输入值必须是一个数据帧，因为它处理引用

浏览 27提问于2019-09-21得票数 0

2回答

在R中有没有像bigmemory这样的包可以处理大的列表对象？

r、list、bigdata

我知道R包bigmemory在处理大型矩阵和数据帧方面工作得很好。然而，我想知道是否有任何软件包或任何方法来有效地处理大型列表。具体地说，我创建了一个元素为向量的列表。

浏览 0提问于2012-11-23得票数 2

1回答

如何从PySpark中一个DataFrames的每一行生成大量的DataFrame集合，然后将其缩减？

sql、dataframe、apache-spark、pyspark

不幸的是，我不能分享我的实际代码或数据，因为它是专有的，但如果问题对读者来说不是很清楚，我可以生成一个MWE。我正在处理一个包含大约5000万行的数据帧，每行都包含一个大型XML文档。从每个XML文档中，我提取了一个与出现次数和标记之间的层次关系相关的统计数据列表(没有什么比无文档记录的XML格式更让人愉快的了)。我可以在数据帧中表达这些统计信息，并且可以使用GROUP BY/SUM和DISTINCT等标准操作在多个文档中组合这些数

浏览 21提问于2021-10-26得票数 0

2回答

在javascript中如何在后台继续进行大进程(如for循环)时渲染HTML页面

javascript、c#、jquery

从大型pdf文件中读取数据时，如何在div中逐行显示数据？我已经创建了一个应用程序，其中我导入大型pdf文件，并在div中逐行附加数据，但应用程序在整个for循环过程后显示所有行。但我希望在div中逐行显示，而不是在进程结束时显示整个。

浏览 14提问于2017-03-16得票数 0

回答已采纳

1回答

如何迭代大型Pyspark Dataframe中列的不同值？.distinct().collect()引发大型任务警告

python、pyspark

我正在尝试迭代一个大型Pyspark Dataframe列中的所有不同值。当我尝试使用.distinct().collect()执行此操作时，即使只有两个不同的值，它也会发出“任务太大”警告。length)], ['a', 'b', 'c']) # This code produces this warning 如何在不遇到内存问题的情况下迭代大型

浏览 1提问于2020-01-14得票数 1

1回答

R Studio:过滤数据帧不可撤消

r、rstudio

我正在尝试探索我的数据集，它使用R Studio存储在R数据帧中。我可以通过使用R Studio的内置过滤器特性来过滤cusip变量，如截图所示。但是，如果我删除了过滤条件，过滤器将保持活动状态。基本上，如果不关闭视图并重新打开它，就无法返回到整个数据集(这对于大型数据帧来说是很耗时的(通常，当文件变得更大时，View(dataframe)会变得很慢(在我的32 my内存机器上是3GB+))。对于如何更有效地完成这项工作，有什么建议吗

浏览 20提问于2019-01-26得票数 0

2回答

从R中的数据包中使用多个数据

r、list、for-loop、lapply

我正在处理一个R包中的大型数据集。f.l <- as.list(f)df.list <- lapply(f.

浏览 3提问于2021-02-24得票数 2

回答已采纳

2回答

根据单元格类型展开pandas列

python、pandas、dataframe

我有以下数据帧： field value1 altitude 2003 date我想将此数据帧转换为以下格式： field string_value int_value datetime_value boolean_value float_value field_type我怎样才能有效地做到这一点呢？我想我可以用apply做到这一点，但这似乎很慢，因为它是逐

浏览 23提问于2019-03-13得票数 1

回答已采纳

1回答

如何将asyncpg.copy_to_table用于Pandas Dataframe

python、pandas、asyncpg

我正在尝试使用asyncpg向postgres写入一个大型的Pandas数据帧，但在尝试使用copy_to_table函数执行此操作时遇到错误。=',') 这是我在使用StringIO时得到的错误： Exception: memoryview: a bytes-like object is required, not 'str' 我还尝试将数据帧加载到index=None, header=None)) TypeError: a bytes

浏览 33提问于2019-02-16得票数 1

回答已采纳

1回答

如何最好地处理将大型本地数据帧转换为SparkR数据帧？

r、sparkr

如何有效地将大型本地数据帧转换为SparkR数据帧？在我的本地开发机器上，当我尝试将~ 650MB的本地数据帧转换为SparkR数据帧时，它很快就会超出可用的内存，而我的开发机器上有40 of的Ram。

浏览 0提问于2016-09-08得票数 3

1回答

将s3中的拼花地板拆分成块

python、amazon-web-services、amazon-s3、parquet、fastparquet

我使用以下代码从s3读取镶木面板文件。接下来，我想对它进行分块迭代。我怎样才能做到这一点？ import s3fsfs = s3fs.core.S3FileSystem() root_dir_path = f'{bucket}/{path}'all_paths_from_s3

浏览 29提问于2021-09-05得票数 1

1回答

使用磁盘上的大型阵列

我需要使用一个包含超过1亿个单元格的大型二维双精度数组。首先需要填充矩阵，然后通过获取一行或一列来操作矩阵。矩阵的大小可以大于1TB，并且在内存中找不到。如何有效地存储数组？主要操作是逐行快速地将其从内存中保存(每个double100k)，并快速读取一行或一列的内存。

浏览 0提问于2017-09-09得票数 1

2回答

使用Python读取堆叠的JSON文件

python、json、dataframe、import

我希望能够逐行或像前200行一样一次读取文件，但我不知道如何做到这一点。是否可以逐行读取文件，然后将各个JSON的所需部分放入数据帧中？或者数据帧会不会太大而无法处理？提前感谢！

浏览 0提问于2018-09-21得票数 1

1回答

优化列表和非常大的字典关键字之间的交集

python-3.x、pandas、dictionary

我必须处理一列大小约为15k到20K的数据帧。我必须处理其中的列'name‘，为此我调用了df.apply我可以使用任何其他数据结构吗？现在这个脚

浏览 0提问于2017-10-13得票数 0

1回答

基于Ignite CacheStore或数据库的Sql查询

sql、caching、ignite

如果不是，是否查询数据库？如果没有，该如何实现呢？如果你know.Thx，请帮帮我。

浏览 6提问于2016-07-25得票数 1

回答已采纳

点击加载更多