1回答
我在下面的代码中遇到了一些性能问题，主要是因为我在一个巨大的数据帧上使用的应用函数。我想用一些函数计算出的其他数据来更新semi_dict字典。有什么方法可以改善这一点吗？
浏览 9提问于2021-02-14得票数 0
1回答
合并两个大型数据帧
、、、
我有两个大数据帧:一个包含3M行，另一个包含2M行第一个数据帧： sacc_id$ id$ creation_date0 001A000000hAUn8IAG： pandas/_libs
浏览 16提问于2019-01-31得票数 0
1回答
我有一个庞大的数据集，并且正在使用Apache进行数据处理。
使用Apache，我们可以将与火花兼容的数据帧转换为与Pandas兼容的数据帧，并在其上运行操作。通过转换数据帧，它是实现了在星火中看到的并行处理的性能，还是它的行为像潘达斯一样
浏览 5提问于2020-07-03得票数 4
回答已采纳
1回答
我试图将两个变量(一个ID和一个DateTime变量)为MultiIndexed的熊猫数据帧转换为dask数据帧，但是我得到了以下错误； "NotImplementedError: Dask doesnot support MultiIndex Dataframes" 我正在使用下面的代码 import pandas as pd
dask_df= dd.from_pandas</em
浏览 18提问于2019-07-02得票数 2
回答已采纳
1回答
我在spark数据帧中有非常大的数据集，它们分布在节点上。如果我想使用像Jarque-Bera (JB)或Shapiro Wilk(SW)等高级统计测试，我会使用像scipy这样的python库，因为标准的apache pyspark库没有它们。但为了做到这一点，我必须将spark数据帧转换为pandas，这意味着将数据
浏览 30提问于2020-09-13得票数 0
我在400,000 x 600大小的数据帧(800MB)的Pandas数据帧上使用scikit-learn预处理和随机森林集成技术。当我通过算法传递这个数据帧时，我得到了这个值错误，可能是由于数据帧中的某个地方有额外的空格。我如何从我的数据
浏览 0提问于2017-01-31得票数 1
2回答
我想知道是否有一种方法可以提高将大型csv文件读取到pandas数据帧中的性能。我有3个大的(每个3.5 it的记录)管道分隔的文件，我想要加载到dataframe中，并在其上执行一些任务。目前，我使用pandas.read_csv()在参数中定义cols和它们的数据类型，如下所示。通过定义列的数据</
浏览 1提问于2018-03-09得票数 0
我有一个场景，我需要在两个大表(每个表超过100列)之间执行ETL，并且两个表之间的列名都不同，即使表示的值是相同的。相同列之间的顺序(存储的值相同，而不是列名相同)不同。table2包含所有的table1列，使用不同的名称，但更多的列很少。表每天生成数百万行，所以我需要大容量插入。例如：
Table1有一个从A到Z的模式。数据流顺序: table1 -> dataframe -> cs
浏览 1提问于2021-03-10得票数 0
1回答
方法1:我的输入数据是一堆json文件。经过预处理后，输出为pandas数据帧格式，该格式将写入Azure SQL数据库表。方法2:我已经实现了delta lake，其中输出pandas数据帧被转换为Spark数据帧，然后将数据插入到分区的Delta Table中。这个过程很简单，而且将pandas数据帧转换为
浏览 8提问于2020-10-28得票数 1
我正在尝试运行添加_日期部分()，它将df列从一个datetime64转换为多个适当的列我用的是is 杂货销售数据集。内核死掉(内存不足，为17.2 GB内存)
所以我试着把这个数据帧分解成更小的部分，然后运行add_datepart，但是结果还是一样的。
浏览 0提问于2019-02-05得票数 1
1回答
我有一个非常大的csv文件，所以我使用spark并将其加载到spark数据帧中。for index, row in locations.iterrows():
浏览 27提问于2018-05-30得票数 0
我目前正在使用Pandas处理一个大型数据集，我必须使用pandas.Series.str.extract提取一些数据。它看起来是这样的： df['output_col'] = df['input_col'].str.extract(r'.*"mytag": "(.*?)"', expand=False).str.upper() 然而，它工作得很好，因为它必须做大约十次(
浏览 15提问于2020-12-07得票数 0
我有一个非常大的数据集(大约20 it )存储在磁盘上，名为Pandas/PyTables，我想在它上面运行随机森林和增强树。尝试在我的本地系统上做这件事需要很长时间，所以我想把它租给一个我可以访问的spark集群，而不是使用MLLib例程。虽然我已经设法将pandas数据帧加载为spark数据帧，但我对如何在MLLi
浏览 1提问于2015-05-06得票数 0
我们目前使用了大量的MongoDB聚合管道来做一些数据处理。然而，我们经常遇到一些性能问题。我正在考虑将数据从MongoDB读取到Pandas数据帧中，并使用Pandas数据帧聚合来处理数据。有谁有比较这两种方法的经验吗？另外，MongoDB聚合管道是否利用了内部的某种并行性？
浏览 0提问于2020-05-15得票数 2
我知道这可能是一个古老的争论，但是在pandas.drop和python del函数中，哪个函数在大数据集上的性能更好？
我正在使用python 3学习机器学习，但不确定该使用哪一个。我的数据是pandas数据帧格式。但是python del函数在python的built-in functio
浏览 0提问于2017-11-22得票数 18
0回答
我正在dask中构建一个非常大的DAG，以提交给分布式调度器，在分布式调度器中，节点操作数据帧，而数据帧本身可能非常大。一种模式是，我有大约50-60个函数，用于加载数据和构造pandas数据帧，每个数据帧大小为几百MB (并且逻辑上表示单个表的分区)。(df) for df in dfs]
return dask.da
浏览 6提问于2017-06-07得票数 4
我有一个执行分析并将结果附加为对象属性的类，这些结果是pandas数据帧： y x，完全没有问题，数据帧装入得很好：>>> with open('test.pickle', 'r
浏览 0提问于2020-08-24得票数 15
回答已采纳
1回答
提高非常大的数据帧上的迭代性能
、、、、
我有一个pandas数据帧，它由300万行和50列组成，所有列都包含整数(正数或负数)。我想创建一个名为'feature‘的新列，它从现有的50列中提取最大的负数。因为我的数据帧太大了，所以我尝试的解决方案花费的时间太长了。例如，我尝试过使用列表理解，但是因为我求助于iterrows()，所以它太慢了(itertuples()的性能并没有明显的<
浏览 3提问于2019-07-17得票数 1
回答已采纳
我之前的代码是pandas数据帧列表列表，如下所示results=results.append(rowResults)
因为所有的数据帧都有完全相同的列，所以当我追加上面的列表时，它将整个数据结构转换为单个数据帧，其中的列与单独的数据
浏览 0提问于2013-01-23得票数 4
回答已采纳
我知道，如果我们想要检查一个数据帧中是否存在一个值，我们可以使用isin()。但是，我想要它在其他数据帧中找到的位置。Like df1'Column1'.isin( df2 'Column2')只有在包含在df2中时才返回True。但我想要它在df2中找到的位置。1我不想在数据帧上循环，因为我有一个非常大的
浏览 2提问于2021-07-29得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
