我正在将摘录加载到运行在Jupyter Notebook中的Pandas dataframes中，以基于数据集推导出一个算法。我根据MAC地址对数据进行分组，这导致了1+百万组。我的算法开发的核心是运行这个操作： pandas.core.groupby.DataFrameGroupBy.filter 根据数据集的不同，运行此操作需要3到5分钟。为了开发这个算法，我必须执行这个操作数百次，甚至数千次。
浏览 22提问于2019-02-10得票数 6
回答已采纳
1回答
frame_1为空，并且包含与frame_2中的Sample列关联的唯一Sample列。我想用基于Sample列从frame_2计算出的产品填充frame_1，然后生成一个Max_prod列。这些框架如下所示： 计算产品前的frame_1 ID Sample prod_1 prod_2 prod_3 Max_prod10 1 120000 20000 30000 120000
1 2 30000
浏览 16提问于2020-12-23得票数 0
回答已采纳
我有一个400.000行15列的csv文件。我必须对每一行进行多次过滤操作。因此，我想使用pandas和groupby来尝试提高性能。使用groupby很快，但get_group似乎很慢。import pandas as pd
df = pd.read_csv(filepath, sep=',', na_values=['', '-&#x
浏览 1提问于2014-08-14得票数 3
我希望通过在6核macbook pro上使用Dask dataframe而不是Pandas来提高性能。然而，Dask的执行速度与Pandas数据帧一样慢，大约需要5分钟。ddf = ddf.set_index(ddf.index, sorted = True)
paired = ddf.
浏览 1提问于2019-07-12得票数 0
2回答
我想要计算大量组的滚动总和，但我在快速计算时遇到了问题。Pandas具有用于滚动和扩展计算的内置方法 下面是一个例子： import pandas as pdobs_per_g = 20obs =(level=0).expanding().sum()
df.groupby(level=0).rolling(window=5).sum() 但对于数量非常多的组来说，这需要很长的时间。对于扩展sums，使用<em
浏览 57提问于2019-07-04得票数 3
回答已采纳
我有大约1000万行数据，并试图按Power中的数据按几个列分组。我试着用"Group“按钮的Power编辑器来完成这个任务，但是性能大约需要15-20分钟。然后，为了提高性能，我尝试了Pandas groupby函数，但是结果只是显示值。我的脚本是：data = data.groupby(['date', 'client ', 'product'] ).sum()
浏览 1提问于2022-05-07得票数 0
1回答
熊猫群按性能/组合2个功能
、、、、
我正在学习python，并试图了解数据查询的最佳实践。下面是一些要测试的虚拟数据(客户销售) 我想调查两种查询：如何在不手动编写循环的</
浏览 1提问于2022-03-04得票数 1
回答已采纳
1回答
我正试图获取每个客户的最新数据，而不管数据文件中的其他属性如何。我的数据看起来像这样我的输出应该如下所示我试过了'df.iloc[df.groupby('customer')'date'.idxmax()]‘，但我得到了ValueError。"ValueError跟踪(最近一次调用)在->1df=df.iloc[df.groupby(‘cutomer’)‘date’..idxmax
浏览 0提问于2020-11-17得票数 0
回答已采纳
1回答
Pandas文档指出: BlockManager的主要好处是提高了某些操作的性能(从2D数组构造、二进制操作、跨列减少)，特别是对于wide DataFrames。我以为我理解了BlockManager是如何通过一篇伟大的文章()来提高性能的，但是我意识到这个例子中有一个小错误。如果我纠正了示例中的错误：
a1 = np.arange(128 * 1024 * 1
浏览 7提问于2022-06-21得票数 1
回答已采纳
目前的数据格式如下：idx uniqueID String
to filter out for the first time a问题：如何获得“启动字符串”的</e
浏览 4提问于2022-09-16得票数 1
回答已采纳
我有超过5 5GB的大文件。我已经将它们存储在镶木地板格式中。当我对小样本600k+记录进行如下代码所示的groupby操作时，Dask需要6分钟以上，而pandas只需要0.4秒。虽然我知道如果数据集可以放在内存中，pandas会更快，但我的问题是，如果我将整个拼图文件传递给Dask dataframe，性能会提高吗？也建议我如何改进下面的代码，这样我可以在几秒钟内运行，而不是在几分钟内。201908.parque
浏览 21提问于2019-09-19得票数 0
4.0SAM 1.2 2.1 b False True 6.0 df的相应数据类型booldtype: object 我执行了以下操作，并遇到了一个异常，其中的聚合操作如下所示。我得到了如下异常 df2 = df.groupby(['Name','num1','num2'],
浏览 13提问于2020-01-11得票数 2
这里的Python新手import pandas as pd
data = {'Gender':['M','M','M','M','F','Revenue_YR列而GroupBy series和PDP_code列，并将所有聚合数据(NE、SW、SE和NC)导出为一个xlsx文件<code>H 222</code><
浏览 3提问于2022-01-01得票数 0
回答已采纳
我有一个应用于熊猫数据文件的功能，我正在考虑使用dask来提高性能。这是我现有的代码： level=0, )
from multiprocessing import cpu_count
df
浏览 1提问于2018-12-13得票数 1
回答已采纳
1回答
列首先使用批处理分组，然后在结果列上有条件的筛选组。码 print('\n****',key,'****', '\n\n', value['Result, dtype: bool
18866 False也试过
.<em
浏览 3提问于2021-03-15得票数 1
回答已采纳
我会在这里尽力澄清我的问题，以及我如何相信它是独特的。以下是我目前的解决方案，我相信它的性能可以提高：
output = pd.concat([grouped.get_group(key).groupby(level=1).filter(lambda x: (x.loc[pd.IndexSlice[:, :, '1'], 'V
浏览 0提问于2018-09-20得票数 1
回答已采纳
我有一个大数据集，我需要日期操作，由于它花费的时间太长，我想知道是否有任何其他方法来提高速度。数据帧如下所示：2017-01-01, 02017-01-01, 2Date, Month, newDate2017-01-01, 1, 2017-02-01我当前的方法是使用=
浏览 7提问于2017-07-26得票数 1
回答已采纳
当对Pandas操作的结果执行筛选时，它返回一个数据。但是如果我想要做更多的组计算，我必须再次调用groupby，这似乎有点接近。有没有一种更地道的方法来做到这一点？')})>>> type(grouped)
<class 'pandas.core.groupby.DataFrameGrou
浏览 7提问于2016-03-06得票数 13
我试图使用自定义聚合函数来提高pandas.groupby.aggregate操作的性能。我注意到--如果我错了-- pandas按顺序调用每个块上的聚合函数(我怀疑它是一个简单的for-loop)。由于pandas在很大程度上是基于numpy的，是否有一种方法可以使用numpy的矢量化特性来加速计算？在我的代码中，我需要将风数据平均
浏览 1提问于2020-12-01得票数 5
回答已采纳
1回答
我试图加速一些用来计算熊猫时间延迟、索引数据格式的代码。dataframe包含由ID列标识的200 k时态序列。我试过达斯克，但没有得到任何改善(比熊猫本身花费的时间更长)。下面是一个可以生成具有可比较大小的虚拟数据的示例：import numpy as npnp.random.seed(1)
ID_data = pd.Series(np.arange(0,20000
浏览 2提问于2021-08-03得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
