提高python pandas速度的技术

文章/答案/技术大牛

发布

1回答

python、pandas、dataframe

我有一个很大的(3毫米唱片)文件。, status3... statusN] 其中行的值将是id，列上的状态的开始日期。，如果正在读取的id不在数据帧中，则在新数据帧中创建一条新记录，然后将原始df中指示的状态的startdate记录到新df中的匹配列上。opportunityid'] newdf.loc[newdf['id'] == row['opportunityid'], row

浏览 25提问于2020-08-24得票数 1

3回答

pip安装速度极慢

python-3.x、pip、ipv6

在Ubuntu 18.04上，任何与pypi联系的pip命令的运行速度都非常慢。$ pip install -v pandas Created temporary directory: /tmp/pip-install-7_spppvw 1 locat

浏览 2提问于2018-06-11得票数 7

1回答

为什么Python比JavaScript慢得多？它还能追上吗？

javascript、python-3.x、performance

我是一名PhD学生，我一直在创建Python程序来处理大规模的科学计算。即使在使用了最优的计算机科学算法之后，我的脚本通常也要花上几个小时才能完成。最近，我尝试在JavaScript中实现一些更重的功能，以比较它的性能，它的速度快了10倍。这让我想知道，如果JavaScript都是解释语言，为什么两者都要比Python快得多呢？Python能赶上这个性能吗？(可能限制几个次要操作，或者添加可选声明以提高</

浏览 1提问于2021-03-13得票数 0

回答已采纳

1回答

用于数据处理的Python类设计

python、dataframe、class、design-patterns、methods

我是python初学者，目前正在学习面向对象编程。我想创建一个类，它将从数据库加载数据，然后对这些数据执行转换和计算。然而，我不确定这个类应该如何设计。这个类将有几个方法，每个方法的输入都是前一个方法的输出。然而，我发现这种方式并不是真正优雅的，我觉得它不符合OOP的精神。class Data: se

浏览 1提问于2020-11-08得票数 1

1回答

python pandas --提高多重赋值的速度

python、pandas

我正在尝试推算熊猫数据帧的形状(30000000，22)。但是，我现在使用for循环收集所有要分配的索引、列和新值，然后使用.loc方法一次性分配所有内容，这样做的速度非常慢。虽然for循环并不是不合理的慢，但在最后使用.loc进行赋值将耗费很长时间，因为有大约2100000个值要赋值。我想知道是否有其他方法可以在合理的时间内完成工作。

浏览 0提问于2018-12-22得票数 0

1回答

Python -提高代码Pandas.append的速度

python、pandas

years是这里包含的列表/resources/archive/us/2008.html/resources/archive/us/2015.html /resources/ar

浏览 1提问于2017-10-21得票数 1

回答已采纳

1回答

pandas多个独立索引(非多个索引)

python、pandas

我在python中有几个大型的pandas data frames，我想通过添加index来提高join操作的速度。在向database table添加索引的类似代码行中。当搜索时，我看到的只是multi-index选项。它看起来就像数据库中的composite index/multi column index。我需要的是几个列上的独立索引(独立，因为这些列是不相关的)，

浏览 17提问于2020-12-02得票数 1

1回答

改进比较熊猫数据行的for循环的性能

python、performance、pandas

我面临Python/Pandas的性能问题。我有一个for循环，比较Pandas DataFrame中的后续行： if df.column_A.iloc[i] == df.column_A.ilocdf.column_B.iloc[i-1] == 'STOP':工作正常，但速度</em

浏览 0提问于2018-06-27得票数 2

回答已采纳

2回答

pandas数据帧中两个字符串模糊匹配的最快方法

python、pandas、jupyter-notebook、fuzzywuzzy、entityresolver

我有两个带有名字列表的数据框我使用fuzzy通过以下代码从fuzz但这需要永远的时间来完成有没有更快的方法来对pandas中的字符串进行模糊匹配？

浏览 26提问于2017-08-16得票数 5

回答已采纳

1回答

pandas数据帧: loc与查询性能

python、performance、pandas、dataframe、indexing

我在python中有两个数据帧，我想查询数据。 DF1: 4M记录x 3列。查询函数看起来比loc函数更有效。 DF2: 2K条记录x 6列。loc函数看起来比query函数更有效。模拟是通过在循环中运行相同的操作10K次来完成的。运行python 2.7和pandas 0.16.0 有什么建议可以提高查询速度吗？

浏览 72提问于2018-04-20得票数 17

回答已采纳

1回答

heroku上的Python提供了h12

python、heroku、npm

我用python数据编写了一个api Nodejs，并将一些绘图转换为pdf文件。它只是一个简单的api，可以处理pandas中的100-200个数据行。所以它在我的本地机器上运行得很好，但是当我把它推到heroku(自由层)上时，它会给出api的超时error.How我能提高我的api速度吗?有没有一种方法来构建python或npm来制作产品版的api。谢谢。

浏览 3提问于2020-10-27得票数 3

3回答

Pandas pivot_table更快的替代品

python、pandas、performance、numpy、dask

我在大型数据集(1,000万行，6列)上使用Pandas pivot_table函数。由于执行时间是最重要的，我试图加快进程。目前，处理整个数据集需要花费大约8秒的时间，这是减慢速度的方法，我希望找到其他方法来提高速度/性能。我试过使用pandas.DataFrame.unstack --这甚至更慢。我还用Dask做了实验。dask pivot_table产生了一些改进(6秒的执行时间--减少了2秒)。是否有更快的<

浏览 0提问于2019-03-28得票数 6

1回答

发现熊猫的前一个交易日非常缓慢。

python、pandas、datetime、trading

我设法用pandas_market_calendars python包来完成它。这是我的全部代码import pandas_market_calendars as mcalimport pandas as pd date7&#x

浏览 4提问于2021-07-11得票数 4

回答已采纳

3回答

提高Pandas数据过滤速度

python、pandas、performance

我有一个有19列和250 K行的数据集。我使用了更大的数据集，但这次，潘达斯决定玩弄我的神经。有其他方法可以提高代码的性能吗？import pandas as pd df = pd.read_csv('myData.csv') #create a dataframe with col1

浏览 0提问于2017-09-24得票数 15

回答已采纳

4回答

是否有技术限制或语言特性使我的Python脚本不能像等效的C++程序那样快速？

c++、python、performance、language-features

我是个长期使用Python的人。几年前，我开始学习C++，看看它在速度方面能提供什么。在此期间，我将继续使用Python作为原型化工具。这似乎是一个很好的系统:用Python进行敏捷开发，在C++中快速执行。但是，是否有技术限制或语言特性使我的

浏览 0提问于2014-07-29得票数 10

回答已采纳

1回答

Delphi中线程速度的提高

multithreading、performance、delphi、delphi-xe2、complexity-theory

我的问题是关于应用程序改进的类型/种类。我想提高我的线程速度(我不能提高线程的复杂性)。我的问题是，如果我使用byte作为函数的参数，而不是整型/长整型，这会改变/提高我的速度吗？不是发送数组，而是发送指向这些数组的指针，这种技术会提高我的速度吗？我还能用什么技

浏览 2提问于2013-01-08得票数 2

回答已采纳

1回答

Python中的并行处理efficient_apriori代码

python、apriori

我有来自eshop的1200万数据。我想用efficient_apriori包来计算关联规则。The problem is that 12 millions observations are too many，所以计算占用了太多的时间。有没有办法提高算法的速度？我正在考虑一些并行处理或者将python代码编译成C语言。我尝试过PYPY，但是PYPY不支持pandas包。感谢您的任何帮助或想法。如果你想看我的代码： import <em

浏览 94提问于2021-11-04得票数 0

回答已采纳

1回答

使用sqlite的pandas.read_sql速度非常慢

python-3.x、pandas、sqlite

我使用的是带有sqlite数据库的pandas.read_sql，它非常慢。我有一个有800行和49列的表(dataype，只有TEXT和REAL)，从数据库获取数据到dataframe需要超过3分钟。DB-File和python脚本运行在同一台机器和相同的文件系统上。有什么方法可以提高pandas.read_sql的速度吗？

浏览 101提问于2019-01-27得票数 1

1回答

同时使用批发量和辍学率？

machine-learning、neural-network、dropout、batch-normalization

我对术语"Dropout“和"BatchNorm”之间的关系有点困惑。据我所知，BatchNorm正则化技术是什么？为什么？我们应该只在训练过程中使用Batch

浏览 0提问于2021-06-03得票数 1

回答已采纳

3回答

下载管理器提高下载速度

download、performance

像IDM这样的下载管理器是如何工作的？他们采用了什么技术来提高下载速度？

浏览 0提问于2010-07-07得票数 2

点击加载更多