循环遍历Pandas数据帧中的行花费的时间太长
是因为Pandas的数据帧是基于NumPy数组构建的，而NumPy数组是高效的，支持向量化操作。因此，使用循环遍历行会导致性能下降。
为了提高性能，可以使用Pandas提供的向量化操作和内置函数来替代循环遍历。以下是一些优化建议：
- 使用向量化操作：Pandas提供了许多向量化操作，如apply、map、applymap等，可以直接对整个数据帧或列进行操作，而不需要循环遍历每一行。这样可以大大提高性能。
- 使用内置函数：Pandas提供了许多内置函数，如sum、mean、max、min等，可以直接对整个数据帧或列进行计算，而不需要循环遍历每一行。这样可以减少计算时间。
- 使用Pandas的聚合函数：如果需要对数据进行聚合操作，可以使用Pandas的聚合函数，如groupby、agg等，可以将多行数据合并为一行，减少遍历的次数。
- 使用NumPy的向量化函数：如果需要对数据进行复杂的数学运算，可以使用NumPy的向量化函数，如np.sin、np.cos、np.exp等，可以直接对整个数据帧或列进行计算，而不需要循环遍历每一行。
- 避免频繁的数据复制：在循环遍历过程中，尽量避免频繁地复制数据，可以通过引用或视图来操作数据，减少内存开销。
- 使用适当的数据结构：如果需要频繁地插入或删除行，可以考虑使用其他数据结构，如列表或字典，再将其转换为数据帧。
- 使用并行计算：如果数据量较大，可以考虑使用并行计算来加速处理过程，可以使用Python的多线程或多进程库，如concurrent.futures、multiprocessing等。
综上所述，通过使用向量化操作、内置函数、聚合函数、NumPy函数、避免数据复制、适当的数据结构和并行计算等方法，可以显著提高循环遍历Pandas数据帧中的行的性能。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云云原生容器服务（TKE）：https://cloud.tencent.com/product/tke
- 腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（IoT）：https://cloud.tencent.com/product/iotexplorer
- 腾讯云移动开发（移动推送、移动分析）：https://cloud.tencent.com/product/mpns、https://cloud.tencent.com/product/mobileanalytics
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云区块链（TBaaS）：https://cloud.tencent.com/product/tbaas
- 腾讯云虚拟专用网络（VPC）：https://cloud.tencent.com/product/vpc
- 腾讯云安全产品（DDoS防护、Web应用防火墙）：https://cloud.tencent.com/product/ddos、https://cloud.tencent.com/product/waf
- 腾讯云音视频处理（云点播、云直播）：https://cloud.tencent.com/product/vod、https://cloud.tencent.com/product/live
相关·内容
1回答
循环遍历Pandas数据帧中的行花费的时间太长
python、pandas、pandas-groupby
我已经运行了大约45分钟的代码，现在还在继续。有没有人能给我提个建议，我怎么做才能更快？ 'user_id':np.random.choice( ['11','12','13'], 3000000),我的目标是有一个名为rating的新专栏。
浏览 8提问于2020-03-13得票数 0
0回答
为每个pandas行创建一个包含下10个行列值的向量
python-3.x、list、pandas、numpy、apply
我正在尝试从pandas列创建前10个值的向量，并将其作为单元格中的列表插入到pandas数据框中。下面的代码可以工作，但我需要对超过3000万行的数据帧执行此操作，因此在循环中执行此操作将花费太长时间。
有没有人能帮我把这个转换成我可以应用的numpy函数。我也希望能够在groupby中应用
浏览 0提问于2018-07-14得票数 0
回答已采纳
1回答
在Python中循环二维数组的最有效方法是什么
python、arrays、loops、multidimensional-array
For循环在for循环中花费了大量的时间。5行，并展示了我的数据帧。İskeleler dataframe distance_matrix "İskeleler“数据帧有47行。我想通过查看distance_matrix中第i行的所有值并添加小于1的值，将它们添加到"İskeleler“<e
浏览 23提问于2021-04-22得票数 2
回答已采纳
1回答
R中包含NA的数据帧
r、frame
我有一个数据帧，其中有一些具有NA条目的行，我想找到条目为NA的行和列的索引。我以嵌套的方式循环来完成这件事，这花费的时间太长了。有没有更快的方法呢？谢谢。
浏览 2提问于2012-12-01得票数 1
回答已采纳
1回答
如何在python中读取大型.jl文件
python、pandas、dataframe
我正在尝试读取以下数据集，并将其转换为pandas数据帧：
{'event_info': '...', 'event_timestamp': '...我一直在尝试以下方法，但它花费的时间太长(+60分钟)：import pandas as
浏览 0提问于2020-11-10得票数 3
1回答
提高非常大的数据帧上的迭代性能
python、pandas、dataframe、iteration、list-comprehension
我有一个pandas数据帧，它由300万行和50列组成，所有列都包含整数(正数或负数)。我想创建一个名为'feature‘的新列，它从现有的50列中提取最大的负数。例如，如果对于给定行，50列包含以下值“feature”列应返回-1。因为我的数据帧太大了，所以我尝试的解决方案花费的<e
浏览 3提问于2019-07-17得票数 1
回答已采纳
1回答
如何使用pandasGUI实时刷新数据帧(不使用'remove‘和'add’功能)
python、pandas、dataframe、pyqt5、pandasgui
我基本上是每5秒从PostgreSQL导入一个表，并将其刷新到一个数据帧中，除了列之外，每次的数据帧都是不同的。现在，我只是通过删除旧的数据帧，然后使用pandasGUI中的函数"store.add_dataframe“和"store.remove_dataframe”添加一个新的数据帧来实现这一点。此方法有
浏览 0提问于2021-02-18得票数 0
3回答
遍历datagridview的最佳方法是什么？
c#、datagridview
谁能发布一些关于循环通过dataGridView的最佳方法的小贴士？我有一个包含大量行的datagridview，并希望遍历并获取单元格值。我使用约定的方式，这花费了我太长的时间。提前谢谢。
浏览 0提问于2012-06-12得票数 0
1回答
使用Pandas HDFStore以只读模式打开文件
python、python-3.x、pandas、hdf5
我需要Pandas版本之间的兼容性，所以pickle是不够的，我存储了一堆数据帧，如下所示：hdf.put('mydata', df_mydata)df_mydata = hdf.get('df_mydata')f
浏览 0提问于2018-02-17得票数 4
1回答
将Pandas数据帧放入具有特定格式的字典列表的最有效方法
python、pandas、list、dictionary
我有一个Pandas数据框架，其中包含一个列和一个时间戳索引。数据帧的代码如下所示：indx = pd.date_range(start = '12-12-2020 06:00:00',end = '12-12-2020对于数据帧的每一行，我希望创建一个具有“时间戳”和“值”键的字典。“<em
浏览 5提问于2020-12-18得票数 1
回答已采纳
1回答
删除满足特定条件的多个连续行
r、dataframe、row、vectorization
如果数据帧中所有的值都小于1，并且超过了4行，我就会尝试删除数据帧中的连续行。
假设我们有一个列[0.1, 0, 5, 4, 0.2, 0.1, 0, 0, 0, 4, 9, 10]。然后，我只想删除中间部分的[0.2, 0.1, 0, 0, 0]，并保留[0.1, 0, 5, 4, 4, 9, 10]。问题是，我可以通过使用for循环很容易地做到这一点，但是我正在处理超过300万个数据点，而且它<
浏览 5提问于2021-11-22得票数 0
3回答
嵌套循环替代方案或优化
excel、vba、for-loop
当前试图将每行中的所有单元格附加到该行的第一个单元格中，并遍历每一行。问题是，我处理的是~3000行，每行大约有20列数据。在不使用for循环的情况下，是否有更好的方法将一行中的所有单元格附加到单个单元格中？这可以将代码缩小到单个for循环，并可能加快进程。尝试创建一个嵌套的
浏览 0提问于2019-05-24得票数 2
回答已采纳
1回答
如何加速这个嵌套循环(Index by date?)
python、datetime
我已经想出了一种方法，将这个df拆分成单独的交付和购买的数据帧，然后使用嵌套循环来搜索这两个数据帧--但这真的很低效，而且永远都要花费时间。print(f'Completed iteration {count}')
第一个循环遍历交付的<
浏览 0提问于2019-09-06得票数 0
1回答
数据库的可伸缩性有限制吗？
database、query-optimization
假设数据库越大，选择行所需的时间就越长，那么不管数据库如何优化，最终不会花费太长时间(即让用户讨厌)来遍历数据库吗？
是否仅仅是时间增加的问题如此微不足道，以至于只有理论上的限制，而没有现实的限制？
浏览 0提问于2012-06-30得票数 1
回答已采纳
3回答
在Python中使用了一段时间之后，如何跳过循环的迭代？
python、loops、for-loop、timeout
我有一个循环代码，如果要花费太多的时间，我需要跳过一个迭代。list = ['a', 'b', 'c', ......]for x in list:
在我的代码中，列表有几条路径。我循环遍历列表的每一条路径，在文件中执行一些操作，但是有些文件花费的</e
浏览 12提问于2022-04-27得票数 1
回答已采纳
2回答
删除不再有引用的行
sql、subquery、sql-delete
我想删除seconde表中所有不再引用第一个表或'NULL‘的行。如果可能的话，在单个查询中。 ? 我想到了一个外连接，但这不起作用，因为我得到了两个表中缺少的行。我也不能在代码中做到这一点，因为' in‘查询对于Oracle来说会变得太大，而且我不能只是循环遍历，因为这会花费太长的时间。这就是为什么我希望它可以通过一个查询完成
浏览 17提问于2020-09-07得票数 0
1回答
如何在R中进行动态数据帧索引
r、dataframe、indexing、dynamic
我有两个数据帧:酱料和规则。rules有一个名为fieldname的列，它由sauce中的列名组成。规则有一个名为fieldvalue的行，它由与sauce中的列名相关的字段组成。我想根据规则的字段名和字段值从sauce中提取数据。
我试图使用for循环，但它们花费的时间太长，并且无法从中获得
浏览 2提问于2019-06-01得票数 0
1回答
如何在拆分分支中从Python插入到SQL表中
python、sql、sql-server、pandas、insert
我有一个包含所有结果的Pandas Dataframe，并希望将它们传输到SQL表中。 不过，数据帧的形状是(1788020，4)，并且在运行代码时需要花费太长时间，并且在500左右的行处停止。以防万一，这是我使用的代码： cursor2 = conn2.cursor()
cursor2.execute("truncate table APriori_test"
浏览 22提问于2021-09-02得票数 1
1回答
在多对多关系上使用Sqlalchemy和Pandas大容量插入
python、pandas、sqlalchemy
我有5个pandas DataFrames，它们表示现有PostgreSQL数据库中通过多对多关系链接的表。我的问题是如何将这些数据帧中的数据插入到数据库中。到目前为止，我已经使用automap()获取了sqlalchemy ORM对象，但这是遍历每个数据帧行并为该数据行创建
浏览 1提问于2018-03-29得票数 1
1回答
在使用jupyterlab的Jupiter笔记本中使用read_csv时，如何使用tqdm显示进度条？
pandas、jupyter-notebook、jupyter-lab、tqdm
我想用read_csv和pandas阅读一个巨大的csv，我想显示一个进度条，因为它花费的时间太长了。有没有办法做到这一点？我刚刚看过循环的例子。
浏览 37提问于2021-04-07得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
