从iterrows()到更快的“嵌套Pythonish循环”

文章/答案/技术大牛

发布

2回答

python、pandas、vectorization

我正在尝试将一段代码从iterrows()演变为更快的代码，因为我有一个嵌套循环，复杂性太大了。我发现apply和向量化更好，但不知道如何在嵌套循环中工作。这就是我现在要做的。naive et un poil onereuse (n^2) pour ajouter les donnees extraites for d

浏览 8提问于2019-09-04得票数 0

回答已采纳

1回答

向量化嵌套for循环- pandas

python、performance、for-loop、pandas、vectorization

我有一个例子，来自‘外部’for循环的多个属性与来自‘内部’for循环的多个属性进行比较。这两个循环都在pandas数据帧上，从少量的阅读来看，使用iterrows()进行这种类型的作业通常会很慢。下面是如何/为什么使用这个嵌套的for循环的说明。它非常慢。for key1, values1 in dataframe_1.iterrows</e

浏览 0提问于2015-08-10得票数 1

2回答

为什么嵌套循环从0开始，以及如何将其更改为从它离开的位置开始？

python、pandas、loops、datatable

我想要生成一个代码，它将从两个不同的数据格式中各写20行。因此，我创建了如下所示。除了每次嵌套循环(u)从0开始，一切都很好。你能帮我从它离开的地方开始修理吗？for t, row in results_table1.iterrows(): if t > 0 and t % 20

浏览 2提问于2022-05-10得票数 1

回答已采纳

2回答

如何迭代值并创建匹配条件的人员列表

python、loops、conditional-statements

我是Python新手，我试图创建一个循环，它将根据条件创建两个人员列表。我的Dataframe有三栏：控制是一个人的身份，捐赠是指一个人是否捐了钱。我想要一份捐赠超过1美元的人的名单，另一份清单检查他们是否捐赠了超过5美元。我试着做了一个循环：above1=[] a= val1['controln'] b = val1

浏览 3提问于2021-09-07得票数 1

1回答

使用熊猫找到重叠的时间戳

pandas、vectorization

我有一个包含启动时间、结束时间和transaction_ids的数据文件，如下所示：0 0.0 1537204247.001537204309.002 21.0 1537207170.00 1537207196.00p['overlap'] = Fa

浏览 2提问于2018-10-17得票数 0

回答已采纳

2回答

熊猫df循环通过列导致KeyError 1

python、pandas

我有一个if循环，当我试图引用与熊猫一起导入的dataframe中的位置时，它会抛出一个键错误1。我只在windows上接收到这个错误，循环在os中运行--这个命令也在循环之外工作。我做错什么了？我正在通过一个列运行，如果和字符串值=一个特定的字符串，我希望它告诉我，我也尝试了.loci，这在循环中也不起作用 for R in df: i=i+1

浏览 3提问于2020-05-26得票数 0

回答已采纳

1回答

Pandas Dataframes的Python迭代，重复错误

python、pandas、for-loop、nested-for-loop

我试图使用嵌套的for循环来迭代两只熊猫的数据(A & B)。在第二个for循环之后插入if语句。目标是从dataframes A和B匹配一个unique_id列，然后将另一个列值追加到空列表中。不是每个唯一的id接收一个名称，而是接收到6。似乎循环不迭代一旦有一个匹配。 for j, ro in

浏览 1提问于2022-07-19得票数 1

2回答

熊猫数据帧--为什么这段代码速度这么慢？

performance、pandas

我试图在一个有791行和130列的Dataframe上进行计算。 # jth member of DF DF["Molar Mass"].iloc[j]=round(va

浏览 0提问于2018-07-13得票数 1

1回答

熊猫检查哪个子网IP地址属于哪个？

python、python-3.x、pandas、ip

我有熊猫的用户数据和他们的ip地址： 'ip': ['96.255.18.236']: for idx, row in users_df.iterrows():block), 'geoname'].item()))

浏览 0提问于2018-09-04得票数 4

1回答

使用嵌套for-循环比较不同Pandas数据格式

python、pandas

我正在比较2只熊猫的dataframes列，试图使用嵌套的for循环找到一个子字符串匹配。有没有更有效的方法来做到这一点？以下是我的实际代码：for i, sisRow in sis.iterrows(): codSisc += 1 break

浏览 1提问于2018-10-11得票数 1

回答已采纳

1回答

在PyTorch中将值从一个张量复制到另一个张量的最快方法是什么？

python、conv-neural-network、pytorch、convolution、tensor

我正在实验卷积中的膨胀，我试图用PyTorch将数据从一个二维张量复制到另一个2D张量。我将值从张量A复制到张量B，这样复制到B中的A的每个元素都被n零包围。我已经尝试过使用嵌套的for循环，这是一种非常天真的方法。显然，当我使用大量灰度图像作为输入时，性能很差。for i in range(A.shape[0]): B[n+i][n+j] =

浏览 0提问于2019-04-13得票数 5

回答已采纳

1回答

熊猫在数据框架中循环时，索引器太多了。有更干净的方法来写我的补丁吗？

python、pandas

我试图循环通过一个数据框架，包括即将到来的NFL比赛时间表。这可以在找到。但是，当我试图通过循环和索引来获得团队匹配ups时，我会收到错误-- pandas.core.indexing.IndexingError:太多索引器。我尝试向我的索引中添加一个axis标记，但是收到了错误TypeError：“串联”对象是可变的，因此它们不能被散列。第一组代码会给出太多的索引器错误，但是第二个代码部分可以工作。#Does not work for x in Games.iterrows</

浏览 1提问于2019-08-31得票数 0

回答已采纳

2回答

在熊猫循环数据时使用if/ with语句的最快方法

python、pandas、dataframe、loops、conditional-statements

例如： # transform date column df.loc[i, 'date'] = '0' + df.loc[i, 'date'] df只有大约40k行长，而且非常慢，因为这只是我试图与这个循环合并的语句之一你能用一种更快的<

浏览 3提问于2021-01-16得票数 2

回答已采纳

1回答

搜索整个数据帧中的变量，并返回第一次出现的片段

python、pandas、dataframe、search

我正在搜索我的数据，寻找几个变量，并希望为每个变量的第一次出现的索引。因此，我希望第4列中的数字对应于行值的第一次出现。例如：“1级”栏中的“自掏腰包”，或“第2级”中“医疗补助”的第一次出现。而是搜索整个数据，以查找第一次出现的情况。

浏览 0提问于2019-02-20得票数 0

回答已采纳

1回答

在postgres中禁用嵌套循环的副作用是什么？

postgresql、performance、query-performance

对多个联接的查询花费大量时间在嵌套循环上。我禁用了嵌套循环，查询运行得更快。但是，有人告诉我，嵌套循环可能会跳过一些元组，从而给出错误的结果。这是真的吗？

浏览 0提问于2014-12-13得票数 2

回答已采纳

1回答

在pandas数据帧中相距小于1个单位的点

python、pandas、loops

我想遍历df，得到所有相距小于1个单位或彼此相距小于1个单位的点。Screenshot of df.head() 我当前的代码可以通过使用2 for循环、遍历各行、计算距离和打印if条件为真的情况来工作。for i, j in df.iterrows():for l, k in df1.iterrows(): pnt1,print('Point {} is {}units away from point {}&#x

浏览 14提问于2021-04-21得票数 1

回答已采纳

1回答

如何使用多线程或并行处理来减少运行时间？

python、pandas、parallel-processing

我有嵌套的循环，并希望检查每个内部循环的值与外部循环值的总和。我得到了想要的结果，但这需要几个小时。有没有什么办法可以缩短时间。我使用df.iterrows()遍历所有行。如果时间能减少到5-10分钟甚至更少，那将是非常有帮助的，因为同样的工作需要每天重复。数据帧看起来是这样的： df1......0.929884 0.349760 137 4

浏览 18提问于2019-08-28得票数 1

回答已采纳

1回答

这两项功能是否等同于dataframe的applymap函数？

pandas、dataframe

如何使这个跑得更快？对于我的大数据文件来说，速度非常慢。headers = list(df) for header in headersprint("WARNING: single char row value: {} {}".format(header, row[header]))df = df.applymap(lamb

浏览 0提问于2021-10-02得票数 0

回答已采纳

2回答

Python嵌套循环，break if条件不满足

python、pandas、loops、break

我一直在尝试使用嵌套循环来迭代外部循环pandas DataFrame的行，并针对每一行检查规则的条件(元组列表：(Attribute，Value)，(Att，Val) )是否与内部循环DataFrame的行中的那些Att，Val对匹配。如果规则中的所有条件都满足，我希望记录行的索引，如果一个或多个条件失败，我希望在不记录行索引的情况下中断内循环，继续到下一行。我

浏览 1提问于2017-10-17得票数 0

1回答

python中的嵌套循环

loops、dataframe

我使用的是熊猫Python库，我非常喜欢嵌套循环。我想对每一行进行计算--这很好：我的数据如下： 1 10010for a in range((df_merged['max_move'][row

浏览 0提问于2018-05-05得票数 1

回答已采纳

点击加载更多