Pandas行迭代查询

文章/答案/技术大牛

发布

1回答

python、pandas、dataframe

30CCC+DDD 150 180LMN 20 30 我在探索pandas方法:我正在考虑在df_2中获取df_1查找的每一行，如果找到了，就添加它们。

浏览 23提问于2020-07-15得票数 0

回答已采纳

2回答

我查询数据库中大约20万行数据，然后使用Pandas在python中进行分析。我经常对相同的数据进行多次迭代，更改不同的变量、参数等等。每次运行该程序时，我都会查询远程数据库(大约10秒的查询)，然后在程序完成时丢弃查询结果。我想将最后一个查询的结果保存在本地文件中，然后每次运行程序时检查查询是否相同，然后只使用保存的结果。我想我可以将Pandas数据文件写到csv，但是有更好/更容易/更快的方法

浏览 5提问于2017-04-04得票数 0

回答已采纳

1回答

如何迭代pandas中的选定行

pandas

我需要迭代pandas数据帧中的一些选定行。我尝试了'for index，row in df.iterrows()‘来迭代所有行。如何选择要迭代的行？比如说第50-100行？

浏览 7提问于2020-09-19得票数 0

回答已采纳

1回答

PySpark -迭代数据框的行

pyspark

我需要迭代pyspark.sql.dataframe.DataFrame.DataFrame的行。我以前在pandas中用iterrows()函数做过，但我需要在不使用pandas的情况下为pyspark找到类似的东西。如果我执行for row in myDF:，它将迭代columns.DataFrame 谢谢

浏览 1提问于2018-07-03得票数 1

回答已采纳

1回答

pandas写入excel覆盖现有excel行

python、pandas、numpy

我必须将数据写入excel，并在每次迭代后向excel追加一行： writer = pandas.ExcelWriter('test.xlsx', engine='openpyxl')reader = pandas.read_excel('test.xlsx') l = len(readerwriter.sheets = dict((ws.title, ws) for w

浏览 37提问于2020-07-25得票数 0

回答已采纳

2回答

在Python中提取Pandas数据帧的行

python、pandas、dataframe

我已经用Python将一个简单的查询日志导入到一个pandas数据帧中(见下图)，我想知道最有效的方法是提取包含任何给定关键字的所有行，这些关键字包含在' keyword‘列中。我可以迭代数据帧--但我有一种感觉，使用数组/掩码可能会更快。

浏览 1提问于2013-05-23得票数 1

回答已采纳

1回答

我如何操作通过itertuples产生的命名元组，特别是删除一个元素并从剩余元素中产生一个字典？

python-3.x、pandas、dictionary、tuples、iteration

in df.iterrows(): kwargs.pop('D') result = func(**kwargs) 这里的具体目标是复制上面的示例，但为了提高效率，需要部署迭代组而不是迭代行但是，当切换到迭代组时，我不确定如何操作pandas.core.frame.Pandas对象，即以类似的方式为每一行生成的pandas.core.series.Series命名元组，以实现与操作iterrows函数生成的panda

浏览 11提问于2021-04-02得票数 0

回答已采纳

1回答

TypeError：_any()缺少一个必需的关键字-纯参数：'where‘

pandas、dataframe

下面是我的代码import numpy as npimport seaborn as sns/io/parsers.py"，第676行，在parser_f low_memory=_c_parser_defaults"low_memory“中，文件"/Users/nikhiladiga/opt/anaconda3/lib/python3.7&#

浏览 4提问于2021-03-23得票数 0

3回答

pandas-gbq目前是否支持参数化查询？

python、pandas、google-bigquery

我需要使用Pandas/ Pandas -gbq在Python语言中创建一个简单的ETL管道，每天将给定日期范围内的数据从BigQuery读取到Pandas数据帧中，并根据查询结果创建单独的日表(写回BigQuery尽管可能有更好、更有效的方法(注意:我不是软件工程师)，但我目前正在研究BigQuery中的来参数化日期列，并在Python中的for循环中迭代这一过程。有人知道pandas-gbq目前是否支持参数化查询吗？提前谢谢。

浏览 2提问于2019-12-17得票数 2

1回答

使用.apply()迭代pandas行

pandas、loops、literate-programming

我想遍历pandas数据框，但由于某种原因，它不能使用.apply()方法。 train = pd.read_csv('..

浏览 8提问于2020-11-18得票数 0

回答已采纳

1回答

迭代数据

python、pandas、dataframe

我试图迭代一个dataframe，从一个列表调用mongodb中的查询，并将每个查询保存在一个csv文件中。我有一个没有错误的连接，但是当我迭代它时，它只是创建了第一个文件(0.csv)，并且我对dataframe的第二行有一个错误。_engine.get_loc(casted_key) File "pandas/_libs/index.pyx", line 136, in pandas._libs.index.IndexEn

浏览 6提问于2022-09-16得票数 0

3回答

将熊猫字符串列拆分为一个数组，并将该数组与另一个数组匹配。

python、pandas、numpy

我有一个Pandas dataframe，看起来像这样：0 A_B_C_D 1232 I_J_K_L789 我希望通过在'_‘上拆分var1来查询数据帧，然后将其与我定义的另一个数组进行匹配。假设这个数组是array_to_match_to = ['A', 'B', 'C', 'D']，那么我想过滤数据帧，只得到行0。此外，我想匹配，无论顺序，所以匹

浏览 4提问于2017-06-09得票数 2

回答已采纳

1回答

itertuples中返回值的类型，打印pandas中itertuple的列名

python-3.x、pandas

1 0.246792 0.961605 0.866785 0.544677我想用itertuples()迭代df，并打印每一行的值和列名。(np.random.rand(3,4),columns=['a','b','c','d']) print(item)Pandas()时，我认为每次<e

浏览 2提问于2017-08-16得票数 1

回答已采纳

1回答

如何在一系列行的熊猫数据栏上矢量化？

python、pandas、numpy、dataframe

所以我有一个带有y行的x列的Pandas DataFrame。DataFrame中的数据是float64值。我试图计算两列之间的斜率相关性，但是对于单个列的范围(例如，列有25000行，我只想要介于5-10之间的值，这些值恰好在2000-4000行中)。其中一个答案提到了比野蛮迭代更好的处理数据的方法：“Pandas中的迭代是一种反模式，只有在用尽了所有其他选项之后，你才应该这样做。我想，我想要完成的大部分工作可以用下面的清单来概括：给出了一个Pandas</

浏览 2提问于2020-06-29得票数 0

回答已采纳

3回答

返回pandas* dataframe中的行，其中列中的元组包含特定值*

python、pandas、tuples、dataframe

我正在尝试查询pandas数据框中的行，其中一列包含一个包含特定值的元组。(cat, dog)7 4 cat和 df['Col1'].

浏览 1提问于2015-04-06得票数 2

1回答

在Python语言中进行迭代时，如何处理datetime的NaT值？

python

如果我在迭代中这样做，我如何处理timetuple的值，这样我就不会收到诸如“NaTType不支持NaT”之类的错误？import datetimet1=t.timetuple()以下是创建样本数据的代码，也是我到目前为止一直尝试迭代的代码文件轴第4042行，在apply return self.)中文件结果行4138，在_apply_standard结果中in = "/Us

浏览 1提问于2016-05-17得票数 6

回答已采纳

1回答

pandas.read_sql()中的块大小参数如何避免将数据加载到内存

python、pandas、postgresql、sqlalchemy

我正在迭代pd.read_sql(query, engine, chunksize=10000)的结果我是在engine (sqlalchemy)设置为echo=True的情况下这样做的，这样它就可以输出Pandas正在使用的数据库(postgres)上的原始sql命令。打印结果显示，Pandas只在我编写的查询中命中数据库一次，没有任何修改。考虑到这一点，Pandas如何能够在不同时将所有块存储在内存中的情况下，以块的形式遍历该查询的全部输出？

浏览 4提问于2020-01-02得票数 5

回答已采纳

1回答

熊猫自定义文件格式

pandas、bigdata

我有一个巨大的Pandas DataFrame，我需要把它写成RankLib可以理解的格式。对于目标，查询ID和3个特性如下所示：1 qid:4 1:8 2:0.4 3:11data_filestr(counter)+':'+str(row[feature])data_file.close() 由于我有大约200个特性和500万

浏览 2提问于2016-05-25得票数 1

回答已采纳

1回答

将列表或数组列表转换为nxn二进制矩阵

python

好的，所以我需要采用以下格式的输入文件1 12 13 13 44 42 3然后将其转换为一个矩阵，其中左边的列表示客户ID，右边的列表示商品ID。我如何需要数据的示例如下：Customer1: 1 2 0 下面是我用来导入数据的方法：

浏览 0提问于2017-03-29得票数 0

1回答

在熊猫数据栏上迭代以比较结果

python、pandas、numpy、dataframe

_engine.get_value(s，k，tz=getattr(series.dtype，"tz"，None)文件"pandas_libs\index.pyx"，第80行，pandas._libs.index.IndexEngine.get_value文件"pandas_libs\index.pyx"，第90行，在pandas._libs.hashtable.Int64HashTable.get_item文件"<em

浏览 5提问于2020-06-15得票数 1

点击加载更多