从pandas数据帧中删除大量行的算法效率
可以通过以下几种方式来提高：
- 使用布尔索引：可以通过使用布尔索引来选择需要保留的行，而不是删除不需要的行。这种方法比逐行删除要高效得多。例如，可以使用条件表达式选择需要保留的行，并将其赋值给新的数据帧。
- 使用drop()函数：pandas提供了drop()函数，可以通过指定需要删除的行的索引或标签来删除行。可以将需要删除的行的索引或标签存储在一个列表中，然后一次性删除这些行，而不是逐行删除。
- 使用切片：如果需要删除的行是连续的，可以使用切片操作来删除这些行。切片操作比逐行删除要高效得多。
- 使用inplace参数：在删除行时，可以使用inplace参数将修改应用到原始数据帧，而不是创建一个新的数据帧。这样可以节省内存空间。
- 使用并行计算：如果数据量非常大，可以考虑使用并行计算来加快删除行的速度。可以使用pandas的并行计算库（如Dask）或其他并行计算框架来实现。
总结起来，从pandas数据帧中删除大量行的算法效率可以通过使用布尔索引、drop()函数、切片、inplace参数和并行计算等方法来提高。这些方法可以根据具体情况选择使用，以达到更高的效率。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云数据库TDSQL：https://cloud.tencent.com/product/tdsql
- 腾讯云云服务器CVM：https://cloud.tencent.com/product/cvm
- 腾讯云容器服务TKE：https://cloud.tencent.com/product/tke
- 腾讯云对象存储COS：https://cloud.tencent.com/product/cos
- 腾讯云人工智能AI：https://cloud.tencent.com/product/ai
- 腾讯云物联网IoT Hub：https://cloud.tencent.com/product/iothub
- 腾讯云移动开发MPS：https://cloud.tencent.com/product/mps
- 腾讯云区块链BCS：https://cloud.tencent.com/product/bcs
- 腾讯云元宇宙Tencent XR：https://cloud.tencent.com/product/xr
相关·内容
1回答
从pandas数据帧中删除大量行的算法效率
python、pandas、dataframe、indexing、drop
我有一个很大的数据帧，从中我已经确定了我想要删除的索引范围。为了识别正确的行，我有一个看起来有点像这样的数组： drop_pairs = [["2020-01-13我正在尝试根据这个数组在我的数据帧中删除行</e
浏览 30提问于2021-10-20得票数 0
回答已采纳
2回答
当存在多个空值时，用熊猫数据帧丢弃行
python、pandas、dataframe
我试图遍历数据帧中的每一行，并检查选定的行是否有3个以上的空值(此部分有效)，然后删除整个行。但是，在尝试从数据帧中删除上述行时，我遇到了一个错误：如果这段代码效率低下，请原谅我，我只需要它来工作。im
浏览 0提问于2021-11-23得票数 0
1回答
从pandas数据帧中删除大量数据
python、pandas
我有高度不平衡的数据(使用二进制标签，0占数据的96%，而1只占4%)为了平衡它，我决定删除一些标签为零的行。但是，由于遍历整个数据帧，因此使用pandas.dataframe.drop()方法删除行需要几个小时。删除数据最省时的方法是什么？我尝试过对数据进行排序，然后清除一堆标签为0的<em
浏览 10提问于2019-07-29得票数 1
回答已采纳
4回答
从pandas数据帧中删除大量列
python、pandas
假设我有一个包含100+列的数据框，我该如何删除最后15列呢？ 有没有比输入更好的方法：df.drop([column1,column2,...,column15])？我必须在这里输入所有列的名称。有没有一种像[column1 : column15]这样的切片方式？
浏览 91提问于2020-02-13得票数 2
回答已采纳
3回答
如何将条件应用于pandas数据帧中的大量列
python、pandas、dataframe
我希望消除具有大量列的数据帧中等于特定值(或在特定范围内)的所有行。例如，如果我有以下数据帧： 0 1 0 2 3 2并且想要删除所有包含0的行，我可以使用：但当您处理大量列时，这就变得很麻烦了。可以这样做：
for i in a_df.column
浏览 0提问于2015-08-25得票数 0
1回答
如何高效地从字典中创建大而稀疏的数据帧？
python、pandas
我有一个很大但非常稀疏的矩阵(50,000行*100,000列，只有10%的值是已知的)。这个矩阵的每个已知元素都是一个从0.00到1.00的浮点数，这些已知值存储在python字典中，格式如下： 'c2': {'r2':0.65, 'r4':0.87} }
现在<em
浏览 0提问于2014-12-19得票数 6
1回答
如何减少处理大数据帧所用的时间
python、pandas、performance
我认为我的代码效率低下，我认为可能有一种方法可以做得更好。
代码的目标是获取一个Excel列表，并且必须将列中的每个元素与同一列中的其余元素关联起来。根据某些条件，将其与关节信息一起存储在新的数据框中，在我的示例中，文件有超过16000行，因此在进行练习时，它必须执行(16.000 x 16.000) 256.000.000次迭代。但这需要几天的
浏览 0提问于2020-07-15得票数 0
1回答
从Pandas数据帧中删除行
python、pandas
我的输出如下所示： Date Sex Race Cause of Death City state04/27/2014 Male White Acute Heroin Intoxication NEW LONDON CT 我的城市列具有值CT(41.575155 -72.738288)，我想删除此行。
浏览 16提问于2021-10-29得票数 1
回答已采纳
1回答
从pandas数据帧中删除行
pandas
我需要根据如下查询从pandas dataframe aa中删除一些行： aa.loc[(aa['_merge'] == 'right_only') & (aa['Context Interpretation'] == 'Topsoil')] 如何从数据报aa中删除此选择
浏览 18提问于2020-11-23得票数 0
回答已采纳
1回答
Python打印用户定义的二维数组中的行
python、pymysql
我有一个基于用户输入的从SQL导入的行列表(使用PyMySQL)。有时，这些返回的行数可以超过5000行(它们存储在一个二维数组中，至少有4列)。这对于用户在打印出屏幕时能够阅读是不切实际的。我已经实现了一个限制器，它将根据用户的输入返回前X个行数。但是，我想返回行的样本，而不是第一个X。即，如果用户选择了100行，而不是得到前100行，他们将得到由阵列中
浏览 24提问于2019-05-14得票数 1
回答已采纳
1回答
如何更有效地读取文本文件和写入数据帧行？
python、pandas
我正在从文本文件中读取行，并将所需的数据写入到pandas数据帧中的行。以下代码(简化)可以工作，但在计算效率上似乎不是很高： with open(DataFile, 'r') as file: data = line.strip().split("\t&quo
浏览 15提问于2020-07-21得票数 1
回答已采纳
3回答
Pandas从pandas数据帧中删除行索引
python-3.x、pandas
我有一个数据帧，数据如下0 1 XXX 30 df.drop("Factor",axis=1,inplace=True)
但它不会删除
浏览 0提问于2020-02-18得票数 1
3回答
将python迭代器输出转换为pandas数据帧的最快方法
python、pandas
我有一个生成器，它返回未知数量的数据行，我希望将这些数据转换为索引的pandas数据帧。据我所知，最快的方法是将CSV写入磁盘，然后通过'read_csv‘解析回来。我知道创建一个空的dataframe，然后不断地追加新的行是没有效率的。我不能创建预置大小的dataframe，因为我不知道将返回多少行
浏览 1提问于2017-03-24得票数 12
1回答
Python不断增长的字典或不断增长的数据帧-在循环中追加
python、python-3.x、pandas
我正在尝试编写代码，在循环中从在线来源收集数据，并在每次迭代中使用pandas操作这些数据。最初，我认为我应该在循环外初始化一个dict，获取数据，将dict转换为循环内的dataframe，并对其执行操作。但是，在循环中创建字典而不是仅仅创建一个数据帧并添加到数据帧中，这感觉非常奇怪。但据我所知，pandas并不是真正为逐个细胞更新而“设计”的(而是向量化<em
浏览 15提问于2019-08-09得票数 2
2回答
Python pandas列过滤子字符串
python、python-3.x、pandas、dataframe
我在使用pandas的python3中有一个数据帧，它有一个列，其中包含一个带有日期的字符串。这是列的子集 ColA"2021-04-08""2020-04-08"
"2020-04-12" 我想删除两次具有相同月份和日期的行，并保留具有最新年份的</em
浏览 16提问于2020-08-28得票数 1
回答已采纳
1回答
在Dask中使用尚未实现的Pandas函数
python、pandas、dask、dask-distributed、dask-delayed
我相信在使用Dask数据帧时，我在Dask教程中看到了一个关于如何使用Dask框架中尚未实现的Pandas函数的建议，但我似乎看错了地方。例如，我想使用Pandas函数'ewm‘。作为一种变通方法，我将Dask数据帧转换为Pandas数据帧，在Pandas数据帧上运行ewm，然后将它们转换回Dask，以便以后进行更多内
浏览 10提问于2019-06-02得票数 1
回答已采纳
1回答
将JSON文件读取到Python Pandas中-不带'\‘
python、json、pandas、dataframe
我正在尝试将JSON文件读取到pandas数据帧中(更具体地说，最终目标是将JSON转换为CSV) 因此，我有一个JSON格式： ["[{\\"key1\\":\\"value1\\",\\"key2\\":\\"value2\\"}]"] 如果我使用下面这行代码，结果数据帧就会在一个大的blob中出现： df = df.read_json(json_filename)
浏览 11提问于2021-06-24得票数 1
回答已采纳
1回答
从pandas数据帧中删除特定行
python-3.x、pandas、dataframe
我有一个pd.DataFrame，在每一行中都有学生的考试成绩指标。每个学生都有一个唯一的ID，每个学生在考试中解决的问题都有唯一的一行。例如，ID为"a1a1“的学生尝试了两个问题，而ID为"w2e3”的学生仅尝试了一个问题。(示例df) ? 我想找出那些试图解决少于3个问题的学生，并从数据框中删除与他们相关的<em
浏览 24提问于2020-12-01得票数 0
回答已采纳
1回答
如何根据特定列中的每个空值从数据帧中删除行？
python、pandas、dataframe
如何根据特定列中的每个空值从数据帧中删除行？
假设我有一个dataframe，它有三列a、b、c，所有列都可以有null值，但我只想droprows列b有null/NaN的地方。我如何在pandas数据帧中做到这一点？
浏览 5提问于2018-02-12得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
