Pandas read_csv()：如果与架构不匹配，则删除行

文章/答案/技术大牛

发布

1回答

python、pandas、csv、dataframe、data-cleaning

我有一个csv文件，需要读取并解析为Pandas dataframe。理论上，所有列都应该遵循已知的数字数据和字符串模式。我知道一些记录被打破了，要么是字段数量减少，要么是顺序错误。我想要做的是摆脱所有这些有问题的行。作为参考，在PySpark上，我经常使用'DROPMALFORMED'来过滤出与模式不匹配的记录。例如，我认为this代码段可以做到这一点，但它只是复制回错误的值，而不是删除它。

浏览 26提问于2019-02-17得票数 0

回答已采纳

1回答

当CSV内容读取为列表时，pandas read_csv()返回带有.1和.2的重复条目

python-3.x、pandas

我正在使用pandas read_csv()方法将CSV文件的第一行读入列表，如下所示。想象一下，expected_columns="NewYork"，“悉尼” 现在，目标CSV文件也具有相同的列，如"NewYork“、"Sydney”、"Sydney“、"Sydney”。如上所述，当我使用Pandas read_csv()读取CSV时，它将CSV文件的内容返回为"NewYork“、"Sydney.1”、“s

浏览 2提问于2021-07-15得票数 1

3回答

如果与Excel不匹配，则删除Excel中的行

vba、excel

不知道该怎么做，我有一个Excel表格，它可以输入2的电子邮件，但有时它只输入1封电子邮件，所以我希望删除这些行-1@电子邮件12@电子邮件24@电子邮件4if A2=A1 it's good if

浏览 0提问于2015-02-09得票数 0

回答已采纳

2回答

删除不包含/过滤csv flle的行

powershell

如果与txt文件不匹配，我想从csv文件中删除条目。我找到了解决方法，如何对一些同位的东西(如果匹配则保留行)$scope = Get-Content C:\Temp\windows_server.txt

浏览 1提问于2021-10-15得票数 1

3回答

pd.read_fwf()与pd.read_table()在读取大文件时出现差异

python、pandas、dataframe、file-io

11, delimiter = "|",encoding = "latin1", low_memory = False, comment = "#")生成维度的DataFrame : 1100654行x10列因为输入

浏览 0提问于2018-02-16得票数 0

2回答

如何将DataFrame.append替换为pd.concat，以便将系列附加为行？

python、pandas、dataframe

我有一个具有数值的数据框架，如我在一行中添加了所有的列和中，不推荐使用DataFrame.append方法，并将在未来的pandas版本中删除该方法。建议将其替换为pandas.concat。而pd.concat则被解释为列。B totals 0 1.0

浏览 1提问于2022-04-21得票数 1

2回答

PyGTK和线程

python、multithreading、callback、pygtk

看看图中的这个小例子：在这个概念应用程序中(它没有可用的代码)，当用户从Gtk.TreeView中选择一行时，我将显示一些从web获取的特定于行的数据(每行的URL都不同)。因此，当用户单击一行时，将启动一个线程(以避免冻结GUI)，以从URL获取数据。成功获取数据后，将调用一个回调函数来显示列表下的Gtk.Label中的内容。问题是，如果用户快速选择了一些不同的行，那么...会有一点混乱，因为一些请求可能比其他请求花费更长的时间，并且在Gtk.Label中选定的行和数据显示器之间将会出现“去同步”。

浏览 0提问于2010-12-14得票数 1

回答已采纳

1回答

如何在雅典娜的几个列上修复HIVE_CURSOR_ERROR

amazon-web-services、hive、hiveql、amazon-athena

但是，当我只删除列的一个时，它就能工作了！例如，有1列的“选择”作品： SELECT col_1 FROM "my_database"."

浏览 3提问于2018-01-09得票数 2

1回答

Pandas中基于多规则的重复数据删除

python、pandas

我想根据多个条件对pandas中的行进行去重。换句话说，如果name和nick_name不匹配，则保留该行。如果name和nick_name匹配，则删除该行，只要该行不是为该id留下的唯一行。

浏览 23提问于2021-02-19得票数 2

回答已采纳

1回答

StatsModels公式多项式回归不匹配numpy多拟合系数

python、numpy、regression、statsmodels、non-linear-regression

我的多项式回归使用状态模型公式不匹配nupy多拟合系数。链接到数据import numpy as npimport scipy状态模型系数结果：x：-0.5466在Excel中向数据添加二次趋势线时，Excel结果与但是，如果我在Excel趋势线中添加1的截距，x*

浏览 5提问于2020-02-07得票数 1

回答已采纳

2回答

如何从csv文件中删除某些属性值相同的行

python、csv

在该文件中，如果第一、第五和第十三属性的值相同，则行将被视为重复属性。在这种情况下，重复行将被删除。如何在蟒蛇身上做到这一点？

浏览 1提问于2018-04-03得票数 0

回答已采纳

1回答

如何比较列子集上的两个数据格式之间的所有行匹配？

python、pandas、apache-spark、pyspark、pyspark-dataframes

对于具有列标题的行和列，则保持不变。不确定这是否正确的方法，因为这看起来不优雅如果数据集中有更多的列添加或删除以供以后的转

浏览 0提问于2021-02-02得票数 0

3回答

sed删除两个图案之间的行，不包括第二个图案，包括第一个图案

design-patterns、sed

我的输入文件如下所示：text text text text text text现在我有了： sed '/^\['"3456"'\]/,/^\[.*\]/{//p;d;

浏览 0提问于2017-03-20得票数 1

3回答

在Pandas中，当使用read_csv()时，如何将一个NaN分配给一个不是dtype的值？

python、pandas

我的代码中有这一行：它发送一个DtypeWarning: Columns (2,3,4,5,6,7,8,9,10,12,13) have我用Excel检查了文件(大约200 K行)，是的，我找到了一些带有"None“值的单元格。所以我的问题是：是否有一种方法可以忽略错误，或者强迫python用NaN或其他什么东西来填充违规的错误？

浏览 7提问于2016-10-13得票数 12

回答已采纳

1回答

如何用正则表达式模式对列进行分类

python、regex、pandas、dataframe

我的df的一个例子是：df = pd.DataFrame() df['Flop']=['As 5d 7c','As 9s 3s','8c 7d 5s','8d,

浏览 1提问于2020-07-18得票数 1

回答已采纳

1回答

使用re.match()从python中的csv文件中搜索

python-3.x、csv、search

我正在尝试将一个模块放在我的程序中，该模块能够在输入框中输入一个字符串，并在同一个目录中的现有csv文件中搜索它。之后，若要查看字符串是否已找到，则应打印“已找到”或“未找到”。它当前显示了错误： from tkinter import ttkimport rewin.resizable(0, 0)int_inp

浏览 0提问于2018-07-13得票数 0

1回答

将表中的列类型从布尔值更新为字符串

google-bigquery

在不覆盖表和加载所有数据的情况下，我如何才能做到这一点？谢谢!

浏览 3提问于2016-02-07得票数 1

回答已采纳

1回答

如何正确地从Joi.alternatives中删除错误？

typescript、joi

每种类型都有不同的架构。我尝试使用来验证请求JSON。但是，我想从内部验证函数中删除这些错误。当前，alternatives用它的错误消息覆盖它。如果客户是person，则只存在name字段。business或person，但不是两者都匹配。当我传递一个无效的businessCode (如{"businessCode": -999} )时，Joi会抛出 "customer“不匹配任何允许的类型。如何从内部验证中删除错误？

浏览 1提问于2021-06-25得票数 3

1回答

使用JasperETL或Talend验证excel列存在

excel、validation、talend

我是JasperETL的新手。

浏览 3提问于2015-02-17得票数 0

1回答

如果子索引具有符合条件的列值，则从MultiIndex数据中删除索引

python、pandas、pandas-groupby、multi-index

=(len(first)*len(second)*len(third), 4)), index=index, columns=['Val1','Val2',' Val3', 'Val4']) 目标:如果与level=2中的索引值1对应的列'Val2'的值大于该level=1索引的5，则I希望保留特定的level=1索引(如'a')。因此，如果不满足此条件(即'Val2'列小于或等于level=2中的索引

浏览 0提问于2018-09-20得票数 1

回答已采纳

点击加载更多