如果在输入文件中找不到usecols中指定的列,是否可以使Pandas.csv()引发错误?例如,在下面的示例中,我希望Pandas引发一个异常,因为输入文件中没有名为"hello“的列:
import pandas as pd
# Write dummy-data
csv = r"""col1,col2,col3
one,two,three"""
with open("data.csv", "w") as out:
out.write(csv)
# Read dummy-data to DF
df = pd.read_csv("data.csv", usecols=["col1", "col2", "hello"])
print df.to_string(index=False)
输出:
col1 col2 col3
one two NaN
因此,Pandas读取文件中的第三个列名("col3")并用NaNs填充它,而不是引发"hello“不存在的错误。我希望在读取文件时得到通知,而不是在将文件读入内存后验证文件内容。
发布于 2016-12-12 12:03:46
您只需读取标题,并使用isin
测试是否存在所有预期的列名。
In [10]:
import io
csv = r"""col1,col2,col3
one,two,three"""
# Read dummy-data to DF
cols=["col1", "col2", "hello"]
df = pd.read_csv(io.StringIO(csv), usecols=cols, nrows=0)
df.columns.isin(cols)
Out[10]:
array([ True, True, False], dtype=bool)
您可以使用all
来测试是否存在所有的cols:
In [11]:
df.columns.isin(cols).all()
Out[11]:
False
此外,您还可以反转掩码以查找丢失的col:
In [18]:
np.array(cols)[~df.columns.isin(cols)]
Out[18]:
array(['hello'],
dtype='<U5')
您可以将此逻辑放入用户函数中,以返回任何缺少列名的列表:
def missingCol(cols, path):
read_cols = pd.read_csv(path, usecols=cols, nrows=0).columns
return np.array(cols)[~read_cols.isin(cols)].tolist()
https://stackoverflow.com/questions/41100373
复制相似问题