Python:跳过csv.DictReader中标有#的注释行
Python:跳过csv.DictReader中标有#的注释行
提问于 2013-01-04 22:20:30
用csv.DictReader处理CSV文件是很棒的--但是我的CSV文件有注释行(由行首的散列表示)，例如：
# step size=1.61853
val0,val1,val2,hybridisation,temp,smattr
0.206895,0.797923,0.202077,0.631199,0.368801,0.311052,0.688948,0.597237,0.402763
-169.32,1,1.61853,2.04069e-92,1,0.000906546,0.999093,0.241356,0.758644,0.202382
# adaptation finishedcsv模块doesn't include any way to skip such lines。
我可以很容易地做一些复杂的事情，但我想有一种很好的方法来将csv.DictReader包装在其他迭代器对象周围，该对象进行预处理以丢弃行。
回答 4
Stack Overflow用户
回答已采纳
发布于 2013-01-04 22:20:30
实际上，这可以很好地与filter配合使用
import csv
fp = open('samples.csv')
rdr = csv.DictReader(filter(lambda row: row[0]!='#', fp))
for row in rdr:
print(row)
fp.close()Stack Overflow用户
发布于 2018-05-30 04:13:21
问得好。Python的CSV库缺乏对注释的基本支持(在CSV文件的顶部并不少见)。虽然Dan Stowell的解决方案适用于OP的特定情况，但它的局限性在于#必须作为第一个符号出现。更通用的解决方案是：
def decomment(csvfile):
for row in csvfile:
raw = row.split('#')[0].strip()
if raw: yield raw
with open('dummy.csv') as csvfile:
reader = csv.reader(decomment(csvfile))
for row in reader:
print(row)以下面的dummy.csv文件为例：
# comment
# comment
a,b,c # comment
1,2,3
10,20,30
# comment返回
['a', 'b', 'c']
['1', '2', '3']
['10', '20', '30']当然，这也适用于csv.DictReader()。
Stack Overflow用户
发布于 2019-03-26 05:43:37
读取CSV文件的另一种方法是使用pandas
下面是一个示例代码：
df = pd.read_csv('test.csv',
sep=',', # field separator
comment='#', # comment
index_col=0, # number or label of index column
skipinitialspace=True,
skip_blank_lines=True,
error_bad_lines=False,
warn_bad_lines=True
).sort_index()
print(df)
df.fillna('no value', inplace=True) # replace NaN with 'no value'
print(df)对于此csv文件：
a,b,c,d,e
1,,16,,55#,,65##77
8,77,77,,16#86,18#
#This is a comment
13,19,25,28,82我们将得到以下输出：
b c d e
a
1 NaN 16 NaN 55
8 77.0 77 NaN 16
13 19.0 25 28.0 82
b c d e
a
1 no value 16 no value 55
8 77 77 no value 16
13 19 25 28 82页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/14158868
复制相关文章
相似问题
腾讯云开发者
