完整导图
如果导入的某些列为时间类型,但是导入时没有为此参数赋值,导入后就不是时间类型,如下:
In [5]: df = pd.read_csv('test.csv',sep='\s+',header=0,na_values=['#'])
In [6]: df
Out[6]:
id id.1 age label date
0 1 'gz' 10 YES 1989-12-1
1 2 'lh' 12 NO NaN
In [7]: df.dtypes
Out[7]:
id int64
id.1 object
age int64
label object
date object
dtype: object
date列此时类型为object,想办法转化为时间型:
In [8]: df = pd.read_csv('test.csv',sep='\s+',header=0,na_values=['#'],parse_dat
...: es=['date'])
In [9]: df
Out[9]:
id id.1 age label date
0 1 'gz' 10 YES 1989-12-01
1 2 'lh' 12 NO NaT
In [11]: df.dtypes
Out[11]:
id int64
id.1 object
age int64
label object
date datetime64[ns]
此时的类型为datetime.
date_parser参数定制某种时间类型,详细使用过程总结如下。我们的数据文件:
In [82]: cat test.csv
id id age label date
1 'gz' 10 YES 26-MAY-2019
2 'lh' 12 NO 30-MAR-2019
如果时间格式转化成标准的年月日,操作如下:
In [83]: df = pd.read_csv('test.csv',sep='\s+',parse_dates=['date'],date_parser=
...: lambda dates: pd.datetime.strptime(dates,'%d-%b-%Y'))
In [84]: df
Out[84]:
id id.1 age label date
0 1 'gz' 10 YES 2019-05-26
1 2 'lh' 12 NO 2019-03-30
转化为timetuple格式,如下:
In [85]: df = pd.read_csv('test.csv',sep='\s+',parse_dates=['date'],date_parser=
...: lambda dates: pd.datetime.strptime(dates,'%d-%b-%Y').timetuple())
In [86]: df
Out[86]:
id id.1 age label date
0 1 'gz' 10 YES (2019, 5, 26, 0, 0, 0, 6, 146, -1)
1 2 'lh' 12 NO (2019, 3, 30, 0, 0, 0, 5, 89, -1)
infer_datetime_format 参数默认为 boolean, default False 如果设定为True并且parse_dates 可用,那么pandas将尝试转换为日期类型,如果可以转换,转换方法并解析。在某些情况下会快5~10倍。
逐快读入内存
取值 boolean, default False 返回一个TextFileReader 对象,以便逐块处理文件。
这个在文件很大时,内存无法容纳所有数据文件,此时分批读入,依次处理。具体操作演示如下,我们的文件数据域一共有2行。
先读入一行,get_chunk参数1表示一次读入一行
In [105]: chunk = pd.read_csv('test.csv',sep='\s+',iterator=True)
In [106]: chunk.get_chunk(1)
Out[106]:
id id.1 age label date date1
0 1 'gz' 10 YES 26-MAY-2019 4-OCT-2017
再读入下一行,
In [107]: chunk.get_chunk(1)
Out[107]:
id id.1 age label date date1
1 2 'lh' 12 NO 30-MAR-2019 2-SEP-2018
此时已到文件末尾,再次读入会报异常,
In [108]: chunk.get_chunk(1)
StopIteration Traceback (most recent call last)
<ipython-input-108-f294b07af62c> in <module>
----> 1 chunk.get_chunk(1)
chunksize: int, default None 设置文件块的大小
参数取值为 {‘infer’, ‘gzip’, ‘bz2’, ‘zip’, ‘xz’, None}, default ‘infer’ 直接使用磁盘上的压缩文件。如果使用infer参数,则使用 gzip, bz2, zip或者解压文件名中以‘.gz’, ‘.bz2’, ‘.zip’, or ‘xz’这些为后缀的文件,否则不解压。
如果使用zip,那么ZIP包中国必须只包含一个文件。设置为None则不解压。
In [119]: df = pd.read_csv('test.zip',sep='\s+',compression='zip')
In [120]: df
Out[120]:
id id.1 age label date date1
0 1 'gz' 10 YES 26-MAY-2019 4-OCT-2017
1 2 'lh' 12 NO 30-MAR-2019 2-SEP-2018
thousands : str, default None 千分位分割符,如“,”或者“."
如下,显示数据文件 test.csv
In [122]: cat test.csv
id id age label date
1 'gz' 10 YES 1,090,001
2 'lh' 12 NO 20,010
其中date列为带千分位分隔符的整形,如果我们不显示指定thousands参数,则读入后的date列类型为object. 如下:
In [125]: df = pd.read_csv('test.csv',sep='\s+')
In [126]: df
Out[126]:
id id.1 age label date
0 1 'gz' 10 YES 1,090,001
1 2 'lh' 12 NO 20,010
In [127]: df.dtypes
Out[127]:
id int64
id.1 object
age int64
label object
date object
dtype: object
如果显示指定thousands为,
,则读入后date列显示为正常的整型。
In [128]: df = pd.read_csv('test.csv',sep='\s+',thousands=',')
In [132]: df
Out[132]:
id id.1 age label date
0 1 'gz' 10 YES 1090001
1 2 'lh' 12 NO 20010
In [130]: df['date'].dtypes
Out[130]: dtype('int64')
decimal : str, default ‘.’ 字符中的小数点 (例如:欧洲数据使用’,‘). 类别上面的thousands参数。
float_precision : string, default None 指定c引擎的浮点数转化器,默认为普通,参数可能取值还包括:high-precision, round_trip.
lineterminator: str (length 1), default None 行分割符,只在C解析器下使用。
quotechar: str (length 1), optional 引号,用作标识开始和解释的字符,引号内的分割符将被忽略。
quoting : int or csv.QUOTE_* instance, default 0
控制csv中的引号常量。可选 QUOTE_MINIMAL (0), QUOTE_ALL (1), QUOTE_NONNUMERIC (2) or QUOTE_NONE (3)
doublequote : boolean, default True 双引号,当单引号已经被定义,并且quoting 参数不是QUOTE_NONE的时候,使用双引号表示引号内的元素作为一个元素使用。
escapechar: str (length 1), default None 当quoting 为QUOTE_NONE时,指定一个字符使的不受分隔符限值。
comment: str, default None 标识着多余的行不被解析。如果该字符出现在行首,这一行将被全部忽略。
这个参数只能是一个字符,空行(就像skip_blank_lines=True),注释行被header和skiprows忽略一样。例如,如果指定comment='#' 解析‘#empty\na,b,c\n1,2,3’ 以header=0 那么返回结果将是以’a,b,c'作为header。
encoding: str, default None 指定字符集类型,通常指定为'utf-8'. List of Python standard encodings
dialect: str or csv.Dialect instance, default None 如果没有指定特定的语言,如果sep大于一个字符则忽略。具体查看csv.Dialect 文档
error_bad_lines : boolean, default True
如果一行包含太多的列
,那么默认不会返回DataFrame ,如果设置成false,那么会将该行剔除(只能在C解析器下使用)
。
我们故意修改test.csv文件某个单元格的取值(带有两个空格,因为我们的数据文件默认分隔符为两个空格)
In [148]: cat test.csv
id id age label date
1 'gz' 10.8 YES 1,090,001
2 'lh' 12.31 NO O 20,010
此时,读入数据文件,会报异常:
ParserError: Error tokenizing data. C error: Expected 5 fields in line 3, saw 6
在小样本读取时,这个错误很快就能发现,但是在读取大数据文件时,假如读了1个小时,最后几行出现了这类错误,就很闹心!所以稳妥起见,我们一般都会将error_bad_lines设置为False, 也就是剔除此行, 同时使用下节的 warn_bad_lines 设置为True,打印剔除的这行。
In [150]: df = pd.read_csv('test.csv',sep='\s+',error_bad_lines=False)
b'Skipping line 3: expected 5 fields, saw 6\n'
In [151]: df
Out[151]:
id id.1 age label date
0 1 'gz' 10.8 YES 1,090,001
可以看到输出的警告信息:Skipping line 3: expected 5 fields, saw 6
warn_bad_lines : boolean, default True 如果error_bad_lines =False,并且warn_bad_lines =True 那么所有的“bad lines”将会被输出(只能在C解析器下使用)。
参数 tupleize_cols,不推荐使用。
以上就是读csv文件的所有参数及对应演示。