Python入门系列6——数据的读写操作

上节回顾：Python入门系列5——条件&循环

上节我们介绍了python中的条件和循环语句，包括常用的 if 语句、for循环、while循环。本节我们将介绍如何使用python进行读写数据的操作。

1.1

数据导入

1. txt&csv数据

python中txt以及csv数据均可以使用read.table或read.csv读取

参数：

header：默认有header，若第一行数据非header需加header=None

sep: 默认read.csv sep=',' ；默认read.table sep= '\t'；

delimiter:同sep

delim_whitespace： 若分隔符为空格（空白）则可以通过delim_whitespace=True定义，与sep='\s+'等价

2. excel数据

importpandas as pddf=pd.read_excel("数据地址","表名称")

参数：

sheet name:默认第一个sheet

index_col:默认为None，可通过index_col=N定义第N列为index，且变量名改为index

3. SQL数据

importpandas as pd

df=pd.read_sql(sql,con)#read sql query or database table

df=pd.read_sql_table(table_name,con)#read sql database table

df=pd.read_sql_query(sql,con)#read sql query

4. SAS数据

importpandas as pddf=pd.read_sas("数据地址")

1.2

数据导出

df.to_csv("数据地址"，参数)

df.to_excel("数据地址"，参数)

参数：

index：默认index=True，设置index=False可以取消导出index

sep: 默认sep=','

na_rep: 默认na_rep=' '

header: 默认header=True, 若不需导出标题可设置header=False

encoding: Python2默认ascii, Python3默认utf-8

1.3

数据批量处理

1. 导入不同数据集

importpandas as pd

importos

folder = '文件夹地址'#定义文件夹地址

datasets=os.listdir(folder)#读取文件夹下的所有文件名

fordatasetindatasets:#循环读取文件夹下所有的数据

dataname= dataset[:-4]

str = dataname+"=pd.read_csv('"+folder+dataset+"',delim_whitespace=True)"

exec(str)

2. 导入同类数据集并append在一起

importpandas as pd

importos

folder ='文件夹地址'#定义文件夹地址

datasets=os.listdir(folder)#读取文件夹下的所有文件名

data=pd.DataFrame()

fordatasetindatasets:#循环读取文件夹下所有的数据并append在一起

path=folder+dataset

data=data.append(pd.read_csv(path))