Python数据处理从零开始----第二章（pandas）⑧pandas读写csv文件(3)
Python数据处理从零开始----第二章（pandas）⑧pandas读写csv文件(3)
用户1359560
发布于 2019-02-22 15:20:01
发布于 2019-02-22 15:20:01
- 将多个文件加载到Dataframe
如果我们有来自许多来源的数据，如果要同时分析来自不同CSV文件的数据，我们可能希望将它们全部加载到一个数据帧中。在接下来的示例中，我们将使用Pandas read_csv来读取多个文件。
首先，我们将使用Python os和fnmatch在“SimData”目录中列出文件类型为CSV的“Day”字样的所有文件。接下来，我们使用Python列表理解将CSV文件加载到数据帧中（存储在列表中，请参阅类型（dfs）输出）。
import os, fnmatch
csv_files = fnmatch.filter(os.listdir('./SimData'), '*Day*.csv')
dfs = [pd.read_csv('SimData/' + os.sep + csv_file)
for csv_file in csv_files]
type(dfs)
# Output: list最后，我们使用方法concat来连接列表中的数据帧。 在示例文件中有一个名为“Day”的列，因此每天（即CSV文件）都是唯一的。
df = pd.concat(dfs, sort=False)
df.Day.unique()我们要使用的第二种方法有点简单. 如果我们比较两种方法（os + fnmatch与glob），我们可以看到在我们不必放置路径。 这是因为glob将拥有我们文件的完整路径。 便利！
import glob
csv_files = glob.glob('SimData/*Day*.csv')
dfs = [pd.read_csv(csv_file) for csv_file in csv_files]
df = pd.concat(dfs, sort=False)如果我们在每个CSV文件中没有列，确定它是哪个数据集（例如，来自不同日期的数据），我们可以在每个数据框的新列中应用文件名：
import glob
csv_files = glob.glob('SimData/*Day*.csv')
dfs = []
for csv_file in csv_files:
temp_df = pd.read_csv(csv_file)
temp_df['DataF'] = csv_file.split('\\')[1]
dfs.append(temp_df)本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2019.01.06 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读