Python3分析CSV数据

2.1 基础Python与pandas

2.1.1 使用pandas处理CSV文件

读取CSV文件

#!/usr/bin/env python3
import sys
import pandas as pd

input_file = sys.argv[1]
output_file = sys.argv[2]
data_frame = pd.read_csv(input_file)
print(data_frame)
data_frame.to_csv(output_file, index=False)

使用Python内置的csv模块

#!/usr/bin/env python3
import csv
import sys

input_file = sys.argv[1]
output_file = sys.argv[2]
with open(input_file, 'r', newline=' ') as csv_in_file:
    with open(output_file, 'w', newline = ' ') as csv_out_fileL
        filereader = csv.reader(csv_in_file, delimiter = ',')
        filewriter = csv.writer(csv_out_file, delimiter = ',')
        for row_ist in filereader:
            print(row_list)
            filewriter.writerow(row_list)

with语句在语句结束时自动关闭文件对象。 使用csv模块reader函数创建文件读取对象filereader,读取输入文件中的行。 使用csv模块的writer函数创建文件写入对象filewriter,将数据写入输出文件。 函数的第二个参数(delimiter=',')是默认分隔符,如果输入和输出文件都用逗号分隔,就不需要此参数。 使用filewriter对象的writerow函数来将每行中的列表值写入输出文件。

2.2 筛选特定的行

在输入文件筛选出特定行的三种方法:

  • 行中的值满足某个条件
  • 行中的值属于某个集合
  • 行中的值匹配正则表达式

从输入文件中筛选出特定行的通用代码结构:

for row in filereader:
    ***if value in row meets some business rule or set of rules:***
        do something
    else:
        do something else

行中的值满足某个条件 pandas提供loc函数,可以同时选择特定的行与列。需要在逗号前设定行筛选条件,在逗号后设定列筛选条件。

例如,loc函数的条件设置为:Supplier Name列中姓名包含 Z,或者Cost列中的值大于600.0,并且需要所有的列。 pandas_value_meets_condition.py

#!/usr/bin/env python3
import pandas as pd
import sys

input_file = sys.argv[1]
output_file = sys.argv[2]
data_frame = pd.read_csv(input_file)
data_frame['Cost'] = data_frame['Cost'].str.strip('$').astype(float)
data_frame_value_meets_condition = data_frame.loc[(data_frame\
['Supplier Name'].str.contains('Z')) | (data_frame['Cost'] > 600.0), :]
data_frame_value_meets_condition.to_csv(output_file, index=False)

行中的值属于某个集合 例如,保留购买日期属于集合{'1/20/14', '1/30/14'} 的行,将结果写入输出文件。 pandas_value_in_set.py

#!/usr/bin/env python3
import pandas as pd
import sys

input_file = sys.argv[1]
output_file = sys.argv[2]
data_frame = pd.read_csv(input_file)
important_dates = ['1/20/14', '1/30/14']
data_frame_value_in_set = data_frame.loc[data_frame['Purchase Date'].\
isin(important_dates), :]
data_frame_value_in_set.to_csv(output_file, index=False)

行中的值匹配正则表达式 例如,保留发票编号由“001-”开头的行,并将结果写入输出文件。 pandas_value_matches_pattern.py

#!/usr/bin/env python3
import pandas as pd
import sys

input_file = sys.argv[1]
output_file = sys.argv[2]
data_frame = pd.read_csv(input_file)
data_frame_value_matches_pattern = \
data_frame.loc[data_frame['Invoice Number'].str.startswith("001-"), :]
data_frame_value_matches_pattern.to_csv(output_file, index=False)

使用pandas时,使用startswith函数来搜索数据。

2.3选取特定列

列索引值

#!/usr/bin/env python3
import pandas as pd
import sys

input_file = sys.argv[1]
output_file = sys.argv[2]
data_frame = pd.read_csv(input_file)
data_frame_column_by_index = data_frame.iloc[:, [0, 3]]
# 用iloc函数根据索引位置选取列
data_frame_column_by_index.to_csv(output_file, index=False)

列标题

只保留发票号码和购买日期两列。

#!/usr/bin/env python3
import pandas as pd
import sys

input_file = sys.argv[1]
output_file = sys.argv[2]
data_frame = pd.read_csv(input_file)
data_frame_column_by_name = data_frame.loc[:, ['Invoice Number', \
                                               'Purchase Date']]
# 用loc函数选取列,这次使用的是列标题
data_frame_column_by_name.to_csv(output_file, index=False)

2.4 选取连续的行

pandas提供drop函数根据行索引或列标题来丢弃行或列,提供iloc函数根据行索引选取一个单独行作为列索引,提供reindex函数为数据框重新生成索引。

#!/usr/bin/env python3
import pandas as pd
import sys

input_file = sys.argv[1]
output_file = sys.argv[2]
data_frame = pd.read_csv(input_file, header=None)
data_frame = data_frame.drop([0, 1, 2, 16, 17, 18])
data_frame.columns = data_frame.iloc[0]
data_frame = data_frame.reindex(data_frame.index.drop(3))
data_frame.to_csv(output_file, index=False)

2.5 添加标题行

pandas的read_csv函数可以指定输入文件不包含标题行,并可以提供一个列标题列表。

#!/usr/bin/env python3
import pandas as pd
import sys

input_file = sys.argv[1]
output_file = sys.argv[2]
header_list = ['Supplier Name', 'Invoice Number',\
               'Part Number', 'Cost', 'Purchase Date']
data_frame = pd.read_csv(input_file, header=None, names=header_list)
data_frame.to_csv(output_file, index=False)

2.6 读取多个CSV文件

文件计数与文件中的行列计数

#!/usr/bin/env python3
import csv
import glob
# glob模块可以定位匹配于某个特定模式的所有路径名。
# 模式中可以包含Unixshell风格的通配符,比如*。
import os
# os 模块包含用于解析路径名的函数。
# 例如,os.path.basename(path) 返回path的基本文件名。
# 即,如果path是C:\Users\Clinton\Desktop\my_input_file.csv,
# 那么os.path.basename(path) 返回my_input_file.csv。
import sys

input_path = sys.argv[1]

file_counter = 0
for input_file in glob.glob(os.path.join(input_path, 'sales_*')):
    row_counter = 1
    with open(input_file, 'r', newline='') as csv_in_file:
        filereader = csv.reader(csv_in_file)
        header = next(filereader, None)
        for row in filereader:
            row_counter += 1
    print('{0!s}: \t{1:d} rows \t{2:d} columns'.format(\
os.path.basename(input_file), row_counter, len(header)))
    file_counter += 1
print('Number of files: {0:d}'.format(file_counter))

创建for循环,在一个输入文件集合中迭代,并使用glob模块和os模块中的函数创建输入文件列表以供处理。 os模块的os.path.join()函数将函数圆括号中的两部分连接在一起。input_path是包含输入文件的文件夹的路径,'sales_' 代表任何以模式'sales_' 开头的文件名。 glob 模块中的glob.glob() 函数将'sales_' 中的星号(*)转换为实际的文件名。在这个示例中,glob.glob() 函数和os.path.join() 函数创建了一个包含3 个输入文件的列表: ['C:\Users\Clinton\Desktop\sales_january_2014.csv', 'C:\Users\Clinton\Desktop\sales_february_2014.csv', 'C:\Users\Clinton\Desktop\sales_march_2014.csv'] 然后,这行开头的for 循环语句对于列表中每个输入文件执行下面缩进的各行代码。

这行代码使用{}占位符将3 个值传入print 语句。对于第一个值,使用os.path.basename() 函数从完整路径名中抽取出基本文件名。对于第二个值,使用row_counter 变量来计算每个输入文件中的总行数。最后,对于第三个值,使用内置的len 函数计算出列表变量header 中的值的数量,这个列表变量中包含了每个输入文件的列标题列表。我们使用这个值作为每个输入文件中的列数。最后,在第15 行代码打印了每个文件的信息之后,第17 行代码使用file_counter 变量中的值显示出脚本处理的文件的数量。

要运行这个脚本,在命令行中输入以下命令,然后按回车键:

python 8csv_reader_counts_for_multiple_files.py "C:\Users\Clinton\Desktop"

要处理多个文件,所以必须使用包含所有输入文件的文件夹。

2.7 从多个文件中连接数据

pandas可以直接从多个文件中连接数据。基本过程就是将每个输入文件读取到pandas数据框中,将所有数据框追加到一个数据框列表,然后使用concat 函数将所有数据框连接成一个数据框。concat函数可以使用axis 参数来设置连接数据框的方式,axis=0 表示从头到尾垂直堆叠,axis=1 表示并排地平行堆叠。

#!/usr/bin/env python3
import pandas as pd
import glob
import os
import sys

input_path = sys.argv[1]
output_file = sys.argv[2]
all_files = glob.glob(os.path.join(input_path,'sales_*'))
all_data_frames = []
for file in all_files:
    data_frame = pd.read_csv(file, index_col=None)
    all_data_frames.append(data_frame)
data_frame_concat = pd.concat(all_data_frames, axis=0, ignore_index=True)
data_frame_concat.to_csv(output_file, index = False)

这段代码垂直堆叠数据框。如果你需要平行连接数据,那么就在concat 函数中设置axis=1。除了数据框,pandas 中还有一个数据容器,称为序列。你可以使用同样的语法去连接序列,只是要将连接的对象由数据框改为序列。有时候,除了简单地垂直或平行连接数据,你还需要基于数据集中的关键字列的值来连接数据集。pandas 提供了类似SQL join 操作的merge 函数。如果你很熟悉SQL join,那么就非常容易理解merge 函数的语法:pd.merge(DataFrame1, DataFrame2, on='key', how='inner')。

Python 的另一个内置模块NumPy 也提供了若干函数来垂直或平行连接数据。通常是将NumPy 导入为np。然后,要垂直连接数据,你可以使用np.concatenate([array1, array2], axis=0)、np.vstack((array1, array2)) 或np.r_[array1, array2]。同样,要平行连接数据,你可以使用np.concatenate([array1, array2], axis=1)、np.hstack((array1, array2)) 或np.c_[array1, array2]。

2.8 计算每个文件中值的总和与均值

pandas 提供了可以用来计算行和列统计量的摘要统计函数,比如sum 和mean。下面的代码演示了如何对于多个文件中的某一列计算这两个统计量(总计和均值),并将每个输入文件的计算结果写入输出文件。

#!/usr/bin/env python3
import pandas as pd
import glob
import os
import sys

input_path = sys.argv[1]
output_file = sys.argv[2]
all_files = glob.glob(os.path.join(input_path,'sales_*'))
all_data_frames = []
for input_file in all_files:
    data_frame = pd.read_csv(input_file, index_col=None)

    total_cost = pd.DataFrame([float(str(value).strip('$').replace(',','')) \
                 for value in data_frame.loc[:, 'Sale Amount']]).sum()

    average_cost = pd.DataFrame([float(str(value).strip('$').replace(',','')) \
                   for value in data_frame.loc[:, 'Sale Amount']]).mean()

    data = {'file_name': os.path.basename(input_file), 
            'total_sales': total_sales, 
            'average_sales': average_sales}

    all_data_frames.append(pd.DataFrame(data, \
    columns=['file_name', 'total_sales', 'average_sales']))

data_frames_concat = pd.concat(all_data_frames, axis=0, ignore_index=True)
data_frames_concat.to_csv(output_file, index = False)

列表生成式将销售额列中带美元符号的字符串转换为浮点数,然后使用数据框函数将此对象转换为DataFrame,以便可以使用这两个函数计算列的总计和均值。

因为输出文件中的每行应该包含输入文件名,以及文件中销售额的总计和均值,所以可以将这3 种数据组合成一个文本框,使用concat 函数将这些数据框连接成为一个数据框,然后将这个数据框写入输出文件。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏深度学习之tensorflow实战篇

python 网页特征提取XPATH(两天玩转) 第一天

XPath 是一门在 XML 文档中查找信息的语言。XPath 用来在 XML 文档中对元素和属性进行遍历。关于xpath的说明文档可以参照 : XPATH基础...

49530
来自专栏AI派

TensorFlow修炼之道(3)——计算图和会话(Graph&Session)

在计算图中,节点表示计算单位,边表示计算用到和产生的数据。 例如,在TensorFlow图中,tf.matmul操作将对应于具有两个输入边(要乘以的矩阵)和一个...

36640
来自专栏AI研习社

将 Tensorflow 图序列化以及反序列化的巧妙方法

将类中的字段和 graph 中的 tensorflow 变量进行自动绑定,并且在不需要手动将变量从 graph 中取出的情况下进行重存,听起来有没有很炫酷?

16440
来自专栏极客慕白的成长之路

关系代数中的除法运算

  这个概念的描述的非常抽象,刚开始学习的同学完全不知所云。这里通过一个实例来说明除法运算的求解过程

11710
来自专栏*坤的Blog

hdu1043

17740
来自专栏debugeeker的专栏

《coredump问题原理探究》Linux x86版5.2节C风格数据结构内存布局之基本数据类型

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/xuzhina/article/detai...

7910
来自专栏数据小魔方

替换与转置函数

今天要跟大家分享两个经常会用到的函数——替换与转置函数! ▽▼▽ excel中的替换函数有两个:substitute/replace 转置函数:TRANSPOS...

30560
来自专栏温安适的blog

贪婪算法-单源最短路径

41550
来自专栏深度学习那些事儿

探讨pytorch中nn.Module与nn.autograd.Function的backward()函数

本文讲解基于pytorch0.4.0版本,如不清楚版本信息请看这里。backward()在pytorch中是一个经常出现的函数,我们一般会在更新loss的时候使...

1.9K50
来自专栏深度学习那些事儿

探讨pytorch中nn.Module与nn.autograd.Function的backward()函数

本文讲解基于pytorch0.4.0版本,如不清楚版本信息请看这里。backward()在pytorch中是一个经常出现的函数,我们一般会在更新loss的时候使...

28540

扫码关注云+社区

领取腾讯云代金券