python数据清洗

数据的质量直接关乎最后数据分析出来的结果,如果数据有错误,在计算和统计后,结果也会有误。 所以在进行数据分析前,我们必须对数据进行清洗。需要考虑数据是否需要修改、如何修改调整才能适用于之后的计算和分析等。

数据清洗也是一个迭代的过程,实际项目中可能需要不止一次地执行这些清洗操作。

缺省参数 nan 将元素只为None 则显示为缺省参数NaN

# 读取数据
file = './data/a.csv'
'''
AAPL, 342, 123, 42, 243, 138, 213
56, 432, 125, 34, 223, 613, ?
56, 123, 182, 44, 213, 313, 121
87, 234, 172, 46, 273, 213, 216
AAPL, 46, 912, 41, 923, 123, 218
AAPL, 23, 172, 46, ?, 213, 216
' ?', 111, 912, 41, 923, ?, 218
'''
# 获取文件共有多少行
# 这种方法简单,但是可能比较慢,当文件比较大时甚至不能工作。
lenNum = len(open(file).readlines())
print(lenNum)

# 读取大文件共多少行
count = 0
for index, line in enumerate(open(file,'r')):
    count += 1
print(count)
读取数据 如果数据不存在或不符合数值规则 用nan填充
delimiter 以什么符号进行分割 
skiprows=12 跳过开头12行 数据是从第13行开始的
usecols 就是获取下标为6,7列 的内容
unpack=True: 读取的内容是否分开显示,默认为False False返回一个大列表, 如果为True 必须多个参数接收数据,每个为一维数组 
c,v=np.loadtxt('a.csv', delimiter=',', usecols=(6,7), unpack=True)
# 读取后的数据类型:numpy.ndarray
缺省数据处理
01 直接填充 适合格式 DataFrame, numpy.ndarray
from sklearn.preprocessing import  Imputer

# axis 默认为0 是通过列的平均值来填充 1按行的平均值填充
imputer = Imputer(axis=1)
data = imputer.fit_transform(data)
print(data)
02 删除
# 过滤掉带缺省参数的内容 即删除
# how='all' 行或列只要存在就删除 axis=0 按行删除 axis=1 按列删除

# 将内容转为DataFrame 类型
data = pd.DataFrame(data)
# print(data)

data2 = data.dropna(axis=1)
print(data2)

DataFrame类型

读取数据时,没有头标签的要加上header, header=None 否则数据显示有问题 数据被会names(列标签)占用,可以先读取,获取 行和列,如果没有头标签,再设置names标签 其他参数: 文件读取部分数据 skiprows=2 跳过前2行 skiprows=[2] 跳过下标为2的那一行 下标从0开始 nrows=2 读取n行 chunksize=2 每次读取的行数 返回可可遍历列表对象

data = pd.read_csv('./data/a.csv', delimiter=",", skiprows=0,  names=['a', 'b', 'c', 'd', 'e', 'f', 'g'])
print(type(data))
print(data)

01、 内容填充 参考上面 02、删除缺失参数NaN 参考上面

03 指定数据缺省参数
# data = data.fillna(0)   # 全0填充
# 指定元素填充 用字典表示 "g":88 g列的全用88填充
# data = data.fillna({"g":88})
04、将 ?替换为nan
# 单个替换
#data = data.replace(" ?", np.nan)

#向前填充 列填充 用缺省参数上面的数字填充
# data = data.replace(['AAPL',' ?'],method='ffill')

#向后填充 列填充 用缺省参数下面的数字填充
# data = data.replace(['AAPL',' ?'],method='bfill')

# 多个替换
# data = data.replace(["AAPL", ' ?'], value=np.nan)

# 多个内容换为多个值
# data = data.replace({"' ?'":88, "AAPL":88, " ?":88})

#正则替换  ?????????
#value参数显示传递
data = data.replace(regex=[r'\?|\.|AAPL'],value=np.nan)#用np.nan替换?或.或$原字符
print(data)

其他作用
# df.replace(r'\?|\.|\$',np.nan,regex=True)#用np.nan替换?或.或$原字符
# df.replace([r'\?',r'\$'],np.nan,regex=True)#用np.nan替换?和$
# df.replace([r'\?',r'\$'],[np.nan,'NA'],regex=True)#用np.nan替换?用  NA替换$符号
# df.replace(regex={r'\?':None})

总结: 1、通过 np.genfromtxt(file, delimiter=",", skip_header=0) 在读取数据时,直接将不符合类型的数据转为NaN 2、# 将内容转为DataFrame 类型 再进行其他缺省值处理 3、平均值替换 4、删除缺省参数 5、指定内容填充

额外补充:

文件写入时,注意点
# float_format='%.2f' #保留两位小数

# 写入时 将行和列下标去除 只保存真实数据
# data.to_csv("frame8.csv", index=False, header=False,  float_format='%.2f')

# 如果数据结构中有缺省值NaN时, 在写入文件时要添加设置缺省参数 na_rap = "NaN" 否则写入时会显示空白
# data.to_csv("frame.csv", na_rap = "NaN")

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏浪淘沙

前端学习笔记

1.css简介 用来修饰html样式的一种语言,层叠样式表 增强复用性 方便后期维护 2.css样式引入方式: (1)内嵌...

14830
来自专栏前端儿

使用BEM命名规范来组织CSS代码

在本规范中,以双下划线 __ 来作为块和元素的间隔,以单下划线 _ 来作为块和修饰器 或 元素和修饰器 的间隔,以中划线 - 来作为 块|元素|修饰器 名称中多...

15450
来自专栏web前端

JavaScript基础学习--05自定义属性、索引值

一、自定义属性      1、读写操作 <input abc="123" type="button" value="按钮" /> ==============...

20570
来自专栏积累沉淀

JavaScript DOM基础2

DOM自身存在很多类型,比如Element类型:表示的是元素节点,再比如Text类型:表示的是文本节点。DOM也提供了一些扩展功能。 一.DOM类型 DOM基础...

19580
来自专栏前端儿

SASS用法指南

SASS是ruby写的,所以要想将sass编译成css文件,就给配上ruby环境。

18020
来自专栏三丰SanFeng

字节对齐

什么是对齐,以及为什么要对齐: 现代计算机中内存空间都是按照byte划分的,从理论上讲似乎对任何类型的变量的访问可以从任何地址开始,但实际情况是在访问特定变...

26950
来自专栏GreenLeaves

JavaScript之insertBefore()和自定义insertAfter()的用法。

在JS图片库的第五版开发完后http://www.cnblogs.com/GreenLeaves/p/5691797.html#js_Five_Version我...

24090
来自专栏黒之染开发日记

【easeljs】矢量绘图工具 Graphics类

Graphics类公开了一个易于使用的,用于生成矢量图和把它们绘制到指定的内容里的API。注意,你可以不需要依赖EaselJS框架,通过直接调用draw来使用G...

14150
来自专栏前端说吧

Sass控制命令及函数知识整理

43460
来自专栏前端说吧

Sass-学习笔记【进阶篇】

59880

扫码关注云+社区

领取腾讯云代金券