前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >python数据清洗

python数据清洗

作者头像
Python疯子
发布2018-09-06 16:20:20
2.5K0
发布2018-09-06 16:20:20
举报
文章被收录于专栏:Python疯子

数据的质量直接关乎最后数据分析出来的结果,如果数据有错误,在计算和统计后,结果也会有误。 所以在进行数据分析前,我们必须对数据进行清洗。需要考虑数据是否需要修改、如何修改调整才能适用于之后的计算和分析等。

数据清洗也是一个迭代的过程,实际项目中可能需要不止一次地执行这些清洗操作。

缺省参数 nan 将元素只为None 则显示为缺省参数NaN

代码语言:javascript
复制
# 读取数据
file = './data/a.csv'
'''
AAPL, 342, 123, 42, 243, 138, 213
56, 432, 125, 34, 223, 613, ?
56, 123, 182, 44, 213, 313, 121
87, 234, 172, 46, 273, 213, 216
AAPL, 46, 912, 41, 923, 123, 218
AAPL, 23, 172, 46, ?, 213, 216
' ?', 111, 912, 41, 923, ?, 218
'''
# 获取文件共有多少行
# 这种方法简单,但是可能比较慢,当文件比较大时甚至不能工作。
lenNum = len(open(file).readlines())
print(lenNum)

# 读取大文件共多少行
count = 0
for index, line in enumerate(open(file,'r')):
    count += 1
print(count)
读取数据 如果数据不存在或不符合数值规则 用nan填充
代码语言:javascript
复制
delimiter 以什么符号进行分割 
skiprows=12 跳过开头12行 数据是从第13行开始的
usecols 就是获取下标为6,7列 的内容
unpack=True: 读取的内容是否分开显示,默认为False False返回一个大列表, 如果为True 必须多个参数接收数据,每个为一维数组 
c,v=np.loadtxt('a.csv', delimiter=',', usecols=(6,7), unpack=True)
# 读取后的数据类型:numpy.ndarray
缺省数据处理
01 直接填充 适合格式 DataFrame, numpy.ndarray
代码语言:javascript
复制
from sklearn.preprocessing import  Imputer

# axis 默认为0 是通过列的平均值来填充 1按行的平均值填充
imputer = Imputer(axis=1)
data = imputer.fit_transform(data)
print(data)
02 删除
代码语言:javascript
复制
# 过滤掉带缺省参数的内容 即删除
# how='all' 行或列只要存在就删除 axis=0 按行删除 axis=1 按列删除

# 将内容转为DataFrame 类型
data = pd.DataFrame(data)
# print(data)

data2 = data.dropna(axis=1)
print(data2)
DataFrame类型

读取数据时,没有头标签的要加上header, header=None 否则数据显示有问题 数据被会names(列标签)占用,可以先读取,获取 行和列,如果没有头标签,再设置names标签 其他参数: 文件读取部分数据 skiprows=2 跳过前2行 skiprows=[2] 跳过下标为2的那一行 下标从0开始 nrows=2 读取n行 chunksize=2 每次读取的行数 返回可可遍历列表对象

代码语言:javascript
复制
data = pd.read_csv('./data/a.csv', delimiter=",", skiprows=0,  names=['a', 'b', 'c', 'd', 'e', 'f', 'g'])
print(type(data))
print(data)

01、 内容填充 参考上面 02、删除缺失参数NaN 参考上面

03 指定数据缺省参数
代码语言:javascript
复制
# data = data.fillna(0)   # 全0填充
# 指定元素填充 用字典表示 "g":88 g列的全用88填充
# data = data.fillna({"g":88})
04、将 ?替换为nan
代码语言:javascript
复制
# 单个替换
#data = data.replace(" ?", np.nan)

#向前填充 列填充 用缺省参数上面的数字填充
# data = data.replace(['AAPL',' ?'],method='ffill')

#向后填充 列填充 用缺省参数下面的数字填充
# data = data.replace(['AAPL',' ?'],method='bfill')

# 多个替换
# data = data.replace(["AAPL", ' ?'], value=np.nan)

# 多个内容换为多个值
# data = data.replace({"' ?'":88, "AAPL":88, " ?":88})

#正则替换  ?????????
#value参数显示传递
data = data.replace(regex=[r'\?|\.|AAPL'],value=np.nan)#用np.nan替换?或.或$原字符
print(data)

其他作用
# df.replace(r'\?|\.|\$',np.nan,regex=True)#用np.nan替换?或.或$原字符
# df.replace([r'\?',r'\$'],np.nan,regex=True)#用np.nan替换?和$
# df.replace([r'\?',r'\$'],[np.nan,'NA'],regex=True)#用np.nan替换?用  NA替换$符号
# df.replace(regex={r'\?':None})

总结: 1、通过 np.genfromtxt(file, delimiter=",", skip_header=0) 在读取数据时,直接将不符合类型的数据转为NaN 2、# 将内容转为DataFrame 类型 再进行其他缺省值处理 3、平均值替换 4、删除缺省参数 5、指定内容填充

额外补充:

文件写入时,注意点
代码语言:javascript
复制
# float_format='%.2f' #保留两位小数

# 写入时 将行和列下标去除 只保存真实数据
# data.to_csv("frame8.csv", index=False, header=False,  float_format='%.2f')

# 如果数据结构中有缺省值NaN时, 在写入文件时要添加设置缺省参数 na_rap = "NaN" 否则写入时会显示空白
# data.to_csv("frame.csv", na_rap = "NaN")
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018.08.11 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 读取数据 如果数据不存在或不符合数值规则 用nan填充
  • 缺省数据处理
    • 01 直接填充 适合格式 DataFrame, numpy.ndarray
      • 02 删除
      • DataFrame类型
        • 03 指定数据缺省参数
          • 04、将 ?替换为nan
        • 文件写入时,注意点
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档