基于pandas数据预处理基础操作

# -*- coding: utf-8 -*-

import numpy as np
import pandas as pd

#一、创建数据
#1.通过传递一个list对象来创建一个Series，pandas会默认创建整型索引
s = pd.Series([1,3,np.nan,5,8])
#2.通过传递一个numpy array，时间索引以及列标签来创建一个DataFrame
dates = pd.date_range('20170301',periods = 6)
df1 = pd.DataFrame(np.random.randn(6,4),index = dates,columns = list('ABCD'))
#3.通过传递一个能够被转换成类似序列结构的字典对象来创建一个DataFrame
df2 = pd.DataFrame({'A':1.,
                    'B':pd.Timestamp('20130102'),
                    'C':pd.Series(1,index=list(range(6)),dtype = 'float32'),
                    'D':np.array([3]*6,dtype = 'int32'),
                    'E':'foo'
                    })
#4.查看不同列的数据类型
df2.dtypes

#二、查看数据
#1.查看frame中头部和尾部的行
df1.head()
df1.tail()
#2.显示索引、列和底层的numpy数据
df1.index
df1.columns
df1.values
#3.describe()函数对于数据的快速统计汇总
df1.describe()
#4.对数据的转置
df1.T
#5.按轴进行排序(如果按行则使用axis = 0)
df1.sort_index(axis = 1,ascending = False)
#6.按值进行排序
df1.sort(columns = 'B')
#7.在排序等操作之后重新生成索引(如果需要在原dataframe中直接修改需加入inplace=True)
df1.reset_index(drop=True)

#三、选择(通过索引或者位置进行选择)
#获取
#1.选择一个单独的列，这将会返回一个Series，等同于df1.A
df1['A']
#2.通过[]进行选择，这将会对行进行切片
df1[0:3]
df1['20170301':'20170303']
#通过标签选择(loc)
df1.loc[dates[0]]
df1.loc[:,['A','B']]
df1.loc['20170301':'20170303',['A','B']]
df1.loc['20170301',['A','B']]
df1.loc[dates[0],'A']
#通过位置选择(iloc)
df1.iloc[3]
df1.iloc[3:5,0:2]
df1.iloc[[1,2,4],[0,2]]
df1.iloc[1:3,:]
df1.iloc[1,1]
#布尔索引
#1.使用一个单独列的值来选择数据
df1[df1.A > 0]
#2. 使用where操作来选择数据
df1[df1>0]
#3. 使用isin()方法来过滤,按更复杂方式提取行列
df3 = df1.copy()
df3['E'] = ['one','one','two','three','four','three']
df3[df3['E'].isin(['two','four'])]
#设置
#1.设置一个新的列(新列为Series则必须设置和原DataFrame一致的索引)
s1 = pd.Series(range(1,7),index = pd.date_range('20170302',periods = 6))
df1['F'] = s1
#2.通过标签和索引设置新的值
df1.at[dates[0],'A'] = 0
df1.iat[0,1] = 0
#3.通过一个numpy数组设置一组新值
df1.loc[:,'D'] = np.array([5]*len(df1))
#4.通过where操作来设置新的值
df4 = df1.copy()
df4[df4>0] = -df4

#四、缺失值处理
#1.reindex()方法可以对指定轴上的索引进行改变/增加/删除操作，这将返回原始数据的一个拷贝
#仅需改变行列名称的话可以直接使用df.index=和df.columns=
df5 = df1.reindex(index = dates[0:4],columns = list(df1)+['E'])
df5.loc[dates[0]:dates[1],'E'] = 1
#2.去掉包含缺失值的行(axis=1表示列)
df5.dropna(how = 'any')
#3.对缺失值进行填充
df5.fillna(value = 5)
#4.去除重复值
df5.drop_duplicates('E') 
#5.对数据进行布尔填充
pd.isnull(df5)

#五、相关操作
#统计
#1.描述性统计分析（按列和行）
df1.mean()
df1.mean(1)
#2.对于拥有不同维度，需要对齐的对象进行操作。Pandas会自动的沿着指定的维度进行广播
s = pd.Series([1,3,5,np.nan,6,8],index = dates).shift(2)
df1.sub(s,axis = 'index') #df1-s
#Apply
#1.对数据应用函数
df1.apply(np.cumsum)
df1.apply(lambda x:x.max()-x.min())
s.value_counts()
#2.Series对象在其str属性中配备了一组字符串处理方法，可以很容易的应用到数组中的每个元素
s = pd.Series(['A','B','Aaba',np.nan,'cat'])
s.str.lower()

#六、合并,分组和reshaping
#1.concat(按列合并添加axis=1)
df = pd.DataFrame(np.random.randn(10,4))
pieces = [df[:3],df[3:7],df[7:]]
pd.concat(pieces)
#2.join
#案例1(key用法)
left = pd.DataFrame({'key':['foo','foo'],'lval':[1,2]})
right = pd.DataFrame({'key':['foo','foo'],'rval':[3,4]})
pd.merge(left,right,on = 'key')
#案例二(how用法)
df1=pd.DataFrame({'key':['a','b','b'],'data1':range(3)})  
df2=pd.DataFrame({'key':['a','b','c'],'data2':range(3)}) 
pd.merge(df1,df2)
right=pd.DataFrame({'key1':['foo','foo','bar','bar'],
                    'key2':['one','one','one','two'],'lval':[4,5,6,7]})
left=pd.DataFrame({'key1':['foo','foo','bar'],
                   'key2':['one','two','one'], 'lval':[1,2,3]}) 
pd.merge(left,right,on = ['key1','key2'],how = 'outer')
#3.Append(使用ignore_index重新生成索引)
df = pd.DataFrame(np.random.randn(8,4),columns = ['A','B','C','D'])
s = df.iloc[3]
df.append(s,ignore_index = True)
#4.group by
df = pd.DataFrame({'A':['foo','bar','foo','bar','foo','bar','foo','foo'],
                   'B':['one','one','two','three','two','two','one','three'],
                   'C':np.random.rand(8),
                   'D':np.random.rand(8)})
df.groupby('A').sum()
df.groupby(['A','B']).sum()
#5.Stack（堆积，index有几层的情况）
tuples = list(zip(*[['bar','bar','baz','baz','foo','foo','qux','qux'],
                    ['one','two','one','two','one','two','one','two']]))
index = pd.MultiIndex.from_tuples(tuples,names = ['first','second'])
df = pd.DataFrame(np.random.randn(8,2),index = index,columns=['A','B'])
df_t = df[:4]
stacked = df_t.stack()
stacked.unstack()
stacked.unstack(1)#把第2个分类项消除了
stacked.unstack(0)#把第2个分类项消除了
#6.数据透视表
df = pd.DataFrame({'A':['one','one','two','three']*3,
                   'B':['A','B','C']*4,
                   'C':['foo','foo','foo','bar','bar','bar']*2,
                   'D':np.random.randn(12),
                   'E':np.random.randn(12)})
pd.pivot_table(df,values = 'D',index = ['A','B'],columns = ['C'])