专栏首页Hank’s Blog基于pandas数据预处理基础操作

基于pandas数据预处理基础操作

# -*- coding: utf-8 -*-

import numpy as np
import pandas as pd

#一、创建数据
#1.通过传递一个list对象来创建一个Series,pandas会默认创建整型索引
s = pd.Series([1,3,np.nan,5,8])
#2.通过传递一个numpy array,时间索引以及列标签来创建一个DataFrame
dates = pd.date_range('20170301',periods = 6)
df1 = pd.DataFrame(np.random.randn(6,4),index = dates,columns = list('ABCD'))
#3.通过传递一个能够被转换成类似序列结构的字典对象来创建一个DataFrame
df2 = pd.DataFrame({'A':1.,
                    'B':pd.Timestamp('20130102'),
                    'C':pd.Series(1,index=list(range(6)),dtype = 'float32'),
                    'D':np.array([3]*6,dtype = 'int32'),
                    'E':'foo'
                    })
#4.查看不同列的数据类型
df2.dtypes

#二、查看数据
#1.查看frame中头部和尾部的行
df1.head()
df1.tail()
#2.显示索引、列和底层的numpy数据
df1.index
df1.columns
df1.values
#3.describe()函数对于数据的快速统计汇总
df1.describe()
#4.对数据的转置
df1.T
#5.按轴进行排序(如果按行则使用axis = 0)
df1.sort_index(axis = 1,ascending = False)
#6.按值进行排序
df1.sort(columns = 'B')
#7.在排序等操作之后重新生成索引(如果需要在原dataframe中直接修改需加入inplace=True)
df1.reset_index(drop=True)

#三、选择(通过索引或者位置进行选择)
#获取
#1.选择一个单独的列,这将会返回一个Series,等同于df1.A
df1['A']
#2.通过[]进行选择,这将会对行进行切片
df1[0:3]
df1['20170301':'20170303']
#通过标签选择(loc)
df1.loc[dates[0]]
df1.loc[:,['A','B']]
df1.loc['20170301':'20170303',['A','B']]
df1.loc['20170301',['A','B']]
df1.loc[dates[0],'A']
#通过位置选择(iloc)
df1.iloc[3]
df1.iloc[3:5,0:2]
df1.iloc[[1,2,4],[0,2]]
df1.iloc[1:3,:]
df1.iloc[1,1]
#布尔索引
#1.使用一个单独列的值来选择数据
df1[df1.A > 0]
#2. 使用where操作来选择数据
df1[df1>0]
#3. 使用isin()方法来过滤,按更复杂方式提取行列
df3 = df1.copy()
df3['E'] = ['one','one','two','three','four','three']
df3[df3['E'].isin(['two','four'])]
#设置
#1.设置一个新的列(新列为Series则必须设置和原DataFrame一致的索引)
s1 = pd.Series(range(1,7),index = pd.date_range('20170302',periods = 6))
df1['F'] = s1
#2.通过标签和索引设置新的值
df1.at[dates[0],'A'] = 0
df1.iat[0,1] = 0
#3.通过一个numpy数组设置一组新值
df1.loc[:,'D'] = np.array([5]*len(df1))
#4.通过where操作来设置新的值
df4 = df1.copy()
df4[df4>0] = -df4

#四、缺失值处理
#1.reindex()方法可以对指定轴上的索引进行改变/增加/删除操作,这将返回原始数据的一个拷贝
#仅需改变行列名称的话可以直接使用df.index=和df.columns=
df5 = df1.reindex(index = dates[0:4],columns = list(df1)+['E'])
df5.loc[dates[0]:dates[1],'E'] = 1
#2.去掉包含缺失值的行(axis=1表示列)
df5.dropna(how = 'any')
#3.对缺失值进行填充
df5.fillna(value = 5)
#4.去除重复值
df5.drop_duplicates('E') 
#5.对数据进行布尔填充
pd.isnull(df5)

#五、相关操作
#统计
#1.描述性统计分析(按列和行)
df1.mean()
df1.mean(1)
#2.对于拥有不同维度,需要对齐的对象进行操作。Pandas会自动的沿着指定的维度进行广播
s = pd.Series([1,3,5,np.nan,6,8],index = dates).shift(2)
df1.sub(s,axis = 'index') #df1-s
#Apply
#1.对数据应用函数
df1.apply(np.cumsum)
df1.apply(lambda x:x.max()-x.min())
s.value_counts()
#2.Series对象在其str属性中配备了一组字符串处理方法,可以很容易的应用到数组中的每个元素
s = pd.Series(['A','B','Aaba',np.nan,'cat'])
s.str.lower()

#六、合并,分组和reshaping
#1.concat(按列合并添加axis=1)
df = pd.DataFrame(np.random.randn(10,4))
pieces = [df[:3],df[3:7],df[7:]]
pd.concat(pieces)
#2.join
#案例1(key用法)
left = pd.DataFrame({'key':['foo','foo'],'lval':[1,2]})
right = pd.DataFrame({'key':['foo','foo'],'rval':[3,4]})
pd.merge(left,right,on = 'key')
#案例二(how用法)
df1=pd.DataFrame({'key':['a','b','b'],'data1':range(3)})  
df2=pd.DataFrame({'key':['a','b','c'],'data2':range(3)}) 
pd.merge(df1,df2)
right=pd.DataFrame({'key1':['foo','foo','bar','bar'],
                    'key2':['one','one','one','two'],'lval':[4,5,6,7]})
left=pd.DataFrame({'key1':['foo','foo','bar'],
                   'key2':['one','two','one'], 'lval':[1,2,3]}) 
pd.merge(left,right,on = ['key1','key2'],how = 'outer')
#3.Append(使用ignore_index重新生成索引)
df = pd.DataFrame(np.random.randn(8,4),columns = ['A','B','C','D'])
s = df.iloc[3]
df.append(s,ignore_index = True)
#4.group by
df = pd.DataFrame({'A':['foo','bar','foo','bar','foo','bar','foo','foo'],
                   'B':['one','one','two','three','two','two','one','three'],
                   'C':np.random.rand(8),
                   'D':np.random.rand(8)})
df.groupby('A').sum()
df.groupby(['A','B']).sum()
#5.Stack(堆积,index有几层的情况)
tuples = list(zip(*[['bar','bar','baz','baz','foo','foo','qux','qux'],
                    ['one','two','one','two','one','two','one','two']]))
index = pd.MultiIndex.from_tuples(tuples,names = ['first','second'])
df = pd.DataFrame(np.random.randn(8,2),index = index,columns=['A','B'])
df_t = df[:4]
stacked = df_t.stack()
stacked.unstack()
stacked.unstack(1)#把第2个分类项消除了
stacked.unstack(0)#把第2个分类项消除了
#6.数据透视表
df = pd.DataFrame({'A':['one','one','two','three']*3,
                   'B':['A','B','C']*4,
                   'C':['foo','foo','foo','bar','bar','bar']*2,
                   'D':np.random.randn(12),
                   'E':np.random.randn(12)})
pd.pivot_table(df,values = 'D',index = ['A','B'],columns = ['C'])

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • python第三十八课——面向对象(一)

    1.面向对象:(思想) 面向:看、关注、瞅 对象:个体、实体、实例、结果单词:object在python中一些皆对象 面向过程:(思想) 面向:看、关注...

    hankleo
  • 习题 4:变量和命名

    你已经学会了 print 和算术运算。下一步你要学的是“变量”。在编程中,变量只不过是用来指代某个东西的名字。程序员通过使用变量名可以让他们的程序读起来更像英语...

    hankleo
  • 7.01-beautiful_soup

    hankleo
  • PSVR版《亚利桑那阳光》将于下月登陆欧洲零售店,将包含最新内容

    VRPinea
  • Flutter Widgets 对话框-Dialog

    当应用程序进行重要操作时经常需要用户进行2次确认,以避免用户的误操作,比如删除文件时,一般会弹出提示“是否要删除当前文件”,用户点击确认后才会进行删除操作,这时...

    老孟Flutter
  • Flutter Widgets 之 Dialog 对话框

    当应用程序进行重要操作时经常需要用户进行2次确认,以避免用户的误操作,比如删除文件时,一般会弹出提示“是否要删除当前文件”,用户点击确认后才会进行删除操作,这时...

    老孟Flutter
  • 【干货】中国联通大数据能力开放平台容器化实践

    导读:中国联通大数据能力开放平台为支撑公司内部数据运营和外部数据合作提供了丰富的框架资源、数据资源、多样化的组件和工具以及应用部署环境。 平台为每个入驻租户都...

    钱塘数据
  • 人工智能-人工神经网络

    iOSDevLog
  • 谷歌研究科学家:想开启科研生涯,先尝这九大苦

    近日,谷歌主任科学家、谷歌大脑技术负责人Vincent Vanhoucke发表了一篇博客文章,分享了研究人员每天的工作怎样的,外界的人对研究科学家有什么样的误解...

    新智元
  • 新购腾讯云主机安全组未放行导致网站、数据库无法访问

    魏艾斯博客www.vpsss.net

扫码关注云+社区

领取腾讯云代金券