快乐学习Pandas入门篇：Pandas基础

import pandas as pdimport numpy as np# 加上这两行可以一次性输出多个变量而不用printfrom IPython.core.interactiveshell import InteractiveShellInteractiveShell.ast_node_interactivity = "all"# 查看版本pd.__version__pd.set_option('display.max_columns', None)

#读取csv文件df = pd.read_csv('./data./table.csv')df.head()#读取txt文件，直接读取可能会出现数据都挤在一列上df_txt = pd.read_table('./data./table.txt')#df_txt = pd.read_table('./data./table.csv', sep=",")df_txt.head()#读取xls/xlsx文件df_excel = pd.read_excel('./data./table.xlsx')df_excel.head()

df.to_csv('./new table.csv')df.to_excel('./new table.xlsx')

Series常见属性有 values， index， name， dtype

s = pd.Series(np.random.randn(5), index=['a','b','c','d','e'],               name='this is a series', dtype='float64')

s.values, s.index, s.name, s.dtype

s['a'], s[2:], s[1]

s.mean(), s.sum(), s.hist()

DataFrame基本属性有 values、columns、index

df = pd.DataFrame({'col1':list('abcde'), 'col2':range(5,10),     'col3':[1.3,2.5,3.6,4.6,5.8]}, index=list('一二三四五'))

df['col1'], df[:1]type(df), type(df['col1']), type(df[:1]

df.rename(index={'一':'one'}, columns={'col1':'new_col1'})

df.index, df.columns, df.values, df.shape, df.mean()

这是Pandas中非常强大的特性，在对多个DataFrame 进行合并或者加减乘除操作时，行和列的索引都重叠的时候才能进行相应操作，否则会使用NA值进行填充。

df1 = pd.DataFrame({'A':[1,2,3]},index=[1,2,3])df2 = pd.DataFrame({'A':[1,2,3]},index=[3,1,2])df1-df2 #由于索引对齐，因此结果不是0

df.drop(index='五', columns='col1')

df['col1']=[1,2,3,4,5]del df['col1']

方法3：pop方法直接在原来的DataFrame上操作，且返回被删除的列，与python中的pop函数类。

df['col1']=[1,2,3,4,5]df.pop('col1')

df1['B'] = list('abc')

方法2：用assign方法，不会改变原DataFrame；

df1.assign(C=pd.Series(list('def')))

方法3：df.assign 效果其实是左连接，之所以会出现NaN的情况，是因为C和df的索引不一致导致。打印一下可以看到，df的索引是1-3，而C默认的是0-4。

C=pd.Series(list('def'))

df.select_dtypes(include=['number'])df.select_dtypes(include=['float'])

s = df.mean()s.name = 'to_DataFrame'

s.to_frame()# T符号可以进行转置操作s.to_frame().T

df = pd.read_csv('./data/table.csv')

df.head()df.tail()df.head(6)

df['Physics'].unique()df['Physics'].nunique()

df['Physics'].count()df['Physics'].value_counts()

df.info()df.describe()# describe()可以自行选择分位数位置df.describe(percentiles=[.05, .25, .75, .95])# 非数值型特征需要单独调用describe方法df['Physics'].describe()

df['Math'].idxmax()df['Math'].max()df['Math'].nlargest(2)

df['Math'].head()# 低于33的全都显示为33， 高于80的全都显示为80df['Math'].clip(33,80).head() df['Math'].mad()
df['Address'].head()df['Address'].replace(['street_1','street_2'],['one','two']).head()
# 还可以通过字典方式修改df.replace({'Address':{'street_1':'one','street_2':'two'}}).head(

# 遍历Math列中的所有值，添加！df['Math'].apply(lambda x:str(x)+'!').head()  # 先是遍历所有列，然后遍历每列的所有的值，添加！df.apply(lambda x:x.apply(lambda x:str(x)+'!')).head()

 #set_index函数可以设置索引，将在下一章详细介绍df.set_index('Math').head() #可以设置ascending参数，默认为升序，Truedf.set_index('Math').sort_index().head()

df.sort_values(by='Class').head()df.sort_values(by=['Address','Height']).head()

import pandas as pddf = pd.read_csv('data/Game_of_Thrones_Script.csv')df.head()df['Name'].nunique()df['Name'].value_counts()

import pandas as pddf = pd.read_csv('data/Kobe_data.csv',index_col='shot_id')df.head()pd.Series(list(zip(df['action_type'],df['combined_shot_type']))).value_counts()df.groupby('game_id')['opponent'].unique().astype('str').value_counts()