【Pandas教程】像写SQL一样用Pandas～

Awesome_Tang

发布于 2019-06-17 16:08:47

2.2K0

发布于 2019-06-17 16:08:47

文章被收录于专栏：FSocietyFSociety

写在最前

Python在数据分析领域有三个必须需要熟悉的库，分别是pandas,numpy和matplotlib，如果排个优先级的话，我推荐先学pandas。

numpy主要用于数组和矩阵的运算，一般在算法领域会应用比较多。
matplotlib用于作图的话其实可替代的库会比较多，譬如有封装的更高级的seaborn，调用起来会更方便，也有交互性更强的pyecharts,风格会更讨喜。

但对于pandas，似乎完全绕不开，当然这三个库都是非常优秀的库，如果你已经入坑数据分析，建议全学?。

基本用法

读取数据

SQL

sql读取数据其实没啥可说的，一句简单的select * from table_name就OK了。

Pandas

pandas支持的数据源很多，包括csv，excel，以及读取数据库，当然读取数据库的话需要配合其他库，包括oracle，mysql，vertica，presto等等都是支持的。常见的如下：

pandas.read_csv()：用于读取csv文件；
pandas.read_excel()：用于读取Excel文件；
pandas.read_json() ：用于读取json文件；
pandas.read_sql()：用于读取数据库，传入sql语句，需要配合其他库连接数据库。

由于我本地没有数据库资源，我这边就已csv文件为例：

import pandas as pd

data = pd.read_csv('directory.csv', encoding='utf-8')
# data.head()默认显示前5条记录，类似还有data.tail()  
data.head()

筛选列

SQL

select city, country
from table_name

Pandas

# 筛选一列
# 这样返回的是series
data['City'].head()
# 这样返回的是dataframe，注意差别
data[['City']].head()

# 筛选多列
data[['City','Country']].head()

筛选行

SQL

sql本身并不支持筛选特定行，不过可以通过函数排序生成虚拟列来筛选。

-- 筛选前100行
select *
from table_name
limit 100

Pandas

pandas支持的方式就比较多了，如果你了解python的切片操作，以下应该会比较好理解。

data[:3]：筛选前3行；

data[1:10:2]：筛选1到10行中的奇数行，最后一个数字2表示每隔2行取数；

行列同时筛选

pandas主要有data.iloc和data.loc来支持行列筛选，虽然还有data.ix,但在目前最新的pandas已经将其弃用了。其实我一开始对这两个方法很容易混淆，其实后面发现很好区分，如果需要用列名来筛选，请用loc，如果使用列索引，请用iloc。

# 根据列名，请用loc
# 筛选1到10行的奇数行，City和Country列
data.loc[1:10:2,['City','Country']]
# 筛选第2和第4行，City和Country列
data.loc[[2,4],['City','Country']]

# 根据列索引，请用iloc
# 筛选1到10行的奇数行，2到5列
data.iloc[1:10:2,2:5]
# 筛选1到10行的奇数行，2到10列中每隔3列取一列
data.iloc[1:10:2,2:10:3]
# 筛选第2和第4行，第3和第5列
data.iloc[[2,4],[3,5]]

根据条件筛选

SQL

select city, country
from table_name
where city = 'shanghai'

Pandas

在看示例之前需要提醒下，在Pandas中并不支持and 和or，相应的是&和|，而且由于&和|在运算优先级是优于== ,>等运算符等，因此在多条件筛选需要加上括号，类似(a == 1) & (b > 2)。

# 筛选Brand为Starbucks
data.loc[data['Brand'] == 'Starbucks']
# 筛选City为shanghai或者为beijing
data.loc[(data['City'] == 'shanghai') | (data['City'] == 'beijing')]
# 筛选Brand为Starbucks而且City为shanghai
data.loc[(data['Brand'] == 'Starbucks') & (data['City'] == 'shanghai')]
# 使用.isin
data.loc[data['City'].isin(['shanghai', 'Ajman', 'wuhan'])]
# 筛选Timezone列中包含Asia
data.loc[data['Timezone'].str.contains('Asia')]

分组聚合

SQL

select column_A, sum(column_B)
from table_name
group by column_A

Pandas

基本用法： 对DataFrame进行goupby运算后，返回的是一个groupby对象，我们可以通过.reset_index()将其转为DataFrame。

# 以Ownership Type列分组，对Brand列进行计数
# .reset_index()将groupby对象转成dataframe
data.groupby(['Ownership Type'])['Brand','Country'].count().reset_index()

# 以Country和City列进行分组，对Longitude进行求平均
data.groupby(['Country', 'City'])['Longitude'].mean().reset_index()

高阶用法： 我们可以同时对于不同列采取不同的聚合运算，譬如对A列使用sum()，对B列使用mean()，在SQL中其实很好实现的功能，在Pandas我们需要借助.agg()来实现。

# 对不同列进行不同对运算
# 对Longitude进行MAX操作，对City列进行Count
data.groupby(['Ownership Type']).agg({'Longitude':'max', 'City':'count'}).reset_index()

# 对统一列进行不同对操作
data.groupby(['Ownership Type'])['Longitude'].agg(['max',   'count']).reset_index()

连接

SQL

select * 
from table_A  a
left join table_B  b
on a.id = b.id

Pandas

在Pandas中我们可以使用pandas.merge()来完成连接对操作。

pandas.merge(left, right, how='inner', on=None, left_on=None, 
          right_on=None, left_index=False, right_index=False, sort=True)

各参数解释如下：

left：一个DataFrame对象；
right：另一个DataFrame对象；
how：连接方式，默认为inner（内连接）；
on：连接键，必须在left和right两个DataFrame中存在，否则使用left_on和right_on;
left_on：left中的连接键；
right_on：right中的连接键；
left_index/right_index：默认为False，如果为True则使用索引作为连接的键。

# 生成两个DataFrame
left = pd.DataFrame({
         'id':[1,2,3,4,5],
         'Name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'],
         'subject_id':['sub1','sub2','sub4','sub6','sub5']})
right = pd.DataFrame(
         {'id':[1,2,3,4,5],
         'Name': ['Billy', 'Brian', 'Bran', 'Bryce', 'Betty'],
         'subject_id':['sub2','sub4','sub3','sub6','sub5']})

df = pd.merge(left=left, right=right, on='subject_id', how='left')
print(df)

'''
   id_x  Name_x subject_id  id_y Name_y
0     1    Alex       sub1   NaN    NaN
1     2     Amy       sub2   1.0  Billy
2     3   Allen       sub4   2.0  Brian
3     4   Alice       sub6   4.0  Bryce
4     5  Ayoung       sub5   5.0  Betty
'''

高阶用法

正则表达式

SQL

Oracle目前是支持正则表达式的，其他的数据库暂时不大了解，如果想了解用法的可以参考这篇教程，这边就不举例了。

Pandas

# 生成一个DataFrame
df = pd.DataFrame({
         'Name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'],
         'Location':['湖北省武汉市','广东省深圳市','广东省广州市','湖南省长沙市','湖北省鄂州市']})

# 返回一列的时候expand为True返回的是Dataframe
print(df['Location'].str.extract('(.*?)省', expand=True))
'''
    0
0  湖北
1  广东
2  广东
3  湖南
4  湖北
'''

# 返回一列的时候expand为True返回的是Dataframe
print(df['Location'].str.extract('(.*?)省(.*?)市', expand=True
                                ).rename(columns = {0: 'Province', 1: 'City'}))
'''
  Province City
0       湖北   武汉
1       广东   深圳
2       广东   广州
3       湖南   长沙
4       湖北   鄂州
'''

# 与原DataFrame拼接，axis=1表示为横向拼接
print(pd.concat([df, df['Location'].str.extract('(.*?)省(.*?)市', expand=True
                                ).rename(columns = {0: 'Province', 1: 'City'})], axis=1))
'''
     Name Location Province City
0    Alex   湖北省武汉市       湖北   武汉
1     Amy   广东省深圳市       广东   深圳
2   Allen   广东省广州市       广东   广州
3   Alice   湖南省长沙市       湖南   长沙
4  Ayoung   湖北省鄂州市       湖北   鄂州
'''

当然对于pandas除了正则之外，其实在.str中还内置了很多字符串的方法，如切割(split)，替换(replace)等等。

自定义函数

Pandas中内置很多常用的方法，譬如求和，最大值等等，但很多时候还是满足不了需求，我们需要取调用自己的方法，Pandas中可以使用map()和apply()来调用自定义的方法，需要注意下map()和apply()的区别：

map()：是pandas.Series()的内置方法，也就是说只能用于单一列，返回的是数据是Series()格式的；
apply()：可以用于单列或者多列，是对整个DataFrame的元素进行运算，返回一个DataFrame。

import numpy as np

# 随机生成一个DataFrame
df = pd.DataFrame(np.random.randn(4, 3), columns=['A', 'B', 'C'])
print(df)
'''
          A         B         C
0 -0.487982  0.898259  0.120316
1 -3.411103  0.139425 -1.969046
2  1.192626 -1.053607  0.596296
3 -0.981491  0.281875 -0.910885
'''

# map()是针对pandas.Series()的内置方法
# apply()可以用于DataFrame和Series

# 取绝对值,返回的是Series
print(df['A'].map(lambda x: abs(x)))
'''
0    0.487982
1    3.411103
2    1.192626
3    0.981491
Name: A, dtype: float64
'''

# 对整个DataFrame进行取绝对值
print(df[['A']].apply(lambda x: abs(x)))
'''
          A
0  0.487982
1  3.411103
2  1.192626
3  0.981491
'''

# 自定义函数
def _abs(x):
    return abs(x)

print(df.apply(_abs))
'''
          A         B         C
0  0.487982  0.898259  0.120316
1  3.411103  0.139425  1.969046
2  1.192626  1.053607  0.596296
3  0.981491  0.281875  0.910885
'''

DataFrame拼接

前文提到了merge() ,其实也算作拼接的一种，如果将merge()类比为join操作，接下来讲的拼接将类似于SQL中的union all操作。

df1 = pd.DataFrame(np.random.randn(2, 3), columns=['A', 'B', 'C'])
df2 = pd.DataFrame(np.random.randn(2, 3), columns=['B', 'C', 'D'])
print(df1)
'''
          A         B         C
0  1.371182 -0.201213  0.078707
1  2.607673  0.480420 -0.736990
'''
print(df2)
'''
          B         C         D
0  0.472007  0.932799 -1.236443
1  2.207940  0.696062  0.237979
'''

# 默认纵向连接，即union操作
# ignore_index为True为重新生成索引
print(pd.concat([df1, df2], axis=0, ignore_index=True, sort=False))
'''
          A         B         C         D
0  1.371182 -0.201213  0.078707       NaN
1  2.607673  0.480420 -0.736990       NaN
2       NaN  0.472007  0.932799 -1.236443
3       NaN  2.207940  0.696062  0.237979
'''

# axis=1为横向连接
print(pd.concat([df1, df2], axis=1))
'''
          A         B         C         B         C         D
0  1.371182 -0.201213  0.078707  0.472007  0.932799 -1.236443
1  2.607673  0.480420 -0.736990  2.207940  0.696062  0.237979
'''
# append不会重新生成DataFrame，在原DF上添加
print(df1.append(df2,sort=False))
'''
          A         B         C         D
0  1.371182 -0.201213  0.078707       NaN
1  2.607673  0.480420 -0.736990       NaN
0       NaN  0.472007  0.932799 -1.236443
1       NaN  2.207940  0.696062  0.237979
'''

写在最后

本来想着Pandas用了这么久了，写个教程应该不麻烦，结果耗费了两个下午也才写了点皮毛。其实如果要写的详细点，每个点都能写篇文章，篇幅有限，只能点到即止，后面如果想到再做补充吧。

Talk is cheap, show me the code.

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2019.06.16 ，如有侵权请联系 cloudcommunity@tencent.com 删除

python

文件存储

sql

数据库

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体分享计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度