Python数据处理从零开始----第二章(pandas)(十)pandas合并数据

先介绍一下几种数据合并方式:左连接(left join)、右连接(right join)、内连接(inner join)、全连接(full join)。

  • 左连接(left join):以左边的表为基准表,将右边的数据合并过来。
  • 右连接(right join):以右边的表为基准表,将左边的数据合并过来。
  • 内连接(inner join):左边和右边都出现的数据才进行合并。
  • 全连接(full join):不管左边还是右边,只要出现的数据都合并过来。

以上的几种合并,都是按照姓名来合并的,两个表姓名一样,即将这条数据合并,这个姓名被称为键值,作用是是变量被用来作为合并参照。

一、横向合并

1. 基本合并语句

我有两个数据:

1.默认以两个数据框重叠的列名当做连接键。

In [16]: df1=DataFrame({'key':['a','b','b'],'data1':range(3)})
 
In [17]: df2=DataFrame({'key':['a','b','c'],'data2':range(3)})
 
In [18]: pd.merge(df1,df2)   #没有指定连接键,默认用重叠列名,没有指定连接方式
Out[18]: 
   data1 key  data2
0      0   a      0
1      1   b      1

2.默认做inner连接(根据键key的交集),连接方式还有(left,right,outer),制定连接方式加参数:how=''

In [19]: pd.merge(df2,df1)
Out[19]: 
   data2 key  data1
0      0   a      0
1      1   b      1
2      1   b      2                  
In [20]: pd.merge(df2,df1,how='left')    #通过how,指定连接方式
Out[20]: 
   data2 key  data1
0      0   a      0
1      1   b      1
2      1   b      2
3      2   c    NaN

3.如果合并数据框时,需要根据多键连接,此时需要将连接键组成列表传入,例:pd.merge(df1,df2,on=['key1','key2']

In [23]: right=DataFrame({'key1':['foo','foo','bar','bar'],
    ...:     'key2':['one','one','one','two'],
    ...:     'lval':[4,5,6,7]})
 
In [24]: left=DataFrame({'key1':['foo','foo','bar'],
    ...:     'key2':['one','two','one'],
    ...:     'lval':[1,2,3]})
 
In [25]: right=DataFrame({'key1':['foo','foo','bar','bar'],
    ...:     'key2':['one','one','one','two'],
    ...:     'lval':[4,5,6,7]})
 
In [26]: pd.merge(left,right,on=['key1','key2'],how='outer')  #传出数组
Out[26]: 
  key1 key2  lval_x  lval_y
0  foo  one       1       4
1  foo  one       1       5
2  foo  two       2     NaN
3  bar  one       3       6
4  bar  two     NaN       7

4.如果用于合并的两个数据框的列名不同,可以分别指定,例:pd.merge(df1,df2,left_on='lkey',right_on='rkey')

In [31]: df3=DataFrame({'key3':['foo','foo','bar','bar'], #将上面的right的key 改了名字
    ...:     'key4':['one','one','one','two'],
    ...:     'lval':[4,5,6,7]})
 
In [32]: pd.merge(left,df3,left_on='key1',right_on='key3')  #键名不同的连接
Out[32]:  
  key1 key2  lval_x key3 key4  lval_y
0  foo  one       1  foo  one       4
1  foo  one       1  foo  one       5
2  foo  two       2  foo  one       4
3  foo  two       2  foo  one       5
4  bar  one       3  bar  one       6
5  bar  one       3  bar  two       7

如果需要合并的两个数据框,一个是其中一列,一个是数据框的index,则使用 left_index=True 或 right_index=True,来声明某个数据的索引应该被当做键值,基本语句为:merge(D1, D2, left_on='id', right_index=True)

二、纵向堆叠

第一部分的内容学习的是将两个数据横向的合并,现在学习纵向合并——也叫做堆叠。比如,我们想象之前的会员数据,被分成了两个部分:

concat 可以沿着一条轴将多个对象堆叠到一起

concat方法相当于数据库中的全连接,可以指定按某个轴进行连接,也可以指定连接的方式join(outer,inner 只有这两种)。与数据库不同的时concat不会去重,要达到去重的效果可以使用drop_duplicates方法

concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, copy=True): 轴向连接 pd.concat() 就是单纯地把两个表拼在一起,这个过程也被称作连接(concatenation)、绑定(binding)或堆叠(stacking)。因此可以想见,这个函数的关键参数应该是 axis,用于指定连接的轴向。

在默认的 axis=0 情况下,pd.concat([obj1,obj2]) 函数的效果与 obj1.append(obj2) 是相同的;而在 axis=1 的情况下,pd.concat([df1,df2],axis=1) 的效果与pd.merge (df1,df2, left_index=True,right_index=True,how='outer') 是相同的。可以理解为 concat 函数使用索引作为“key”。

本函数的全部参数为:

pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False)。

  • objs 就是需要连接的对象集合,一般是列表或字典;
  • axis=0 是连接轴向join='outer' 参数作用于当另一条轴的 index 不重叠的时候,只有 'inner' 和 'outer' 可选(顺带展示 ignore_index=True 的用法)

concat 一些特点:

1.作用于Series时,如果在axis=0时,类似union。axis=1 时,组成一个DataFrame,索引是union后的,列是类似join后的结果。
2.通过参数join_axes=[] 指定自定义索引。
3.通过参数keys=[] 创建层次化索引
4.通过参数ignore_index=True 重建索引。
In [5]: df1=DataFrame(np.random.randn(3,4),columns=['a','b','c','d'])
 
In [6]: df2=DataFrame(np.random.randn(2,3),columns=['b','d','a'])
 
In [7]: pd.concat([df1,df2])
Out[7]: 
          a         b         c         d
0 -0.848557 -1.163877 -0.306148 -1.163944
1  1.358759  1.159369 -0.532110  2.183934
2  0.532117  0.788350  0.703752 -2.620643
0 -0.316156 -0.707832       NaN -0.416589
1  0.406830  1.345932       NaN -1.874817
In [8]: pd.concat([df1,df2],ignore_index=True)
Out[8]: 
          a         b         c         d
0 -0.848557 -1.163877 -0.306148 -1.163944
1  1.358759  1.159369 -0.532110  2.183934
2  0.532117  0.788350  0.703752 -2.620643
3 -0.316156 -0.707832       NaN -0.416589
4  0.406830  1.345932       NaN -1.874817

仍然可以用 keys=[] 来标识出那边来自D1、哪边来自D2,基本语句为:concat([D1,D2], axis=1, keys=['D1', 'D2'] )

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券