前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >pandas列合并为一行

pandas列合并为一行

作者头像
机器学习和大数据挖掘
发布2019-07-01 18:23:24
2K0
发布2019-07-01 18:23:24
举报
文章被收录于专栏:数据挖掘

dataframe利用pandas列合并为一行,类似于sqlGROUP_CONCAT函数。例如如下dataframe

代码语言:javascript
复制
  id_part         pred   pred_class v_id
0       d  0 0.122817         woman   d1
1       b     0.015449  other_label   d2
2       5     0.019208          cat   d3
3       d     0.050064          dog   d1

想要变成如下形式:

代码语言:javascript
复制
  v_id   pred_class                     pred id_part
0   d1   woman, dog  [0 0.122817 , 0.050064]       d
1   d2  other_label               [0.015449]       b
2   d3          cat               [0.019208]       5

利用 groupby 去实现就好,spark里面可以用 concat_ws 实现,可以看这个 Spark中SQL列合并为一行,而这里没有 concat_ws 只能用另外一种方式实现:

代码语言:javascript
复制
df2 = other_label.groupby(['v_id']).agg({'pred_class': [', '.join],
                                         'pred': lambda x: list(x),
                                         'id_part': 'first'}).reset_index()

得到结果为:

代码语言:javascript
复制
  v_id   pred_class                     pred id_part
0   d1   woman, dog  [0 0.122817 , 0.050064]       d
1   d2  other_label               [0.015449]       b
2   d3          cat               [0.019208]       5

而还有另外一种方式,但是可能会输出少了那么几列:

代码语言:javascript
复制
df1 = data.groupby(['v_id', 'id_part'])['pred_class'].apply(lambda x: list(x)).reset_index()
代码语言:javascript
复制
  v_id id_part     pred_class
0   d1       d   [woman, dog]
1   d2       b  [other_label]
2   d3       5          [cat]
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018-09-28 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档