前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Pandas行列转换的4大技巧

Pandas行列转换的4大技巧

原创
作者头像
皮大大
发布2021-12-15 20:50:38
4.5K0
发布2021-12-15 20:50:38
举报

本文介绍的是Pandas中4个行列转换的方法,包含:

  • melt
  • 转置T或者transpose
  • wide_to_long
  • explode(爆炸函数)

最后回答一个读者朋友问到的数据处理问题。

<!--MORE-->

Pandas行列转换

pandas中有多种方法能够实现行列转换:

导入库

代码语言:txt
复制
import pandas as pd
import numpy as np

函数melt

melt的主要参数:

代码语言:txt
复制
pandas.melt(frame, 
            id_vars=None, 
            value_vars=None, 
            var_name=None, 
            value_name='value',
            ignore_index=True,  
            col_level=None)

下面解释参数的含义:

  • frame:要处理的数据框DataFrame。
  • id_vars:表示不需要被转换的列名
  • value_vars:表示需要转换的列名,如果剩下的列全部都需要进行转换,则不必写
  • var_name和value_name:自定义设置对应的列名,相当于是取新的列名
  • igonore_index:是否忽略原列名,默认是True,就是忽略了原索引名,重新生成0,1,2,3,4....的自然索引
  • col_level:如果列是多层索引列MultiIndex,则使用此参数;这个参数少用

模拟数据

代码语言:txt
复制
# 待转换的数据:frame
df = pd.DataFrame({"col1":[1,1,1,1,1],
                   "col2":[3,3,3,3,3],
                   "col3":["a","a","a","b","b"]
                  })
df

id_vars

value_vars

上面两个参数的同时使用:

同时转换多个列属性:

var_name和value_name

代码语言:txt
复制
pd.melt(
    df,
    id_vars=["col1"],  # 不变
    value_vars=["col3"],  # 转变
    var_name="col4",  # 新的列名
    value_name="col5" # 对应值的新列名
)

ignore_index

默认情况下是生成自然索引:

可以改成False,使用原来的索引:

转置函数

pandas中的T属性或者transpose函数就是实现行转列的功能,准确地说就是转置

简单转置

模拟了一份数据,查看转置的结果:

使用transpose函数进行转置:

还有另一个方法:先对值values进行转置,再把索引和列名进行交换:

最后看一个简单的案例:

wide_to_long函数

字面意思就是:将数据集从宽格式转换为长格式

代码语言:txt
复制
wide_to_long(
    df,
    stubnames,
    i,
    j,
    sep: str = "",
    suffix: str = "\\d+"

参数的具体解释:

  • df:待转换的数据框
  • stubnames:宽表中列名相同的存部分
  • i:要用作 id 变量的列
  • j:给长格式的“后缀”列设置 columns
  • sep:设置要删除的分隔符。例如 columns 为 A-2020,则指定 sep='-' 来删除分隔符。默认为空。
  • suffix:通过设置正则表达式取得“后缀”。默认'\d+'表示取得数字后缀。没有数字的“后缀”可以用'\D+'来取得

模拟数据

转换过程

使用函数实施转换:

设置多层索引

先模拟一份数据:

如果不习惯多层索引,可以转成下面的格式:

sep和suffix

代码语言:txt
复制
df5 = pd.DataFrame({
    'a': [1, 1, 2, 2, 3, 3, 3],
    'b': [1, 2, 2, 3, 1, 2, 3],
    'stu_one': [2.8, 2.9, 1.8, 1.9, 2.2, 2.3, 2.1],
    'stu_two': [3.4, 3.8, 2.8, 2.4, 3.3, 3.4, 2.9]
})
df5
代码语言:txt
复制
pd.wide_to_long(
    df5, 
    stubnames='stu', 
    i=['a', 'b'], 
    j='number',
    sep='_', # 列名中存在连接符时使用;默认为空
    suffix=r'\w+')  # 基于正则表达式的后缀;默认是数字\d+;这里改成\w+,表示字母

爆炸函数-explode

代码语言:txt
复制
explode(column, ignore_index=False)

这个函数的参数就只有两个:

  • column:待爆炸的元素
  • ignore_index:是否忽略索引;默认是False,保持原来的索引

模拟数据

单个字段爆炸

对单个字段实施爆炸过程,将宽表转成长表:

参数ignore_index

多个字段爆炸

连续对多个字段实施爆炸的过程:

读者解疑

在这里回答一个读者的问题,数据采用模拟的形式。有下面的这样一份数据,需求:

每个shop下每个fruit在各自shop的占比

代码语言:txt
复制
fruit = pd.DataFrame({
    "shop":["shop1","shop3","shop2","shop3",
            "shop2","shop1","shop3","shop2",
            "shop3","shop2","shop3","shop2","shop1"],
    "fruit":["苹果","葡萄","香蕉","苹果",
             "葡萄","橘子","梨","哈密瓜",
             "葡萄","香蕉","苹果","葡萄","橘子"],
    "number":[100,200,340,150,
              200,300,90,80,340,
              150,200,300,90]})
fruit

首先我们是需要统计每个shop每个fruit的销量

方法1:多步骤

方法1采用的是多步骤解决:

1、每个shop的总销量

2、增加总和shop_sum列

3、生成占比

方法2:使用transform函数

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Pandas行列转换
  • 导入库
  • 函数melt
    • 模拟数据
      • id_vars
        • value_vars
          • var_name和value_name
            • ignore_index
            • 转置函数
              • 简单转置
              • wide_to_long函数
                • 模拟数据
                  • 转换过程
                    • 设置多层索引
                      • sep和suffix
                      • 爆炸函数-explode
                        • 模拟数据
                          • 单个字段爆炸
                            • 参数ignore_index
                              • 多个字段爆炸
                              • 读者解疑
                                • 方法1:多步骤
                                  • 方法2:使用transform函数
                                  相关产品与服务
                                  对话机器人
                                  对话机器人(Conversation Robot,ICR),是基于人工智能技术,面向企业场景的 AI 服务,可应用于智能客服、服务咨询、业务办理等场景。本产品旨在帮助企业快速构建,满足自身业务诉求的对话机器人,从而减少企业人力成本或解决服务不及时问题。用户可通过对话机器人用户端引擎,实现高准确率的对话服务。
                                  领券
                                  问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档