文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

用Python实现excel 14个常用操作，Vlookup、数据透视表、去重、筛选、分组等

大家好，这里是Python程序员晚枫，分享有用的编程知识。 今天分享的是：Python + Excel自动化办公 自从学了Python后就逼迫自己不用Excel，所有操作用Python实现。...Excel文件是有关销售的数据，长这样： 你也可以通过下列视频的方式，自己生成 一、关联公式:Vlookup vlookup是excel几乎最常用的公式，一般用于两个表的关联查询等。...所以我先把这张表分为两个表。...value_counts() df2["订单明细号"].duplicated().value_counts() df_c=pd.merge(df1,df2,on="订单明细号",how="left") 二、数据透视表...sale.groupby("地区名称")["利润"].sum().describe() 根据四分位数把地区总利润为[-9,7091]区间的分组为“较差”，(7091,10952]区间的分组为"中等"

2.4K10
您找到你想要的搜索结果了吗？
是的
没有找到

《Python for Excel》读书笔记连载12：使用pandas进行数据分析之理解数据

在数据框架的所有行中获取统计信息有时不够好，你需要更细粒度的信息，例如，每个类别的均值，这是下面的内容。 分组 再次使用我们的示例数据框架df，让我们找出每个大陆的平均分数。...为此，首先按洲对行进行分组，然后应用mean方法，该方法将计算每组的均值，自动排除所有非数字列： 如果包含多个列，则生成的数据框架将具有层次索引，即我们前面遇到的多重索引： 可以使用pandas提供的大多数描述性统计信息...透视表和熔解 如果在Excel中使用透视表，应用pandas的pivot_table函数不会有问题，因为它的工作方式基本相同。...index和columns分别定义数据框架的哪一列将成为透视表的行和列标签。...Region）的唯一值，并将其转换为透视表的列标题，从而聚合来自另一列的值。

4.2K30

​【Python基础】一文看懂 Pandas 中的透视表

一文看懂 Pandas 中的透视表 透视表在一种功能很强大的图表，用户可以从中读取到很多的信息。利用excel可以生成简单的透视表。本文中讲解的是如何在pandas中的制作透视表。...读取数据 注：本文的原始数据文件，可以在公号「Python数据之道」后台回复 “透视表”获取。...df["Status"].cat.set_categories(["won","pending","presented","declined"],inplace=True) # 设置顺序 建立透视表...4.使用columns参数，指定生成的列属性 ? 5. 解决数据的NaN值，使用fill_value参数 ? 6. 查看总数据，使用margins=True ? 7....不同的属性字段执行不同的函数 ? ? 8. Status排序作用的体现 ? 高级功能 当通过透视表生成了数据之后，便被保存在了数据帧中 查询指定的字段值的信息 ?

1.6K20

用Python实现透视表的value_sum和countdistinct功能

Excel数据透视表与Python实现对比 就是对表df中的a列各个值出现的次数进行统计。...Pandas中的数据透视表各功能 用过Excel透视表功能的话我们知道，出了统计出现次数之外，还可以选择计算某行的求和、最大最小值、平均值等(数据透视表对于数值类型的列默认选求和，文本类型默认选计数)，...去重的数据透视表计数 另外还有一个很重要的需求是统计某列不重复元素的计数，这个用数据透视表是不能直接算出来的，例如有一个用户订单表，一个用户可能下了多个订单，用户有渠道属性，需要统计一段时间内各渠道的付费用户数...常规透视表与期望的去重效果对比 可以看到直接对c列计数是不去重的，和我们想要的不一样。...['c'].nunique()就是期望的结果，效率比用for循环更高，值得学习。 ? Python的去重计数实现

4.2K21

利用 SQL 实现数据分组与透视

数据分组是对相同类别的数据进行汇总，而数据透视表是通过对行或列的不同组合对数据进行汇总，所使用的汇总方法有求和、计数、平均值、标准差等，本文使用SQL对数据进行数据分组和数据透视，下面一起来学习。...普通分组 普通的数据分组这里使用的GROUP BY函数，同时使用COUNT函数进行计数。...#数据分组 SELECT Ssex,COUNT(SId) as '人数' from Student GROUP BY Ssex; ? 分组筛选 如何对于分组后的结果进行筛选？...数据透视 在SQL中想要达到数据透视表的功能，需要GROUP BY与CASE WHEN结合使用，下面这条SQL语句可以计算不同分数段的人数，现用CASE WHEN对不同的分数段进行分类，然后，用GROUP...BY分组，并且计数，实现数据透视功能。

2.3K20

左手用R右手Python系列10——统计描述与列联分析

数据统计描述与列联表分析是数据分析人员需要掌握的基础核心技能，R语言与Python作为优秀的数据分析工具，在数值型数据的描述，类别型变量的交叉分析方面，提供了诸多备选方法。...Python: 关于Python中的变量与数据描述函数，因为之前已经介绍过一些基础的聚合函数，这里仅就我使用最多的数据透视表和交叉表进行讲解：Pandas中的数据透视表【pivot_table】和交叉表...【crosstab】的规则几乎与Excel中的透视表理念很像，可以作为所有的数值型、类别型变量的表述统计、频率统计和交叉列联表统计使用。...透视表中的行字段，通常为类别型字段） columns=None, #列字段（对应Excel透视表中的列字段，通常为类别型字段） values=None...以上透视表是针对数值型变量的分组聚合，那么针对类别型变量则需要使用pandas中的交叉表函数进行列表分析。

3.4K120

在pandas中使用数据透视表

Python大数据分析 记录 分享 成长 什么是透视表？...经常做报表的小伙伴对数据透视表应该不陌生，在excel中利用透视表可以快速地进行分类汇总，自由组合字段聚合计算，而这些只需要拖拉拽就能实现。...透视表是一种汇总了更广泛表数据的统计信息表。 典型的数据格式是扁平的，只包含行和列，不方便总结信息： 而数据透视表可以快速抽取有用的信息： pandas也有透视表？...，可多选 index：行分组键，一般是用于分组的列名或其他分组键，作为结果DataFrame的行索引 columns：列分组键，一般是用于分组的列名或其他分组键，作为结果DataFrame的列索引 aggfunc...下面拿数据练一练，示例数据表如下： 该表为用户订单数据，有订单日期、商品类别、价格、利润等维度。

2.9K20

数据科学小技巧3：数据透视表

这是我的第78篇原创文章，关于Python语言和数据科学。 阅读完本文，你可以知道： 1 使用Python语言实现数据透视表功能 “正是问题激发我们去学习，去实践，去观察。”...数据透视表是Excel里面常用的分析方法和工具，通过行选择，指定需要分组指标；通过列选择，指定需要计算指标，最后在指定需要聚合计算类型，比方说是计数，还是求均值，还是累加和等等。...第三个数据科学小技巧：数据透视表。前面的数据科学小技巧，可以点击下面链接进入。...第一步：导入Python库 ? 第二步：导入数据集 ? 第三步：数据检视 ? 第四步：数据透视表 ?...我们使用pandas库的pivot_table函数，重要参数设置： index参数：指定分组指标 values参数：指定计算的指标 aggfunc参数：指定聚合计算的方式，比方说求平均，累加和 数据透视表结果

1.1K30

python数据分析——数据分类汇总与统计

我们可以用分组平均值去填充NA值: 也可以在代码中预定义各组的填充值。由于分组具有一个name属性，所以我们可以拿来用一下： 四、数据透视表与交叉表 4.1....数据透视表 pivot()的用途就是,将一个dataframe的记录数据整合成表格(类似Excel中的数据透视表功能),pivot_table函数可以产生类似于excel数据透视表的结果，相当的直观。...; index=用于分组的列名或其他分组键,出现在结果透视表的行; columns =用于分组的列名或其他分组键,出现在结果透视表的列; values = 待聚合的列的名称，默认聚合所有数值列;...为True时,行/列小计和总计的名称; 【例17】对于DataFrame格式的某公司销售数据workdata.csv,存储在本地的数据的形式如下,请利用Python的数据透视表分析计算每个地区的销售总额和利润总额...程序代码如下所示: 4.2.交叉表 交叉表采用crosstab函数，可是说是透视表的一部分，是参数aggfunc=count情况下的透视表。

11910

Python入门之数据处理——12种有用的Pandas技巧

翻译：黄念 校对：王方思 小编和大伙一样正在学习Python，在实际数据操作中，列联表创建、缺失值填充、变量分箱、名义变量重新编码等技术都很实用，如果你对这些感兴趣，请看下文： ◆ ◆ ◆ 引言...现在，我们可以填补缺失值并用# 2中提到的方法来检查。 #填补缺失值并再次检查缺失值以确认 ? ? # 4–透视表 Pandas可以用来创建MS Excel风格的透视表。...#只在有缺失贷款值的行中进行迭代并再次检查确认 ? ? 注意： 1. 多索引需要在loc中声明的定义分组的索引元组。这个元组会在函数中用到。...透视表验证了成功的合并操作。请注意，“value”在这里是无关紧要的，因为在这里我们只简单计数。 # 8–数据帧排序 Pandas允许在多列之上轻松排序。可以这样做： ? ?...但是，Python会将它们视为不同分类。 3. 有些类别的频率可能非常低，把它们归为一类一般会是个好主意。

4.9K50

Pandas三百题

(df,values=['销售额','利润'],index='省/自治区',aggfunc=['sum']) 6 - 数据透视｜多索引 制作「各省市」与「不同类别」产品「销售总额」的数据透视表 pd.pivot_table...(df,values=['销售额'],index=['省/自治区','类别'],aggfunc=['sum']) 7 - 数据透视｜多层 制作各省市「不同类别」产品的「销售总额」透视表 pd.pivot_table...「均值与总和」的数据透视表，并在最后追加一行『合计』 pd.pivot_table(df,values = ['销售额','数量'],index = ['省/自治区','类别'],aggfunc = [...'mean',sum],margins=True) 9 - 数据透视｜筛选 在上一题的基础上，查询 「类别」 等于 「办公用品」 的详情 ​ 10 -数据透视｜逆透视 逆透视就是将宽的表转换为长的表，例如将第...5 题的透视表进行逆透视，其中不需要转换的列为『数量』列 pd.pivot_table(df,values = ['销售额','利润','数量'],index = '类别',aggfunc = sum

4.6K22

从Excel到Python：最常用的36个Pandas函数

本文为粉丝投稿的《从Excel到Python》读书笔记 本文涉及pandas最常用的36个函数，通过这些函数介绍如何完成数据生成和导入、数据清洗、预处理，以及最常见的数据分类，数据筛选，分类汇总，透视等最常见的操作...主要包括数据表的合并，排序，数值分列，数据分组及标记等工作。 1.数据表合并 在Excel中没有直接完成数据表合并的功能，可以通过VLOOKUP函数分步实现。...4.数据分组 Excel中可以通过VLOOKUP函数进行近似匹配来完成对数值的分组，或者使用“数据透视表”来完成分组 Python中使用Where函数用来对数据进行判断和分组 #如果price列的值>3000...在Python中使用split函数实现分列在数据表中category列中的数据包含有两个信息，前面的数字为类别id，后面的字母为size值。中间以连字符进行连接。...2.数据透视 ? Python中通过pivot_table函数实现同样的效果 #设定city为行字段，size为列字段，price为值字段。 分别计算price的数量和金额并且按行与列进行汇总。

11.3K31

各项工具大pk，分组聚合哪家强？

凹凸们，大家好 先看一个小需求，其实是很常见的分组聚合问题。 ? 今天我将带大家分别使用MySQL、Excel、Pandas、VBA和Python来实现这个需求。 这么齐全的应该算是全网首发吧！...Excel实现分组统计 首先创建数据透视表： ? 然后将对应的字段拖动到正确的位置： ? 然后打开透视表选项取消这两项勾选即可： ?...VBA实现分组统计 经过近1小时的痛苦的尝试，终于编写出了下面这段VBA代码，它模拟实现了分组计数的过程： Option Explicit Function is_exists(name As String...Python实现分组计数 实现代码： import csv from collections import namedtuple result = {} columns = ["A区", "B区",...模拟一下Pandas数据透视表实现分组统计的过程： import csv from collections import namedtuple, Counter result = Counter()

68120

Python数据分析实战（2）使用Pandas进行数据分析

一、Pandas的使用 1.Pandas介绍 Pandas的主要应用包括： 数据读取 数据集成 透视表 数据聚合与分组运算 分段统计 数据可视化 对电影数据的分析： 平均分较高的电影 不同性别对电影平均评分..., dtype: object 计数： print(iris_data["类别"].count()) 打印： 150 求所有列的最大值和指定列的最大值： print(iris_data.max()) print...()透视表方法、并传递平均值作为聚合函数求出每部电影的平均评分的。...（5）不同性别对电影的平均评分 现根据电影名和性别计算平均评分如下： # 透视表，透视数据结构 ,两个index movie_gender_rating_pingjun = pd.pivot_table...由上处数据处理和分析的过程中可以看到，在数据处理过程中，合并、透视、分组、排序这四大类操作是最经常用的，需要熟练掌握。

4K30

Python实现基于客观事实的RFM模型（CDA持证人分享）

本文将用现代最流行的编程语言---Python语言来实践课堂上讲解的RFM模型，将用户进行分类。 （tips：本文用到CDA Level 1中的多维数据透视分析和业务分析方法两块内容。）...数据读取与理解 在得到一份数据之后，我们第一步就是要理解数据的业务意义，以及对数据表的EDA（探索性分析），这里通过如下代码，发现以下特征： 具体代码（包含Python导入包部分）如下： # 导入相关包...因此利用pandas中的groupby函数对每个用户以上一步统计的R值作为分组依据进行分组，并求出最小值。...，不同于MYSQL，不需要指定左表还是右表为主表，只需要提供左表与右表的公共字段在各表中的名称即可。...04 总结 本文利用Python语言实现在CDA Level 1课程中学习到的的RFM模型，同时还利用了多维数据透视分析和业务分析方法两个模块的内容。所以说实践是检验和巩固学到的东西的最好方法。

2.1K00

在pandas中使用数据透视表

什么是透视表？ 经常做报表的小伙伴对数据透视表应该不陌生，在excel中利用透视表可以快速地进行分类汇总，自由组合字段聚合计算，而这些只需要拖拉拽就能实现。...透视表是一种汇总了更广泛表数据的统计信息表。 典型的数据格式是扁平的，只包含行和列，不方便总结信息： ? 而数据透视表可以快速抽取有用的信息： ? pandas也有透视表？...pandas作为编程领域最强大的数据分析工具之一，自然也有透视表的功能。 在pandas中，透视表操作由pivot_table()函数实现，不要小看只是一个函数，但却可以玩转数据表，解决大麻烦。...，可多选 index：行分组键，一般是用于分组的列名或其他分组键，作为结果DataFrame的行索引 columns：列分组键，一般是用于分组的列名或其他分组键，作为结果DataFrame的列索引 aggfunc...该表为用户订单数据，有订单日期、商品类别、价格、利润等维度。

2.7K40
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券