首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

高效的10个Pandas函数,你都用过吗?

以前面的df为例,group列有A、B、C三,year列有多个年份。...Where Where用来根据条件替换行或列中的。如果满足条件,保持原来的,不满足条件则替换为其他。默认替换为NaN,也可以指定特殊。...否则替换为other other:替换的特殊 inplace:inplace为真则在原数据上操作,为False则在原数据的copy上操作 axis:行或列 df中列value_1里小于5的换为0...periods=1, fill_method=‘pad’, limit=None, freq=None, **kwargs) 参数作用: periods:间隔区间,即步长 fill_method:处理的方法...Melt Melt用于宽表变成窄表,是 pivot透视逆转操作函数,列名转换为列数据(columns name → column values),重构DataFrame。

4.1K20

Pandas速查卡-Python数据科学

=1) 删除包含的所有列 df.dropna(axis=1,thresh=n) 删除所有小于n个非的行 df.fillna(x) 用x替换所有空 s.fillna(s.mean()) 所有空换为均值...(均值可以用统计部分中的几乎任何函数替换) s.astype(float) 数组的数据类型转换为float s.replace(1,'one') 所有等于1的换为'one' s.replace(...[1,3],['one','three']) 所有1替换为'one',3替换为'three' df.rename(columns=lambda x: x + 1) 批量重命名列 df.rename(...升序对排序 df.sort_values(col2,ascending=False) col2降序对排序 df.sort_values([col1,ascending=[True,False]...) col1升序排序,然后降序排序col2 df.groupby(col) 从一列返回一对象的 df.groupby([col1,col2]) 从多列返回一对象的 df.groupby(col1

9.2K80
您找到你想要的搜索结果了吗?
是的
没有找到

《Python for Excel》读书笔记连载12:使用pandas进行数据分析之理解数据

本节首先介绍pandas的工作原理,然后介绍数据聚合到子集的两种方法:groupby方法和pivot_table函数。...处理单元格的方式一致,因此在包含单元格的区域内使用Excel的AVERAGE公式获得与应用于具有相同数字和NaN(而不是单元格)的系列的mean方法相同的结果。...例如,下面是如何获得每组最大和最小之间的差值: df.groupby(["continent"]).agg(lambdax: x.max() - x.min()) 在Excel中获取每个的统计信息的常用方法是使用透视表...并将其转换为透视表的列标题,从而聚合来自另一列的。...如果要反过来列标题转换为单个列的,使用melt。从这个意义上说,melt与pivot_table函数相反: 这里,提供了透视表作为输入,但使用iloc来去除所有的汇总行和列。

4.2K30

几个高效Pandas函数

Where Where用来根据条件替换行或列中的。如果满足条件,保持原来的,不满足条件则替换为其他。默认替换为NaN,也可以指定特殊。...否则替换为other other:替换的特殊 inplace:inplace为真则在原数据上操作,为False则在原数据的copy上操作 axis:行或列 df中列value_1里小于5的换为0...periods=1, fill_method=‘pad’, limit=None, freq=None, **kwargs) 参数作用: periods:间隔区间,即步长 fill_method:处理的方法...Melt Melt用于宽表变成窄表,是 pivot透视逆转操作函数,列名转换为列数据(columns name → column values),重构DataFrame。...用法: # 直接df或者series推断为合适的数据类型 DataFrame.infer_objects() pandas支持多种数据类型,其中之一是object类型。

1.5K60

python pyecharts数据可视化 折线图 箱形图

), opts.MarkPointItem(type_="min", name="最小"), opts.MarkPointItem(type_="average", name="平均值...) line.render('2019成都AQI指数走势图(日统计).html') 运行效果如下: [cuv15r5rm5.gif] import pandas as pd import pyecharts.options...), opts.MarkPointItem(type_="min", name="最小"), opts.MarkPointItem(type_="average", name="平均值...箱线图的绘制方法是:先找出一数据的上边缘、下边缘、中位数和两个四分位数;然后, 连接两个四分位数画出箱体;再将上边缘和下边缘与箱体相连接,中位数在箱体中间。...[gm4ivdtllx.png] 利用pyecharts绘制箱线图需要用 prepare_data() 方法传入的列表中的数据转换为的 min, Q1, median (or Q2), Q3, max

2.8K30

9个value_counts()的小技巧,提高Pandas 数据分析效率

生成的Series可以降序或升序排序,通过参数控制包括或排除NA。 在本文中,我们探讨 Pandas value_counts() 的不同用例。您将学习如何使用它来处理以下常见任务。...默认参数 升序对结果进行排序 字母顺序排列结果 结果中包含 以百分比计数显示结果 连续数据分入离散区间 分组并调用 value_counts() 结果系列转换为 DataFrame 应用于DataFrame...groupby() 允许我们数据分成不同的来执行计算以进行更好的分析。...一个常见的用例是某个列分组,然后获取另一列的唯一的计数。例如,让我们“Embarked”列分组并获取不同“Sex”的计数。...同样,我们可以调用 to_frame() 结果转换为 DataFrame >>> df.value_counts().to_frame() 总结 在本文中,我们探讨了 Pandas value_counts

6.5K61

9个value_counts()的小技巧,提高Pandas 数据分析效率

生成的Series可以降序或升序排序,通过参数控制包括或排除NA。 在本文中,我们探讨 Pandas value_counts() 的不同用例。您将学习如何使用它来处理以下常见任务。...1、默认参数 2、升序对结果进行排序 3、字母顺序排列结果 4、结果中包含 5、 以百分比计数显示结果 6、连续数据分入离散区间 7、分组并调用 value_counts() 8、结果系列转换为...groupby() 允许我们数据分成不同的来执行计算以进行更好的分析。...一个常见的用例是某个列分组,然后获取另一列的唯一的计数。例如,让我们“Embarked”列分组并获取不同“Sex”的计数。...同样,我们可以调用 to_frame() 结果转换为 DataFrame >>> df.value_counts().to_frame() 总结 在本文中,我们探讨了 Pandas value_counts

2.4K20

9个value_counts()的小技巧,提高Pandas 数据分析效率

生成的Series可以降序或升序排序,通过参数控制包括或排除NA。 在本文中,我们探讨 Pandas value_counts() 的不同用例。您将学习如何使用它来处理以下常见任务。...默认参数 升序对结果进行排序 字母顺序排列结果 结果中包含 以百分比计数显示结果 连续数据分入离散区间 分组并调用 value_counts() 结果系列转换为 DataFrame 应用于DataFrame...groupby() 允许我们数据分成不同的来执行计算以进行更好的分析。...一个常见的用例是某个列分组,然后获取另一列的唯一的计数。例如,让我们“Embarked”列分组并获取不同“Sex”的计数。  ...同样,我们可以调用 to_frame() 结果转换为 DataFrame  >>> df.value_counts().to_frame() 总结 在本文中,我们探讨了 Pandas value_counts

2.6K20

Pandas中你一定要掌握的时间序列相关高级功能 ⛵

数据科学工具库速查表 | Pandas 速查表图解数据分析:从入门到精通系列教程 时间序列时间序列是指将同一统计指标的数值其发生的时间先后顺序排列而成的数列。...图片 Pandas 时间序列处理我们要了解的第一件事是如何在 Pandas 中创建一日期。我们可以使用date_range()创建任意数量的日期,函数需要你提供起始时间、时间长度和时间间隔。...图片我们也可以每周销售额绘制汇总数据。...(100).sales.mean().plot(legend=True, label='100 day average', linewidth=4)图片 总结Pandas在时间序列处理和分析中也非常有效...,ShowMeAI在本篇内容中介绍的3个核心函数,是最常用的时间序列分析功能:resample:数据从每日频率转换为其他时间频率。

1.7K63

8 个 Python 高效数据分析的技巧

具体来说,map通过对列表中每个元素执行某种操作并将其转换为新列表。在本例中,它遍历每个元素并乘以2,构成新列表。请注意,list()函数只是输出转换为列表类型。...在Pandas中,删除一列或在NumPy矩阵中求和时,可能会遇到Axis。...回想一下Pandas中的shape df.shape (# of Rows, # of Columns) 从Pandas DataFrame中调用shape属性返回一个元组,第一个代表行数,第二个代表列数...Merge多个DataFrame合并指定主键(Key)相同的行。 ? Join,和Merge一样,合并了两个DataFrame。但它不某个指定的主键合并,而是根据相同的列名或行名合并。 ?...下面是几个例子:非常智能地数据按照“Manager”分了 pd.pivot_table(df, index=["Manager", "Rep"]) ?

2.7K20

8个Python高效数据分析的技巧

具体来说,map通过对列表中每个元素执行某种操作并将其转换为新列表。 在本例中,它遍历每个元素并乘以2,构成新列表。 请注意,list()函数只是输出转换为列表类型。...---- 在Pandas中,删除一列或在NumPy矩阵中求和时,可能会遇到Axis。...回想一下Pandas中的shape 1df.shape 2(# of Rows, # of Columns) 从Pandas DataFrame中调用shape属性返回一个元组,第一个代表行数,第二个代表列数...Merge多个DataFrame合并指定主键(Key)相同的行。 ? Join,和Merge一样,合并了两个DataFrame。 但它不某个指定的主键合并,而是根据相同的列名或行名合并。 ?...下面是几个例子:非常智能地数据按照“Manager”分了 1pd.pivot_table(df, index=["Manager", "Rep"]) ? 或者也可以筛选属性 ?

2.1K20

数据分析从零开始实战 | 基础篇(四)

我的理解 字符串或编译的正则表达式,可选 包含与此正则表达式或字符串匹配的文本的一返回。 除非HTML非常简单,否则您可能需要在此处传递一个非空字符串。...默认返回页面上包含的所有标签包含的表格。 该换为正则表达式,以便Beautiful Soup和LXML之间一致。...我的理解 简单点说,就是替换NA()的。如果是直接给,表示全部替换; 如果是字典: {列名:替换} 表示替换掉该列包含的所有空。...pad / ffill:列检索,最后一次不为赋给下一个。 backfill / bfill:列检索,下一个不为赋给该。...我的理解 其实很简单,就是列搜索,然后limit的表示最大的连续填充个数。 比如:limit=2,表示一列中从上到下搜索,只替换前两个,后面都不替换。

1.3K20

这 8 个 Python 技巧让你的数据分析提升数倍!

具体来说,map通过对列表中每个元素执行某种操作并将其转换为新列表。在本例中,它遍历每个元素并乘以2,构成新列表。请注意,list()函数只是输出转换为列表类型。...---- ---- 在Pandas中,删除一列或在NumPy矩阵中求和时,可能会遇到Axis。...回想一下Pandas中的shape df.shape (# of Rows, # of Columns) 从Pandas DataFrame中调用shape属性返回一个元组,第一个代表行数,第二个代表列数...Merge多个DataFrame合并指定主键(Key)相同的行。 ? Join,和Merge一样,合并了两个DataFrame。但它不某个指定的主键合并,而是根据相同的列名或行名合并。 ?...下面是几个例子:非常智能地数据按照“Manager”分了 pd.pivot_table(df, index=["Manager", "Rep"]) ?

2K10

pandas与SQL的查询语句对比

pandas的官方文档中对常用的SQL查询语句与pandas的查询语句进行了对比,这里以 @猴子 社群里面的朝阳医院数据为例进行演示,顺便求第四关门票,整体数据结构如下: import pandas...False 4 False 5 False 6 False 7 False 8 False 9 False 10 False 表达式传入...df之后会返回为True的行 s = df['销售数量'] == 3 df[s].head(5) 购药时间 社保卡号 商品编码 商品名称 销售数量 应收金额 实收金额...GROUP BY 在Pandas中可以使用groupby()函数实现类似于SQL中的GROUP BY功能,groupby()能将数据集某一条件分为多个,然后对其进行某种函数运算(通常是聚合运算)。...(5) 商品名称 **盐酸阿罗洛尔片(阿尔马尔) 34 **阿洛尔片 8 D厄贝沙坦氢氯噻嗪片(倍悦) 1 D格瑞洛片 1 D盐酸贝尼地平片

1K41

灰太狼的数据世界(二)

今天我们就主要来聊聊Series~~~~ Pandas Series Pandas里面的Serise是一种类似于一维数组的对象,是由一数据(各种NumPy数据类型)以及一与之相关的数据标签(即索引...仅由一数据也可产生简单的Series对象。(注意:Series中的索引是可以重复的) 我们可以看一下下面这一张图: ? 这样的一列就是一个Series。...3 empty 如果系列为,则返回True。 4 ndim 返回底层数据的维数,默认定义:1。 5 size 返回基础数据中的元素数。 6 values 系列作为ndarray返回。...(t) print('average=', t.mean()) ?...5、标准差函数STD 说的简单一点,他就是和方差一样的,也是考量一数据的稳定性,具体就是方差开平方。也就是把上面那个表达式的平方去掉即可。

64020

Pandas全景透视:解锁数据科学的黄金钥匙

底层使用C语言:Pandas的许多内部操作都是用Cython或C语言编写的,Cython是一种Python的超集,它允许Python代码转换为C语言代码,从而提高执行效率。...定义了填充的方法, pad / ffill表示用前面行/列的,填充当前行/列的; backfill / bfill表示用后面行/列的,填充当前行/列的。axis:轴。...0或’index’,表示行删除;1或’columns’,表示列删除。inplace:是否原地替换。布尔,默认为False。如果为True,则在原DataFrame上进行操作,返回为None。...Series 的数据类型转换为指定的数据类型举个例子import pandas as pd# 创建一个 Seriess = pd.Series([1, 2, 3, 4])# 使用 astype() 方法...中的数值分成等宽的n份(即每一内的最大与最小之差约相等);如果是标量序列,序列中的数值表示用来分档的分界如果是间隔索引,“ bins”的间隔索引必须不重叠举个例子import pandas as

8810
领券