首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

手把手教你做一个“渣”数据师,用Python代替老情人Excel

5、略过行和列 默认read_excel参数假定第一行是列表名称,会自动合并为DataFrame列标签。...11、Excel中复制自定义筛选器 ? 12、合并两个过滤器计算结果 ? 13、包含Excel中功能 ? 14、从DataFrame获取特定值 ?...4、将总列添加到已存在数据集 ? 5、特定列总和,使用loc函数 ? 或者,我们可以用以下方法: ? 6、用drop函数删除行 ? 7、计算每列总和 ?...以上,我们使用方法包括: Sum_Total:计算总和 T_Sum:将系列输出转换为DataFrame并进行转置 Re-index:添加缺少列 Row_Total:将T_Sum附加到现有的DataFrame...有四种合并选项: left——使用左侧DataFrame共享列匹配右侧DataFrame,N/A为NaN; right——使用右侧DataFrame共享列匹配左侧DataFrame,N/A为

8.3K30

快速介绍Python数据分析库pandas基础知识和代码示例

df.tail(3) # Last 3 rows of the DataFrame ? 添加或插入行 要向DataFrame追加或添加一行,我们将新行创建为Series使用append()方法。...Groupby概念很重要,因为它能够有效地聚合数据,无论是性能上还是代码数量都非常出色。...假设我们想按性别将值分组,计算物理和化学列平均值和标准差。...我们将调用pivot_table()函数设置以下参数: index设置为 'Sex',因为这是来自df列,我们希望一行中出现一个唯一值 values值为'Physics','Chemistry...类似地,我们可以使用df.min()来查找每一行或每列最小值。 其他有用统计功能: sum():返回所请求总和。默认情况下,axis是索引(axis=0)。

8.1K20
您找到你想要的搜索结果了吗?
是的
没有找到

Python自动化办公-让 Excel 飞起来

Python 操作 Excel 可能是自动化办公最火热需求了,看一看公众号文章底部视频广告就知道了,里面尽是一些 5 分钟搞定 excel,将数据生成漂亮图表。...xlwings 写入 Excel 现在来实现一个小小需求:针对上述读取 Excel,我们现在来统计分数总和及平均数,写入 Excel 最后行。...,首先获取分数所在列,然后将所有的分数取出来保存在列表中,对其求和,求平均值,然后写回 Excel 最后一行。...Excel 中插入图表 生成图表 Excel 也是很常见需求,除了可以用 Excel 本身图表之外,还可以借助 Python 来插入图表。...比如说现在有一个股票数据,我们用 Python 生成该股票走势图,插入到 Excel 中。 这里借助了 pandas 库,使用前请 pip install pandas 安装一下。

2K80

如何用 Python 执行常见 Excel 和 SQL 任务

每个括号内列表都代表了我们 dataframe一行,每列都以 key 表示:我们正在处理一个国家排名,人均 GDP(以美元表示)及其名称(用「国家」)。...使用一行代码,我们已经将这些数据分配保存到 Pandas dataframe 中 - 事实证明是这种情况,字典是要转换为 dataframe 完美数据格式。 ?...我们为一个新 dataframe 分配一个布尔索引过滤器,这个方法基本就是说「创建一个人均 GDP 超过 50000 dataframe」。现在我们可以显示gdp50000。 ?...对我们一直研究 GDP 数据集进行一系列简单计算。例如,计算人均国民生产总值超过 5 万总和。 ? ? 这将给你答案为 770046 。...事实,你将要重复我们所有的计算,包括反映每个国家的人口列方法!看看你是否可以刚刚启动 Python notebook 中执行此操作。

10.7K60

用Python执行SQL、Excel常见任务?10个方法全搞定!

每个括号内列表都代表了我们 dataframe一行,每列都以 key 表示:我们正在处理一个国家排名,人均 GDP(以美元表示)及其名称(用「国家」)。...使用一行代码,我们已经将这些数据分配保存到 Pandas dataframe 中 —— 事实证明是这种情况,字典是要转换为 dataframe 完美数据格式。 ?...我们为一个新 dataframe 分配一个布尔索引过滤器,这个方法基本就是说「创建一个人均 GDP 超过 50000 dataframe」。现在我们可以显示gdp50000。 ?...对我们一直研究 GDP 数据集进行一系列简单计算。例如,计算人均国民生产总值超过 5 万总和。 ? ? 这将给你答案为 770046 。...事实,你将要重复我们所有的计算,包括反映每个国家的人口列方法!看看你是否可以刚刚启动 Python notebook 中执行此操作。

8.2K20

懂Excel轻松入门Python数据分析包pandas(二十一):透视表

列标签 放入字段唯一值,被显示透视表上方 只看数值看不出门路,设置百分比吧: - 点中透视表任意一格,鼠标右键 - 按上图指示完成 - 女性 生还率远高于 男性!!...……" 没有总计行列,可以通过参数设置: - 参数 margins 默认为 False,显示总计行列 - 参数 margins_name ,设置总计行列索引值 > 实际很少需要使用这2个参数,因为...下面是 Excel 透视表结果: 接着是 pandas 实现: - 修改 index 参数为 pclass,即可按船舱等级汇总 - 行9:不想再重复编写那段"非人"看占比计算,直接调用一个自定义函数...(函数实现看源码) 从结果可以看到,头等舱生还率最高(更多原因是船舱等级越低,位置越靠近船底部,逃生越困难) "我还想结合性别看看船舱等级对生还率影响,怎么搞?"...(上图结果一行),生还比例只有 27.21% 。

1.6K20

懂Excel轻松入门Python数据分析包pandas(二十一):透视表

列标签 放入字段唯一值,被显示透视表上方 只看数值看不出门路,设置百分比吧: - 点中透视表任意一格,鼠标右键 - 按上图指示完成 - 女性 生还率远高于 男性!!...好像少了点东西……" 没有总计行列,可以通过参数设置: - 参数 margins 默认为 False,显示总计行列 - 参数 margins_name ,设置总计行列索引值 > 实际很少需要使用这...下面是 Excel 透视表结果: 接着是 pandas 实现: - 修改 index 参数为 pclass,即可按船舱等级汇总 - 行9:不想再重复编写那段"非人"看占比计算,直接调用一个自定义函数...(函数实现看源码) 从结果可以看到,头等舱生还率最高(更多原因是船舱等级越低,位置越靠近船底部,逃生越困难) "我还想结合性别看看船舱等级对生还率影响,怎么搞?"...(上图结果一行),生还比例只有 27.21% 。

1.2K50

Pandas,数据处理好帮手!

最近做可视化视频,处理数据时候遇到了一些问题。 所以就来总结一下,也给大家一个参考。 1. pandas.pivot_table 数据透视表,数据动态排布并且分类汇总表格格式。...我理解就是可以进行「行列转换」。 比如下面这样一个转换。 ? 对名字列进行分类汇总,然后将日期那一列转换到行,具体代码如下。...DataFrame.apply 上面的cumsum函数是逐列进行累加,如果需要总累加,那么便可以使用apply函数。 代码如下,axis可转换轴。...# 进行「行累加」,并且把结果写在最后一行 df.loc['Row_sum'] = df.apply(lambda x: x.sum()) # 进行「列累加」,并且把结果写在最后一行 df['Col_sum...计算分类汇总后数据总和 # 按name分类汇总计算总和 df.groupby(['name'])[['name', 'view', 'danmaku']].sum().reset_index())

95830

Python 金融编程第二版(二)

② 选择第一行。 ③ 选择第一行第三个元素;括号内,索引由逗号分隔。 ④ 选择第二列。 ⑤ 计算所有值总和。 ⑥ 沿第一个轴计算总和,即按列计算。 ⑦ 沿第二轴计算总和,即按行计算。...② 这通过 DataFrame 对象上调用 sum() 方法来计算总和。 ③ 这通过 ndarray 对象上调用 sum() 方法来计算总和。...④ 这通过 DataFrame 对象上调用 np.sum() 方法来计算总和。 ⑤ 这通过 ndarray 对象使用通用函数 np.sum() 方法来计算总和。...② 这通过 DataFrame 对象上调用 sum() 方法来计算总和。 ③ 这通过 ndarray 对象上调用 sum() 方法来计算总和。...④ 这通过 DataFrame 对象上调用 np.sum() 方法来计算总和。 ⑤ 这通过 ndarray 对象使用通用函数 np.sum() 方法来计算总和

9610

Pandas-DataFrame基础知识点总结

2、DataFrame概念 DataFrame处理中经常会遇到轴概念,这里先给大家一个直观印象,我们所说axis=0即表示沿着每一列或行标签\索引值向下执行方法,axis=1即表示沿着每一行或者列标签模向执行对应方法...中某一列,此时这个标量会广播到DataFrame一行: data = { 'state':['Ohio','Ohio','Ohio','Nevada','Nevada'], 'year...,将函数应用到由各列或行所形成一维数组。...按照任意一列或多列进行排序 frame.sort_values(by=['a','b']) #输出 d a b c three 0 1 2 3 one 4 5 6 7 汇总和计算描述统计...也实现了corr和cov方法来计算一个DataFrame相关系数矩阵和协方差矩阵,同时DataFrame也可以与Series求解相关系数。

4.2K50

Python 数据处理:Pandas库使用

2.1 重新索引 2.2 丢弃指定轴项 2.3 索引、选取和过滤 2.4 用 loc 和 iloc 进行选取 2.5 整数索引 2.6 算术运算和数据对齐 2.7 算术方法中填充值 2.8 DataFrame...和 Series 之间运算 2.9 函数应用和映射 2.10 排序和排名 2.11 带有重复标签轴索引 3.汇总和计算描述统计 3.1 相关系数与协方差 3.2 唯一值、值计数以及成员资格 ---...你可以传入排好序字典键以改变顺序: # 在这个例子中,sdata中跟states索引相匹配那3个值会被找出来放到相应位置, # 但由于 "California" 所对应sdata值找不到...计算集 isin 计算一个指示各值是否都包含在参数集合中布尔型数组 delete 删除索引i处元素,并得到新Index drop 删除传入值,并得到新Index insert 将元素插入到索引...(整数) idxmin、idxmax 计算能够获取到最小值和最大值索引值 quantile 计算样本分位数(0到1) sum 值总和 mean 值平均数 median 值算术中位数(50%分位数

22.7K10

Pandas库常用方法、函数集合

Pandas是Python数据分析处理核心第三方库,它使用二维数组形式,类似Excel表格,封装了很多实用函数方法,让你可以轻松地对数据集进行各种操作。...Series unstack: 将层次化Series转换回数据框形式 append: 将一行或多行数据追加到数据框末尾 分组 聚合 转换 过滤 groupby:按照指定列或多个列对数据进行分组 agg...:对每个分组应用自定义聚合函数 transform:对每个分组应用转换函数,返回与原始数据形状相同结果 rank:计算元素每个分组中排名 filter:根据分组某些属性筛选数据 sum:计算分组总和...mean:计算分组平均值 median:计算分组中位数 min和 max:计算分组最小值和最大值 count:计算分组中非NA值数量 size:计算分组大小 std和 var:计算分组标准差和方差...: 用于展开窗口操作 at_time, between_time: 特定时间进行选择 truncate: 截断时间序列

25110

玩转Pandas,让数据处理更easy系列6

01 系列回顾 玩转Pandas系列已经连续推送5篇,尽量贴近Pandas本质原理,结合工作实践,按照使用Pandas逻辑步骤,系统地结合实例推送Pandas主要常用功能,已经推送5篇文章:...(玩转Pandas,让数据处理更easy系列2) 通俗易懂地DataFrame结构实现merge和join操作(merge操作见:玩转Pandas,让数据处理更easy系列3, concat: 玩转...如果我们想看下每组一行,可以调用 first(),可以看到是每个分组第一个,last()显示每组最后一个: agroup.first() ?...06 治:分组操作 对分组操作,最直接是使用aggregate操作,如下,求出每个分组对应列总和,大家可以根据上面的分组情况,对应验证: agroup = df.groupby('A')...还可以对不同列调用不同函数,详细过程参考官方文档: http://pandas.pydata.org/pandas-docs/stable/groupby.html 还可以进行一些转化和过滤操作,

2.7K20
领券