首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

pandas | 详解DataFrameapply与applymap方法

今天这篇文章我们来聊聊dataframe广播机制,以及apply函数使用方法。 dataframe广播 广播机制我们其实并不陌生, 我们之前介绍numpy专题文章当中曾经介绍过广播。...可以理解成我们将减去这一个一维数组操作广播到了二维数组一行或者是一列当中。 ? 在上面这个例子当中我们创建了一个numpy数组,然后减去了它第一行。...我们对比下最后结果会发现,arr数组当中一行都减去了它第一行。 同样操作dataframe也一样可以进行。 ?...apply方法除了可以用在一整个DataFrame之外,我们也可以让它应用在某一行或者是某一列或者是某一个部分,应用方法都是一样。...比如我们可以这样对DataFrame当中某一行以及某一列应用平方这个方法。 ? 另外,apply函数作用域并不只局限元素,我们也可以写出作用在一行或者是一列函数。

2.9K20
您找到你想要的搜索结果了吗?
是的
没有找到

玩转数据处理120题|Pandas版本

([df,df1],axis=1) 44 数据计算 题目:生成新一列new为salary列减去之前生成随机数列 难度:⭐⭐ Python解法 df["new"] = df["salary"] - df...,clo3三列顺序颠倒 难度:⭐⭐ Python解法 df.iloc[:, ::-1] 94 数据提取 题目:提取第一列位置1,10,15数字 难度:⭐⭐ Python解法 df['col1'].take...([1,10,15]) # 等价于 df.iloc[[1,10,15],0] 95 数据查找 题目:查找第一列局部最大值位置 难度:⭐⭐⭐⭐ 备注 即比它一个与后一个数字都大数字 Python解法...'col2']) # 194.29873905921264 101 数据读取 题目:从CSV文件读取指定数据 难度:⭐⭐ 备注 从数据110行读取positionName, salary两列...=False).head(1) 以上就是Pandas进阶修炼120题全部内容,如果能坚持走到这里读者,我想你已经掌握了处理数据常用操作,并且之后数据分析碰到相关问题,希望武装了Pandas你能够从容解决

7.4K40

Pandas速查手册中文版

(1)官网: Python Data Analysis Library (2)十分钟入门Pandas: 10 Minutes to pandas 第一次学习Pandas过程,你会发现你需要记忆很多函数和方法...s.value_counts(dropna=False):查看Series对象唯一值和计数 df.apply(pd.Series.value_counts):查看DataFrame对象一列唯一值和计数...agg(np.mean):返回按列col1分组所有列均值 data.apply(np.mean):对DataFrame一列应用函数np.mean data.apply(np.max,axis=...():返回所有列均值 df.corr():返回列与列之间相关系数 df.count():返回一列非空值个数 df.max():返回一列最大值 df.min():返回一列最小值 df.median...():返回一列中位数 df.std():返回一列标准差

12.1K92

DataFrame和Series使用

DataFrame和Series是Pandas最基本两种数据结构 可以把DataFrame看作由Series对象组成字典,其中key是列名,值是Series Series和Python...列表非常相似,但是它每个元素数据类型必须相同 创建 Series 最简单方法是传入一个Python列表 import pandas as pd s = pd.Series([ ' banana...,可以获取DataFrame行数,列数 df.shape # 查看dfcolumns属性,获取DataFrame列名 df.columns # 查看dfdtypes属性,获取一列数据类型...df按行加载部分数据:先打印5行数据 观察第一列 print(df.head()) 最左边一列是行号,也就是DataFrame行索引 Pandas默认使用行号作为行索引。...取值相同数据放到一组 df.groupby(‘continent’)[字段] → seriesGroupby对象 从分号组Dataframe数据筛序出一列 df.groupby(‘continent

7810

整理了 25 个 Pandas 实用技巧,拿走不谢!

然后,你可以使用read_clipboard()函数将他们读取至DataFrame: ? 和read_csv()类似,read_clipboard()会自动检测一列正确数据类型: ?...读者注:该方法机器学习或者深度学习很有用,因为模型训练,我们往往需要将全部数据集按某个比例划分成训练集和测试集。该方法既简单又高效,值得学习和尝试。 13....如果你想要进行相反过滤,也就是你将吧刚才三种类型电影排除掉,那么你可以在过滤条件加上破浪号: ? 这种方法能够起作用是因为Python,波浪号表示“not”操作。 14....该Seriesnlargest()函数能够轻松地计算出Series3个最大值: ? 事实我们该Series需要是索引: ?...你可以看到,每个订单总价格一行显示出来了。 这样我们就能方便地甲酸每个订单价格占该订单总价格百分比: ? 20. 选取行和列切片 让我们看一眼另一个数据集: ?

3.2K10

Python自动化办公之Word批量转成自定义格式Excel

,现有的index,加1,就是下一列,补上空值 if (length - (end - start)) == 1:...我们最终是要让它生成excel文件,所以可以python非常强大科学计算包pandas来读取操作数据更好。...但是,它从txt读取出来格式是全部内容都视为1列,而txt一段,它这里就是一行(注意是一段对应一行,而不是一行对应一行) 预览一下:结果显示800行,1列。...这个减去1就知道了每道题开始位置start和结尾位置end是多少了。...接着真正数据提取环节,根据这个进行判断,如果判断到它值是Fales,那么就在一轮遍历提取数据最后一次遍历,一次性它后面的缺失数据列加上空字符串,作为占位,这样最后得到列表长度就都一样了,

1.6K40

Pandas进阶修炼120题,给你深度和广度船新体验

1) df 44.生成新一列new为salary列减去之前生成随机数列 df["new"] = df["salary"] - df[0] df 45.检查数据是否含有任何缺失值 df.isnull...data = pd.read_excel('/Users/Desktop/600000.SH.xls') 52.查看数据三行 data.head(3) 53.查看列数据缺失值情况 data.isnull...[:3] 91.提取第一列可以整除5数字位置 np.argwhere(df['col1'] % 5==0) 92.计算第一列数字前一个与后一个差值 df['col1'].diff().tolist...[[1,10,15],0] 95.查找第一列局部最大值位置 #备注 即比它一个与后一个数字都大数字 tem = np.diff(np.sign(np.diff(df['col1']))) np.where...(df['col2']-df['col3']) Part 5 一些补充 101.从CSV文件读取指定数据 # 备注 从数据110行读取positionName, salary两列 df =

6K31

收藏 | 11个Python Pandas小技巧让你工作更高效(附代码实例)

本文为你介绍Pandas隐藏炫酷小技巧,我相信这些会对你有所帮助。 或许本文中某些命令你早已知晓,只是没意识到它还有这种打开方式。 ? Pandas是一个Python中广泛应用数据分析包。...当要你所读取数据量特别大时,试着加上这个参数 nrows = 5,就可以载入全部数据前先读取一小部分数据。如此一来,就可以避免选错分隔符这样错误啦(数据不一定都是逗号来分隔)。...(或者linux系统,你可以使用‘head’来展示任意文本文件五行:head -c 5 data.txt) 接下来, df.columns.tolist() 可以提取一列并转换成list。...2. select_dtypes 如果已经Python完成了数据预处理,这个命令可以帮你节省一定时间。...在读取了表格之后,一列默认数据类型将会是bool,int64,float64,object,category,timedelta64,或者datetime64。

1.2K30

Pandas进阶修炼120题|完整版

1 创建DataFrame 题目:将下面的字典创建为DataFrame data = {"grammer":["Python","C","Java","GO","R","SQL","PHP","Python...与df合并 难度:⭐⭐ 答案 df= pd.concat([df,df1],axis=1) 44 数据计算 题目:生成新一列new为salary列减去之前生成随机数列 难度:⭐⭐ 答案 df["new...]) 95 数据查找 题目:查找第一列局部最大值位置 难度:⭐⭐⭐⭐ 备注 即比它一个与后一个数字都大数字 答案 tem = np.diff(np.sign(np.diff(df['col1']...]) 第五期:一些补充 101 数据读取 题目:从CSV文件读取指定数据 难度:⭐⭐ 备注 从数据110行读取positionName, salary两列 答案 df = pd.read_csv...,我想你已经掌握了处理数据常用操作,并且之后数据分析碰到相关问题,希望武装了Pandas你能够从容解决!

11.6K106

【技巧】11 个 Python Pandas 小技巧让你更高效

Pandas是一个Python中广泛应用数据分析包。市面上有很多关于Pandas经典教程,但本文介绍几个隐藏炫酷小技巧,我相信这些会对你有所帮助。...(或者linux系统,你可以使用‘head’来展示任意文本文件五行:head -c 5 data.txt) 接下来, df.columns.tolist() 可以提取一列并转换成list。...加入这些参数另一大好处是,如果这一列同时含有字符串和数值类型,而你提前声明把这一列看作是字符串,那么这一列作为主键来融合多个表时,就不会报错了。...2. select_dtypes 如果已经Python完成了数据预处理,这个命令可以帮你节省一定时间。...在读取了表格之后,一列默认数据类型将会是bool,int64,float64,object,category,timedelta64,或者datetime64。

95940

快速提升效率6个pandas使用小技巧

从剪切板创建DataFrame pandasread_clipboard()方法非常神奇,可以把剪切板数据变成dataframe格式,也就是说直接在excel复制表格,可以快速转化为dataframe...以下面这个excel数据表为例,全部选中,按ctrl+c复制: 然后python执行pd.read_clipboard(),就能得到一模一样dataframe数据表: pd.read_clipboard...() 这功能对经常在excel和python中切换分析师来说简直是福音,excel数据能一键转化为pandas可读格式。...') 一列对应位置值替换缺失值: df.fillna(axis=1, method='ffill') 下一行对应位置值替换缺失值: df.fillna(axis=0, method='bfill...从多个文件构建一个DataFrame 有时候数据集可能分布多个excel或者csv文件,但需要把它读取到一个DataFrame,这样需求该如何实现?

3.2K10

Python数据分析实战基础 | 初识Pandas

它提供了两种类型数据结构,分别是DataFrame和Series,我们可以简单粗暴DataFrame理解为Excel里面的一张表,而Series就是表一列,后面学习和用到所有Pandas骚操作...别忘了,第一步一定是先导入我们库——import pandas as pd 构造DataFrame最常用方式是字典+列表,语句很简单,先是字典外括,然后依次打出一列标题及其对应列值(此处一定要用列表...1、增 增加一列df['新列名'] = 新列值形式,原数据基础赋值即可: ?...小Z温馨提示:我们最初df2.info()查看数据类型时,非数值型列都返回是object格式,和str类型深层机制区别就不展开了,常规实际应用,我们可以先理解为object对应就是str...一步都是本着小而美(毕竟臭美也算美)和轻量初心,和大家一起重新认识回顾这些模块,然后接下来案例实践检验、巩固、沉淀这些操作与分析思路。 本文完整案例数据,后台回复“pandas”即可获取。

1.8K30

Python数据分析实战基础 | 初识Pandas

它提供了两种类型数据结构,分别是DataFrame和Series,我们可以简单粗暴DataFrame理解为Excel里面的一张表,而Series就是表一列,后面学习和用到所有Pandas骚操作...别忘了,第一步一定是先导入我们库——import pandas as pd 构造DataFrame最常用方式是字典+列表,语句很简单,先是字典外括,然后依次打出一列标题及其对应列值(此处一定要用列表...1、增 增加一列df['新列名'] = 新列值形式,原数据基础赋值即可: ?...小Z温馨提示:我们最初df2.info()查看数据类型时,非数值型列都返回是object格式,和str类型深层机制区别就不展开了,常规实际应用,我们可以先理解为object对应就是str...一步都是本着小而美(毕竟臭美也算美)和轻量初心,和大家一起重新认识回顾这些模块,然后接下来案例实践检验、巩固、沉淀这些操作与分析思路。

2K12

Python数据分析实战基础 | 初识Pandas

它提供了两种类型数据结构,分别是DataFrame和Series,我们可以简单粗暴DataFrame理解为Excel里面的一张表,而Series就是表一列,后面学习和用到所有Pandas骚操作...别忘了,第一步一定是先导入我们库——import pandas as pd 构造DataFrame最常用方式是字典+列表,语句很简单,先是字典外括,然后依次打出一列标题及其对应列值(此处一定要用列表...1、增 增加一列df['新列名'] = 新列值形式,原数据基础赋值即可: ?...小Z温馨提示:我们最初df2.info()查看数据类型时,非数值型列都返回是object格式,和str类型深层机制区别就不展开了,常规实际应用,我们可以先理解为object对应就是str...一步都是本着小而美(毕竟臭美也算美)和轻量初心,和大家一起重新认识回顾这些模块,然后接下来案例实践检验、巩固、沉淀这些操作与分析思路。

1.4K40
领券