首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

最全面的Pandas教程!没有之一!

如上,如果 Pandas 两个 Series 里找不到相同 index,对应位置就返回一个空 NaN。... DataFrame 缺少数据位置, Pandas 会自动填入一个空,比如 NaN或 Null 。...比如,将中所有 NaN 替换成 20 : ? 当然,这有的时候打击范围太大了。于是我们可以选择只对某些特定行或者进行填充。比如只对 'A' 进行操作,处填入平均值: ?...在上面的例子,数据透视某些位置NaN,因为原数据里没有对应条件下数据。...请注意,每个 Excel 表格文件都含有一个或多个工作,传入 sheet_name='Sheet1' 这样参数,就表示只读取 'excel_output.xlsx' Sheet1 工作内容

25.8K64

再见,Excel数据透视;你好,pd.pivot_table

导读 Excel作为Office常用办公软件之一,其一名数据分析师工作日常也占有一定地位,比如个人就常常倾向于依赖Excel完成简单数据处理和可视化作图,其中数据处理部分则主要是运用内置函数+数据透视两大部分...)下生存人数(Survived),那么仅需如下3步操作即可: 选择Excel菜单栏插入数据透视选项卡 ?...注意这里缺失是指透视后结果可能存在缺失,而非透视前缺失 margins : 指定是否加入汇总,布尔,默认为False,体现为Excel透视行小计和小计 margins_name...: 汇总列名,与上一个参数配套使用,默认为'All',当margins为False时,参数无作用 dropna : 是否丢弃汇总结果全为NaN行或,默认为True。...其中,当行索引和索引对应具体分组下记录数为0时,得到聚合结果为NaN,此时可通过指定fill_value参数来进一步填充,即: ?

2.1K51
您找到你想要的搜索结果了吗?
是的
没有找到

pandas读取表格后常用数据处理操作

sep:指定分隔符。如果不指定参数,则会尝试使用逗号分隔。 nrows:需要读取行数(从文件头开始算起) tabledata = pandas.read_excel("..../hotel.xlsx", header=0, names=name_columns, sep=',', nrows=10) print(tabledata) 3、取出某指定所有数据 这里我们做一个简单遍历操作即可完成...fillna函数用于替换缺失,常见参数如下: value参数决定要用什么填充缺失 axis:确定填充维度,从行开始或是从开始 limit:确定填充个数,int型 通常limit参数配合axis...平均值求解肯定不需要缺失值参与,于是我们先取出某一列不存在缺失所有数据,再取出这一列数据,通过mean函数直接获取平均值。...()最小位置 name_columns = [' ','名字','类型', '城市', '地区', '地点', '评分', '评分人数', '价格'] tabledata = pandas.read_excel

2.4K00

我用Python展示Excel中常用20个操

Pandas ‍Pandas可以使用pd.to_excel("filename.xlsx")来将当前工作表格保存至当前目录下,当然也可以使用to_csv保存为csv等其他格式,也可以使用绝对路径来指定保存位置...数据插入 说明:指定位置插入指定数据 Excel Excel我们可以将光标放在指定位置并右键增加一行/,当然也可以添加时对数据进行一些计算,比如我们就可以使用IF函数(=IF(G2>10000...缺失处理 说明:对缺失(空)按照指定要求处理 Excel Excel可以按照查找—>定位条件—>空来快速定位数据,接着可以自己定义缺失填充方式,比如将缺失用上一个数据进行填充...数据交换 说明:交换指定数据 Excel Excel交换数据是很常用操作,以交换示例数据地址与岗位两列为例,可以选中地址,按住shift键并拖动边缘至下一列松开即可 ?...数据拆分 说明:将一列按照规则拆分为多 Excel Excel可以通过点击数据—>分列并按照提示选项设置相关参数完成分列,但是由于含有[]等特殊字符,所以需要先使用查找替换去掉 ?

5.5K10

针对SAS用户:Python数据分析库pandas

可以认为Series是一个索引、一维数组、类似一列。可以认为DataFrames是包含行和二维数组索引。好比Excel单元格按行和列位置寻址。...换句话说,DataFrame看起来很像SAS数据集(或关系)。下表比较SAS中发现pandas组件。 ? 第6章,理解索引详细地介绍DataFrame和Series索引。...Series由整数值索引,并且起始位置是0。 ? SAS示例使用一个DO循环做为索引下标插入数组。 ? 返回Series前3个元素。 ? 示例有2个操作。...显然,这会丢弃大量“好”数据。thresh参数允许您指定要为行或保留最小非空。在这种情况下,行"d"被删除,因为它只包含3个非空。 ? ? 可以插入或替换缺失,而不是删除行和。....NaN被上面的“上”替换为相邻单元格。下面的单元格将上面创建DataFrame df2与使用“后向”填充方法创建数据框架df10进行对比。 ? ?

12.1K20

统计师Python日记【第5天:Pandas,露两手】

上一集开始学习了Pandas数据结构(Series和DataFrame),以及DataFrame一些基本操作:改变索引名、增加一列、删除一列、排序。 今天我将继续学习Pandas。...得到了一张非常清爽DataFrame数据。 现在我要对这张进行简单描述性统计: 1. 加总 .sum()是将数据纵向加总(每一列加总) ?...因为刚入行时候excel上犯过这类错误,所以在此记录一下。...数据透视 大家都用过excel数据透视,把行标签和标签随意布局,pandas也可以这么实施,使用 .unstack() 即可: ? 四、数据导入导出 1....实际,更可能是某种乱码,解决这种特殊分隔符,用 sep= 即可。 ? 忽略红色背景部分。 还有一种情况是开头带有注释: ? 使用 skiprows= 就可以指定要跳过行: ?

3K70

python df 替换_如何用Python做数据分析,没有比这篇文章更详细了(图文详情)...

Dtypes 是一个查看数据格式函数,可以一次性查看数据中所有数据格式,也可以指定一列来单独查看。  ...可以对整个数据进行检查,也可以单独对某一列进行空检查。  ...Python 中使用 unique 函数查看唯一。  查看唯一  Unique 是查看唯一函数,只能对数据特定进行检查。下面是代码,返回结果是唯一。...主要内容包括对空,大小写问题,数据格式和重复处理。这里不包含对数据间逻辑验证。  处理空(删除或填充)  我们创建数据时候 price 字段故意设置了几个 NA 。... Excel 没有直接完成数据合并功能,可以通过 VLOOKUP 函数分步实现。 python 可以通过 merge 函数一次性实现。

4.4K00

Excel催化剂功能第10波-快速排列工作图形对象

Excel插入图片,和对图形(图表、切片器、图片、形状、SmartArt等)进行排版,这些日常工作中都少不了,如果对这些操作只是偶尔几张图片、几个图形,手工弄一下,倒也可接受,但一旦要处理数量较大时...视频演示 图形排列功能 图形有别于单元格,是存放在单元格之上对象,Excel工作这张大画布上,不只是可以单元格上存数据设置格式,还可以单元格之上再放一些对象,这些对象只要鼠标拖动,想放哪里就放哪里...单个图形排列 单个图形排列处理后 单图区域填充(不变形) 对应场景为移动已经工作图片(用后面介绍插入图片功能,可一步到位插入图片并且指定存放单元格区域,此需求一般存在于工作上已经有现成图片需要作位置调整...、再排月份,产吕类切片器放一起,时间类切片器放一起等等 多图排列-切片器预处理 选定当次需要排列多个切片器,如上图,打算按排列,一列内从上往下排,打成两,需要两次处理,一次处理最终结果是排列一列...若一次性选择上图5个切片器,最终会把此5个切片器都排到一列内,排序顺序为年份>产品类别>月份数>产品子类>销售大区,排序顺序是依据图形最上方位置,从上往下排,对上图排成多左侧位置不作参考。

1.4K20

Excel表格中最经典36个小技巧,全在这儿了

18、批量设置求和公式 技巧19、同时查看一个excel文件两个工作。...技巧8、隐藏0 表格0如果不想显示,可以通过:文件 - excel选项 - 高级 - 具有零单元格 ? 技巧9、隐藏单元格所有。...技巧20:同时修改多个工作 按shift或ctrl键选取多个工作,然后一个输入内容或修改格式,所有选中都会同步输入或修改。这样就不必逐个修改了。...技巧23、快速关闭所有excel文件 按shift键不松,再点右上角关闭按钮,可以关键所有打开excel文件。 ? 技巧24、制作下拉菜单 例:如下图所示,要求销售员一列设置可以选取下拉菜单。...选取手机名称和型号区域后,打开指定名称窗口(excel2003版里,插入菜单 - 名称 - 指定,07和10版 公式选项卡 - 定义名称组 - 根据所选内容创建),选取窗口上“首行”复选框。

7.6K21

【工具】EXCEL十大搞笑操作排行榜

5.填充序列 如果想做一个排班,需要将2013-1-1到2013-12-31日期输入到EXCEL,并且跳过周六周日。一个一个手动录入日期要抓狂 吧?...可以A1输入 2013-1-1,然后点击【开始】选项卡,然后【编辑】组,找到【填充】,在出现下拉列表中选择【序列】,序列产生在,类型选择日期,日期单位 为工作日,步长为1,终止为2013-...6.选择性粘贴 如果A数据需要更新数据,比如,价格要全部打九折,80%用户是插入辅助,输入公式=A1*0.9,然后拖动填充,再复制到A1,再变为 ,再将辅助删除。...曾经看到有人在日期右边插入一列,用Year计算出年份,然后再插入,用Month计算出月份,然后再一个个筛选,再进行汇总,当时我就震惊了,哎,不会透视伤不起呀。...如果选择数据,点击【插入】,【数据透视】,只 需将日期拖放在行标签,数量拖放在标签,然后在数据透视日期右击,创建组。

3.1K60

2022年最新Python大数据之Excel基础

引用其他工作数据 •E1单元格,输入”=“ 注意:只能针对单个单元格引用 引用其他工作数据 •点击另外一张数据中找到要引用数据,选中对应单元格即可。...2.删除缺失,如果数据缺失比例过高,可以考虑删除,比如某一列数据>50%都是缺失,可以考虑删除这一列。...循环引用:A单元格公式应用了B单元格,B单元格公式又引用了A •Ctrl+G唤出定位菜单,选定位空,找到B所有空 •应用平均值数据,按住Ctrl+Enter同时填充所有缺失位置 数据加工...1.利用连续区域所有数据 使用工作连续区域所有数据,只需单击数据区域任一单元格,通过插入图表命令插入图表即可 选定部分数据 先选择建要用到数据,再通过插入图表命令插入选定类型图表...创建数据透视 •使用推荐透视 原始数据,单击【插入】选项卡下【表格】组【推荐数据透视】按钮,即可出现一系列推荐透视

8.2K20

Python替代Excel Vba系列(三):pandas处理不规范数据

pandas 索引。 注意:虽然本文是"Python替代Excel Vba"系列,但希望各位读者明白,工具都是各有所长,选择适合工具,才是最好。 ---- 案例 这次数据是一个教师课程。...---- ---- 再次看看 数据,一切正常: ---- 填充缺失 下一步就是把前2 nan填充正确。...ffill 表示用上一个有效填充。 合并单元格很多时候就是第一个有,其他为空,ffill 填充方式刚好适合这样情况。 ---- 现在数据美如画了。...如果你熟悉 excel 透视,那么完全可以把行列索引当作是透视行列区域。 ---- 理解了索引,那么就要说一下如何变换行列索引。...如下图: 不妨 excel 透视上操作一下,把一个放入列区域字段移到行区域上,就是上图结果。 ---- ---- 回到我们例子。

5K30

数据分析与数据挖掘 - 07数据处理

刚刚我们学习过访问一列数据,现在我们来思考一下,如果我想按照行来访问数据怎么办呢?...2 Excel Excel读取与csv非常类似,这里参数sheet_name就是指定要读取哪一张数据,如果不指定,默认就是第一张,具体代码如下: data = pd.read_excel("data.xls...日期格式数据是我们进行数据处理时候经常遇到一种格式,让我来看一下Excel日期类数据我们如何处理?...这一列NaN,这就是代表着这个数据为空。...参数columns,指的是索引数据,就是Excel字段。 参数aggfunc,指的是数据统计函数,默认为统计平均值,也可以指定为NumPy模块其他统计函数。

2.6K20

python数据分析——数据分类汇总与统计

首先,编写一个选取指定具有最大函数: 现在,如果对smoker分组并用该函数调用apply,就会得到: top函数DataFrame各个片段调用,然后结果由pandas.concat...【例16】用特定于分组填充缺失 对于缺失数据清理工作,有时你会用dropna将其替换掉,而有时则可能会希望用一个固定或由数据集本身所衍生出来填充NA。...我们可以用分组平均值去填充NA: 也可以代码预定义各组填充值。由于分组具有一个name属性,所以我们可以拿来用一下: 四、数据透视与交叉 4.1....数据透视 pivot()用途就是,将一个dataframe记录数据整合成表格(类似Excel数据透视表功能),pivot_table函数可以产生类似于excel数据透视结果,相当直观。...关键技术:pandas透视操作由pivot_table()函数实现,其中在所有参数,values、index、 columns最为关键,它们分别对应Excel透视、行、

13810

Pandas_Study01

需要注意是,访问dataframe时,访问df某一个具体元素时需要先传入行索引再确定索引。 2....,否则按连接 # 删除一列原有的dataframe上进行操作 del df['日期'] 或是使用 pop 方法,返回被删除数据(只能是某一列) df.pop('cx') # 通过 drop...# 读取excel 文件,指定sheetname 名 df = pd.read_excel("path/demo.xlsx", sheetname=0) # 指定 sheetname df = pd.read_excel...2).参与运算的如果是两个DataFrame,有可能所有的行、是一致,那么运算时对应行列位置进行相应算术运算,若行列没有对齐,那么填NaN。 3)....新series保留原serievalues,如果新index和原seriesindex不同,则不同填充NaN,或者使用fill_value参数指定填充值。

16610
领券