首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

pandas缺失处理

在真实数据,往往会存在缺失数据。...pandas在设计之初,就考虑了这种缺失情况,默认情况下,大部分计算函数都会自动忽略数据集中缺失,同时对于缺失也提供了一些简单填充和删除函数,常见几种缺失操作技巧如下 1....默认缺失 当需要人为指定一个缺失时,默认用None和np.nan来表示,用法如下 >>> import numpy as np >>> import pandas as pd # None被自动识别为...缺失删除 通过dropna方法来快速删除NaN,用法如下 >>> a.dropna() 0 1.0 1 2.0 dtype: float64 # dropna操作数据时,可以设置axis参数...大部分运算函数在处理时,都会自动忽略缺失,这种设计大大提高了我们编码效率。

2.5K10

Pandas替换简单方法

使用内置 Pandas 方法进行高级数据处理和字符串操作 Pandas 库被广泛用作数据处理和分析工具,用于从数据清理和提取特征。 在处理数据时,编辑或删除某些数据作为预处理步骤一部分。...为此,Pandas 提供了多种方法,您可以使用这些方法来处理 DataFrame 中所有数据类型列。 在这篇文章,让我们具体看看在 DataFrame 替换和子字符串。...Pandas replace 方法允许您在 DataFrame 指定系列搜索,以查找随后可以更改或子字符串。...每当在列中找到它时,它就会从字符串删除,因为我们传递第二个参数一个空字符串。...首先,如果有多个想要匹配正则表达式,可以在列表定义它们,并将其作为关键字参数传递给 replace 方法。然后,只需要显式传递另一个关键字参数值来定义想要替换

5.4K30

【Python】基于某些列删除数据重复

导入数据处理库 os.chdir('F:/微信公众号/Python/26.基于多列组合删除数据重复') #把路径改为数据存放路径 name = pd.read_csv('name.csv...从结果知,参数为默认时,在原数据copy上删除数据,保留重复数据第一条并返回新数据。 感兴趣可以打印name数据,删重操作不影响name。...从结果知,参数keep=False,把原数据copy一份,在copy数据删除全部重复数据,并返回新数据,不影响原始数据name。...结果和按照某一列去重(参数为默认)一样。 如果想保留原始数据直接用默认即可,如果想直接在原始数据删重可设置参数inplace=True。...但是对于两列中元素顺序相反数据去重,drop_duplicates函数无能为力。 如需处理这种类型数据去重问题,参见本公众号文章【Python】基于多列组合删除数据重复。 -end-

18.2K31

VBA程序:对加粗单元格求和

标签:VBA 下面的VBA自定义函数演示了如何对应用了粗体格式单元格求和。...ErrHandler: '检查是否溢出 If Err.Number = 6 Then SumBold = CVErr(xlErrNum) Resume Continue End Function 注意,当求和单元格区域中单元格格式发生更改时...,不会触发任何事件;而使用Application.Volatile语句,每当在工作表上内容更改时,单元格都会重新计算。...这意味着,仅对求和单元格区域中单元格设置加粗格式,使用该自定义函数求和不会改变,除非按F9键强制计算,或者在工作表输入内容导致工作表重新计算。...这个程序也提供了一个模板,可以稍作修改对其它格式设置单元格来求和

14310

Pandas数据处理4、DataFrame记录重复出现次数(总数不是每个数量)

Pandas数据处理4、DataFrame记录重复出现次数(总数不是每个数量) ---- 目录 Pandas数据处理4、DataFrame记录重复出现次数(总数不是每个数量) 前言...,我们在模型训练可以看到基本上到处都存在着Pandas处理,在最基础OpenCV也会有很多Pandas处理,所以我OpenCV写到一般就开始写这个专栏了,因为我发现没有Pandas处理基本上想好好操作图片数组真的相当麻烦...,可以在很多AI大佬文章中发现都有这个Pandas文章,每个人写法都不同,但是都是适合自己理解方案,我用于教学,故而我相信我文章更适合新晋程序员们学习,期望能节约大家事件从而更好将精力放到真正去实现某种功能上去...版本:1.4.4 基础函数使用 Pandas数据处理——渐进式学习1、Pandas入门基础 Pandas数据处理——渐进式学习、DataFrame(函数检索-请使用Ctrl+F搜索) ---- DataFrame...记录每个出现次数 语法 DataFrame.duplicated(subset=None,keep='first') 参数 subset:判断是否重复数据时考虑列 keep:保留第一次出现重复数据还是保留最后一次出现

2.3K30

Pandas数据分类

公众号:尤而小屋 作者:Peter 编辑:Pete 大家好,我Peter~ 本文中介绍Categorical类型,主要实现数据分类问题,用于承载基于整数类别展示或编码数据,帮助使用者获得更好性能和内存使用...--MORE--> 背景:统计重复 在一个Series数据中经常会出现重复,我们需要提取这些不同并且分别计算它们频数: import numpy as np import pandas as...Categorical对象 通过pandas.Categorical来生成 通过构造函数from_codes,前提你必须先获得分类编码数据 # 方式1 df2["subject"] = df2[...Categories对象 有4种取值情况 看到整个数据最大和最小分别在头尾部 # 在上面的4分位数中使用四分位数名称:Q1\Q2\Q3\Q4 bins\_2 = pd.qcut(data1,4...,也就是one-hot编码(独热码);产生DataFrame不同类别都是它一列,看下面的例子: data4 = pd.Series(["col1","col2","col3","col4"] \

8.6K20

问与答95:如何根据当前单元格高亮显示相应单元格

excelperfect Q:这个问题很奇怪,需要根据在工作表Sheet1输入数值高亮显示工作表Sheet2相应单元格。...具体如下: 在一个工作簿中有两个工作表Sheet1和Sheet2,要求在工作表Sheet1列A单元格输入一个后,在工作表Sheet2从列B开始相应单元格会基于这个高亮显示相应单元格。...例如,在工作表Sheet1单元格A2输入2后,工作表Sheet2单元格B2开始两列单元格将高亮显示,即单元格B2和C2高亮显示;在工作表Sheet1单元格A3输入3,工作表Sheet2...从B3开始三列单元格将高亮显示,即单元格B3、C3和D3加亮显示,等等。...图1:在工作表Sheet1输入数值 ? 图2:在工作表Sheet2结果 A:可以使用工作表模块事件来实现。

3.8K20

【Python】基于多列组合删除数据重复

最近公司在做关联图谱项目,想挖掘团伙犯罪。在准备关系数据时需要根据两列组合删除数据重复,两列中元素顺序可能相反。...本文介绍一句语句解决多列组合删除数据重复问题。 一、举一个小例子 在Python中有一个包含3列数据,希望根据列name1和name2组合(在两行顺序不一样)消除重复项。...二、基于两列删除数据重复 1 加载数据 # coding: utf-8 import os #导入设置路径库 import pandas as pd #导入数据处理库...import numpy as np #导入数据处理库 os.chdir('F:/微信公众号/Python/26.基于多列组合删除数据重复') #把路径改为数据存放路径 df =...从上图可以看出用set替换frozense会报不可哈希错误。 三、把代码推广到多列 解决多列组合删除数据重复问题,只要把代码取两列代码变成多列即可。

14.6K30

Pandas数据转换

import pandas as pd import numpy as np 一、⭐️apply函数应用 apply一个自由度很高函数 对于Series,它可以迭代每一列操作: df = pd.read_csv...每列原来列最大,最小,以及均值 def transfor(x): # xSeries result = pd.Series() result["max"] = x.max...axis参数=0时,永远表示处理方向而不是聚合方向,当axis='index'或=0时,对列迭代对行聚合,行即为跨列,axis=1同理 二、⭐️矢量化字符串 为什么要用str属性 文本数据也就是我们常说字符串...Series每个字符串 slice_replace() 用传递替换每个字符串切片 count() 计数模式发生 startswith() 相当于每个元素str.startswith(pat...常用到函数有:map、apply、applymap。 map Series 特有的方法,通过它可以对 Series 每个元素实现转换。

10610

用过Excel,就会获取pandas数据框架、行和列

在Excel,我们可以看到行、列和单元格,可以使用“=”号或在公式引用这些。...在Python数据存储在计算机内存(即,用户不能直接看到),幸运pandas库提供了获取值、行和列简单方法。 先准备一个数据框架,这样我们就有一些要处理东西了。...在pandas,这类似于如何索引/切片Python列表。 要获取前三行,可以执行以下操作: 图8 使用pandas获取单元格 要获取单个单元格,我们需要使用行和列交集。...记住这种表示法一个更简单方法:df[列名]提供一列,然后添加另一个[行索引]将提供该列特定项。 假设我们想获取第2行Mary Jane所在城市。...接着,.loc[[1,3]]返回该数据框架第1行和第4行。 .loc[]方法 正如前面所述,.loc语法df.loc[行,列],需要提醒行(索引)和列可能是什么?

19K60

Pandas如何查找某列中最大

大家好,我皮皮。 一、前言 前几天在Python白银交流群【上海新年人】问了一个Pandas数据提取问题,问题如下:譬如我要查找某列中最大,如何做?...print(df[df.点击 == df['点击'].max()]),方法确实是可以行得通,也能顺利地解决自己问题。...顺利地解决了粉丝问题。 三、总结 大家好,我皮皮。这篇文章主要盘点了一个Pandas数据提取问题,文中针对该问题,给出了具体解析和代码实现,帮助粉丝顺利解决了问题。...最后感谢粉丝【上海新年人】提出问题,感谢【瑜亮老师】给出思路,感谢【莫生气】、【添砖java】、【冯诚】等人参与学习交流。

23810

列名会变日期,数据更新就出错,怎么办?

在用Power Query处理数据过程,经常碰到一个问题——标题行变化,比如下面这个例子,日期随着数据变化而更新: 这时,因为使用了提升标题行操作,结果在源数据变化后就出错了: 一般来说...所以,一般建议,可以直接把Power Query(BI)自动更改类型功能关掉,具体步骤如下: Step-01 在Power Query编辑器里,依次点击“文件/选项和设置/查询选项”,进入查询选项配置对话...: Step-02 在查询选项对话,对“全局/数据加载” “类型检测”设置为“根据每个文件设置检测”或“从不检测”未结构化源列类型和标题: Step-03 若选择“根据每个文件设置检测...”,可继续在“当前工作簿”数据加载”,取消勾选“检测未结构化源列类型和标题”: 经过设置之后,就不会在PQ操作时自动产生“更改类型”这样步骤了。...当然,在实际工作,要根据自己实际情况进行设置,如果自动产生“更改类型”更适合你,那就保留原默认设置;而如果取消了该设置,则应该在PQ操作过程需要调整数据类型时候,进行手工更改,确保数据类型准确性

89320

通宵翻译Pandas官方文档,写了这份Excel万字肝货操作!

df.sort_values("col1", inplace=True) 数据输入和输出 1. 利用构造一个数据DataFrame 在Excel电子表格可以直接输入到单元格。...我们可以用多种不同方式构建一个DataFrame,但对于少量,通常将其指定为 Python 字典会很方便,其中键列名数据。...过滤 在 Excel ,过滤通过图形菜单完成。 可以通过多种方式过滤数据,其中最直观使用布尔索引。...按排序 Excel电子表格排序,通过排序对话完成pandas 有一个 DataFrame.sort_values() 方法,它需要一个列列表来排序。...查找和替换 Excel 查找对话将您带到匹配单元格。在 Pandas ,这个操作一般通过条件表达式一次对整个列或 DataFrame 完成。

19.5K20

问与答98:如何根据单元格动态隐藏指定行?

excelperfect Q:我有一个工作表,在单元格B1输入有数值,我想根据这个数值动态隐藏行2至行100。...具体地说,就是在工作表中放置一个命令按钮,如果单元格B1数值10时,当我单击这个命令按钮时,会显示前10行,即第2行至第11行;再次单击该按钮后,隐藏全部行,即第2行至第100行;再单击该按钮,...则又会显示第2行至第11行,又单击该按钮,隐藏第2行至第100行……也就是说,通过单击该按钮,重复显示第2行至第11行与隐藏第2行至第100行操作。...注:这是在chandoo.org论坛上看到一个贴子,有点意思。...A:使用VBA代码如下: Public b As Boolean Sub HideUnhide() If b =False Then Rows("2:100").Hidden

6.2K10
领券