首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

【Python】基于某些删除数据重复

注:后文所有的数据操作都是在原始数据集name上进行。 三、按照某一列去重 1 按照某一列去重(参数为默认) 按照name1数据去重。...结果知,参数为默认时,是在原数据copy上删除数据,保留重复数据第一条返回新数据。 感兴趣可以打印name数据,删重操作不影响name。...2 按照某一列去重(改变keep) 2.1 实例一(keep='last') 按照name1数据去重,设置keep='last'。...结果知,参数keep='last',是在原数据copy上删除数据,保留重复数据最后一条返回新数据,不影响原始数据name。...结果知,参数keep=False,是把原数据copy一份,在copy数据删除全部重复数据返回新数据,不影响原始数据name。

18K31
您找到你想要的搜索结果了吗?
是的
没有找到

【Python】基于多组合删除数据重复

最近公司在做关联图谱项目,想挖掘团伙犯罪。在准备关系数据时需要根据两组合删除数据重复,两中元素顺序可能是相反。...本文介绍一句语句解决多组合删除数据重复问题。 一、举一个小例子 在Python中有一个包含3数据,希望根据name1和name2组合(在两行顺序不一样)消除重复。...import numpy as np #导入数据处理库 os.chdir('F:/微信公众号/Python/26.基于多组合删除数据重复') #把路径改为数据存放路径 df =...由于原始数据hive sql跑出来,表示商户号之间关系数据,merchant_r和merchant_l存在组合重复现象。现希望根据这两组合消除重复。...从上图可以看出用set替换frozense会报不可哈希错误。 三、把代码推广到多 解决多组合删除数据重复问题,只要把代码取两代码变成多即可。

14.6K30

numpy和pandas库实战——批量得到文件夹下多个CSV文件一列数据求其最

/前言/ 前几天群里有个小伙伴问了一个问题,关于Python读取文件夹下多个CSV文件一列数据求其最大和最小,大家讨论甚为激烈,在此总结了两个方法,希望后面有遇到该问题小伙伴可以少走弯路...2、现在我们想一列或者第二数据进行操作,以最大和最小求取为例,这里以第一列为目标数据,来进行求值。 ?...3、其中使用pandas库来实现读取文件夹下多个CSV文件一列数据求其最大和最小代码如下图所示。 ? 4、通过pandas库求取结果如下图所示。 ?...通过该方法,便可以快速取到文件夹下所有文件一列最大和最小。 5、下面使用numpy库来实现读取文件夹下多个CSV文件一列数据求其最大和最小代码如下图所示。 ?.../小结/ 本文基于Python,使用numpy库和pandas库实现了读取文件夹下多个CSV文件,求取文件一列数据最大和最小,当然除了这两种方法之外,肯定还有其他方法也可以做得到,欢迎大家积极探讨

9.3K20

arcengine+c# 修改存储在文件地理数据ITable类型表格一列数据,逐行修改。更新属性表、修改属性表某

作为一只菜鸟,研究了一个上午+一个下午,才把属性表更新修改搞了出来,记录一下: 我需求是: 已经在文件地理数据存放了一个ITable类型表(不是要素类FeatureClass),注意不是要素类...FeatureClass属性表,而是单独一个ITable类型表格,现在要读取其中一列统一修改这一列。...读取属性修改代码如下:            IQueryFilter queryFilter = new QueryFilterClass(); queryFilter.WhereClause...= ""; //利用ICursor进行数据更新修改 ICursor updateCursor = pTable.Update(queryFilter,...网上有的代码是用ID来索引,但是表格ID可能并不是0开始,也不一定是按照顺序依次增加。

9.5K30

VLOOKUP很难理解?或许你就差这一个神器

VLOOKUP查找函数 INDEX索引查找函数 开发工具-数值控制钮应用 Excel自动填充颜色 数据验证-下拉选项应用 ---- 制图准备 为方便演示,先将制图所需文字准备好,勾选网格线,让背景更加清晰...range_lookup (可选)一个逻辑,该指定希望 VLOOKUP查找近似匹配还是精确匹配:近似匹配 - 1/TRUE假定表一列按数字或字母顺序排序,然后搜索最接近。...这是未指定默认方法。例如,=VLOOKUP (90,A1:B100,2,TRUE)。完全匹配 - 0/FALSE 搜索第一列的确切。...输入公式=D13=F8,应用于=D13:I13区域内。 这里输入公式D13是相对引用,而F8是绝对引用,意思是在应用区域内任意等于绝对地址F8内内容,就是符合条件使用此格式。...VLOOKUP进行数据查找查找必须在查找区域一列,如果查找不在查找区域一列,遇到这种问题时,但靠VLOOKUP函数并不能查找出所需要数据。此时可以通过 INDEX+MATCH函数。

8K60

WPF备忘录(3)如何 Datagrid 获得单元格内容与 使用转换器进行绑定数据转换IValueConverter

一、如何 Datagrid 获得单元格内容    DataGrid 属于一种 ItemsControl, 因此,它有 Items 属性并且用ItemContainer 封装它 items. ...但是,WPFDataGrid 不同于Windows Forms DataGridView。 ...== null) child = GetVisualChild(v); else break; } return child; }  二、WPF 使用转换器进行绑定数据转换...IValueConverter  有的时候,我们想让绑定数据以其他格式显示出来,或者转换成其他类型,我们可以 使用转换器来实现.比如我数据中保存了一个文件路径”c:\abc\abc.exe”...//Convert方法用来将数据转换成我们想要显示格式 public object Convert(object value, Type targetType, object parameter

5.5K70

完全理解不了Vlookup,怎么破?

当有多张表时,如何将一个excel表格数据匹配另一个表?这时候就需要使用vlookup函数。它可以按条件查找数据。...我们返回到第2张表里,选中全部数据。 这里需要特别注意是,选中查找范围里第一列必须是要查找,不然会报错。比如这个案例里选中范围里第一列是姓名,是要查找。...表示要查找在前面选定查找范围里第几列。 因为我们要返回是表2班级信息,这在选定查找范围里是第4。这里所查找范围是前面参数2选定范围,选中查找范围姓名那一列开始算起。...第1步,我们可以添加一个辅助,将姓名和学号联合起来作为为非重复唯一字段。在学号前面插入一列命名为“辅助”。...在进行VLOOKUP函数进行数据匹配查找时,因为我们要把第2个参数在哪里找里全部选中,然后按F4按钮将相对引用变成绝对引用。也就是在号和行号前面加了符号美元符号$。

1.7K11

VLOOKUP 到底有多重要?

当有多张表时,如何将一个excel表格数据匹配另一个表?这时候就需要使用vlookup函数。它可以按条件查找数据。...我们返回到第2张表里,选中全部数据。 这里需要特别注意是,选中查找范围里第一列必须是要查找,不然会报错。比如这个案例里选中范围里第一列是姓名,是要查找。 第3个参数是:第几列。...表示要查找在前面选定查找范围里第几列。 因为我们要返回是表2班级信息,这在选定查找范围里是第4。这里所查找范围是前面参数2选定范围,选中查找范围姓名那一列开始算起。...如果想要把一列数据匹配出来:鼠标放到单元格右下角,自动变成十字架形状。双击十字架,将函数应用到这一整列数据上。这样数据再多,也一次性搞定,效率杠杆。...第1步,我们可以添加一个辅助,将姓名和学号联合起来作为为非重复唯一字段。在学号前面插入一列命名为“辅助”。

1.7K10

VLOOKUP 到底有多重要?

当有多张表时,如何将一个excel表格数据匹配另一个表?这时候就需要使用vlookup函数。它可以按条件查找数据。...我们返回到第2张表里,选中全部数据。 这里需要特别注意是,选中查找范围里第一列必须是要查找,不然会报错。比如这个案例里选中范围里第一列是姓名,是要查找。...表示要查找在前面选定查找范围里第几列。 因为我们要返回是表2班级信息,这在选定查找范围里是第4。这里所查找范围是前面参数2选定范围,选中查找范围姓名那一列开始算起。...第1步,我们可以添加一个辅助,将姓名和学号联合起来作为为非重复唯一字段。在学号前面插入一列命名为“辅助”。...在进行VLOOKUP函数进行数据匹配查找时,因为我们要把第2个参数在哪里找里全部选中,然后按F4按钮将相对引用变成绝对引用。也就是在号和行号前面加了符号美元符号$。

1.8K2625

Power Query 真经 - 第 10 章 - 横向合并数据

为了进行【合并】,最好有一个,在一个表包含唯一,在另一个表可以有重复记录,这被称为一多关系结构,该结构是确保最终得到结果与所期望一致最好方法。...【注意】 每次创建正确【右反】连接时,连接结果将显示一行空,并在最后一列显示一个嵌套表。这是意料之中,因为左表没有匹配,导致每为空。...为了避免意外产生笛卡尔积,最好使用分析工具来检查 “非重复” 和 “唯一计数据是否匹配如果 “非重复” 和 “唯一” 两个统计数据匹配,像本案例 “SKU” 一样(都是 “12”...【注意】 这里 “源” 表开始原因仅仅是因为通常希望在完成时将这些放在输出左侧,这样可以避免以后进行重新排序。如果用户想从 “查找” 表开始【追加】“源” 表,那么这个方法仍然有效。...然后 “Order ID” 进行第二次排序(如果有多个排序条件,则需要对多个 ID 进行排序),这样做可以确保 “Price” 表行始终位于 “Order” 表行之前。

4K20

用 Excel 怎么了,你咬我啊?

Excel 几个基本常识 Excel 可以处理数值有效位数最多为15位 公式中文本类型常量必须写在半角双引号内 运算符包括算数运算符和比较运算符,其中比较运算符返回逻辑 表示不等于 所有数据类型...,使用ROUNDDOWN 取整还可以用INT和TRUNC 字符串进行操作 字符串进行合并 Excel可以非常方便数据进行分列。...VLOOKUP 最常用函数,具体用法就是(你找啥,在哪找,要找对应一列,精确查找还是模糊查找) 需要注意 第一个参数可以使用通配符进行模糊匹配 查找区域中匹配内容必须位于第一列 有多个对应只会返回第一个...=VLOOKUP($E2,$A$2:$D$100,COLUMN(B:B),0) MATCH 可以在某一个范围内搜索特定 MATCH(要查找内容,搜索区域,匹配类型) 查找内容可以是,数字,...单元格引用 查找范围只能是一行或者一列 匹配类型有三种 -1 MATCH 查找大于或等于查找最小查找范围内必须按降序排列 1 小于或者等于查找最大查找范围内必须按照升序排列 0

3K70

生信学习-Day6-学习R包

这样做目的通常是为了在后续函数调用简化代码,特别是在你想要操作数据特定时。 这会 your_data_frame 数据中选择列名与 vars 向量字符串相匹配。...数据是R语言中类似于表格二维数组结构,每一列包含了一个变量,每一行包含了每个变量一个集。...这意味着函数将查找 test1 和 test2 列名为 "x" 基于这两匹配来合并行。只有当两个数据中都存在 "x" 且某些行在这一列相等时,这些行才会出现在最终结果。...y = test2:表示要与test2数据进行semi-join操作,即保留test1与test2匹配行。 by = 'x':指定要根据哪个进行匹配。在这里,使用x来进行匹配。...结果将是一个新数据,其中包含了test1那些在test2找到匹配行,而不包含在test2找不到匹配行。这种操作通常用于数据筛选,以保留与另一数据集相关数据

16310

遇到复杂业务查询,怎么办?

image.png 【面试题】利用下拉框选择机构名称、利率档、期限等条件,查询出相应费用 image.png 金融产品进行台账管理,基础数据表如黄色所示(上图左边表格)。...1.制作下拉列表 第1步:A机构名称有很多是重复,把这一列复制到表格空白处,然后删除重复后,发现这一列机构名称只有A、B、C共3家。...同样道理,如果B利率档没有重复在创作下拉时可以直接作为数据验证对话来源。 如果有重复的话,和机构处理方式一样,在表格空白处写上这一列删除重复利率作为数据验证对话来源。...image.png 2.查询费用 机构、利率档、期限下拉列表创造好后,接下来要根据这3个条件进行费用查询匹配。 这时用到Excel里两个查询函数:index,match。...MATCH函数就是拿要查找,在指定区域进行匹配匹配上了,就会返回目标值所在单元格位置。

1.6K10

【Mark一下】46个常用 Pandas 方法速查表

,列名为字典3个key,每一列为key对应value 2 查看数据信息 查看信息常用方法包括总体概况、描述性统计信息、数据类型和数据样本查看,具体如表2所示: 表2 Pandas常用查看数据信息方法汇总...例如可以dtype返回仅获取类型为bool。 3 数据切片和切块 数据切片和切块是使用不同或索引切分数据,实现从数据获取特定子集方式。...Out: col1 col2 col3 0 2 a True选择col2为a且col3为True记录使用“或”进行选择多个筛选条件,且多个条件逻辑为“或”,用|表示...随机抽取2条数据 6 数据合并和匹配 数据合并和匹配是将多个数据做合并或匹配操作。...具体实现如表6所示: 表6 Pandas常用数据合并和匹配方法 方法用途示例示例说明merge关联匹配两个数据In: print(data2.merge(data1,on='col1',how='

4.7K20

数据分析常用Excel函数

A1查找k,返回第一个k起始位置编号 关联匹配函数 VLOOKUP VLOOKUP 函数简介 VLOOKUP 函数总共有4个参数,分别是:用谁去找、匹配对象范围、返回第几列、匹配方式(0/FALSE...反向查找 反向查找固定公式用法: =VLOOKUP(检索关键字,IF({1,0},检索关键字所在查找所在),2,0) 注意:其实反向查找除了检索区域改成一个虚拟数组公式IF之外,其他和单条件查找没有区别...3.多条件查询 在匹配数据时,往往条件不是单一,那么就可以利用&将字段拼接起来,并且利用IF数组公式构建出一个虚拟区域。...HLOOKUP =HLOOKUP(用谁去找, 匹配对象范围, 返回第几行, 匹配方式) 和VLOOKUP区别:HLOOKUP返回查找在同一列上,而VLOOKUP返回查找在同一行上。...例子 单条件计数: ? A1到A3大于等于10数量 多条件计数: ? A1到A3大于5小于10数量 求和 SUM 功能:计算单元格区域中所有数值和。

4.1K21

职场Excel:查找替换,你真的会用吗?

想转行朋友看这个课也够了。点击下方小程序开启数据分析升职加薪密码: 1.如何查找替换?一眼望去,我薪水这一列最感兴趣。现在我想知道这些职位最低薪水、最高薪水、平均薪水是多少?...但是,“薪水”这一列不太规范,有的是大写K,有的是小写k,比如10k-15K。因此,需要对数据进行一致化处理,也就是将大写K用小写k去统一替换。...这种需求可以将单元格格式替换为想要颜色,这样可以把符合条件数据高亮显示: 将“教育要求”这一列里符合“本科”条件单元格高亮显示成黄色 将“工作年限要求”这一列里符合“3”年单元格高亮显示成黄色...”这一列 与上面的操作步骤相同,我们把“工作年限”这一列包含“3”年单元格设置为黄色 通过这两次操作,找到了符合条件目标数据(教育要求:本科,工作年限:3年),高亮显示为黄色,这样就更清楚啦!...查找功能需要勾选“单元格匹配应用场景也是很广泛。 比如这份职位数据,公司所在位置有“上海市”和“上海”两种。我需要规范一下表格,查找“上海”,替换为“上海市”。

23810

Excel基础

一、基础 一个Excel文档称为工作簿(workbook)、一个工作簿可以包含多个工作表(sheet) ctrl+向右箭头  查看最后一列 ctrl+向下箭头 查看最后一行 二、合并单元格 三、等高等宽...:e10)最小 5、=count(d1:d10)计数 6、=IF(C2=”Yes”,1,2)条件,如果条件为真,则输出第1个表达式,否则第2个表达式 =IF(j2>=570,"是","否") 7、=countif...() 条件计数 SUM 函数 此函数用于单元格求和。...IF 函数 此函数用于在条件为真时返回一个条件为假时返回另一。 下面是 IF 函数用法视频。 LOOKUP 函数 需要查询一行或一列查找另一行或相同位置时,请使用此函数。...这两个函数返回第一个文本串起始位置,该第二个文本串第一个字符算起。 INDEX 函数 此函数用于返回表格或区域中引用。

2.5K51

精通Excel数组公式026:你弄清楚大型数组公式是怎么工作吗?

当你弄清楚掌握后,这一切工作都是值得查找包含空单元格第1个数据 下图1展示了一个数组公式,获取一行第1个非空单元格数值。...image.png 图1 查找与行第1个非空单元格相关标题 如下图2所示,标题中获取与行第1个非空单元格对应日期。...image.png 图2 查找,在该匹配条件并提取数据 如下图3所示,首先查找一列(“第3天”),然后在该匹配条件(Job 4),获取对应员工名,垂直显示。...注意,在右下侧列出公式适用于Excel2010及以后版本。 image.png 图3 查找中最长单词 下图4展示了一个公式,用来查找一列具有最大字符数数据。...image.png 图8 计算连续出现最大次数 如下图9所示,使用了FREQUENCY函数,令人惊叹!公式,OR条件统计是否在两一列,AND条件确定不在两一列

2.3K20

查找替换,你真的会用吗?

接下来,让我们通过招聘网站上获取一份职位数据集,像剥洋葱一样去认识一下这位既熟悉又陌生朋友。 1.如何查找替换? 一眼望去,我薪水这一列最感兴趣。...这种需求可以将单元格格式替换为想要颜色,这样可以把符合条件数据高亮显示: 1)将“教育要求”这一列里符合“本科”条件单元格高亮显示成黄色 2)将“工作年限要求”这一列里符合“3”年单元格高亮显示成黄色...”这一列 与上面的操作步骤相同,我们把“工作年限”这一列包含“3”年单元格设置为黄色 通过这两次操作,找到了符合条件目标数据(教育要求:本科,工作年限:3年),高亮显示为黄色,这样就更清楚啦...”字样所有单元格都搜索出来了(比如,岗位“数据分析师-CR2017-SH2909”包含“数据分析师”字样,会被搜索出来);如果勾选“单元格匹配”(表示查找与单元格内容完全一致),只出现了2个结果,...查找功能需要勾选“单元格匹配应用场景也是很广泛。 比如这份职位数据,公司所在位置有“上海市”和“上海”两种。我需要规范一下表格,查找“上海”,替换为“上海市”。

1.1K10
领券