最近公司在做关联图谱的项目,想挖掘团伙犯罪。在准备关系数据时需要根据两列组合删除数据框中的重复值,两列中元素的顺序可能是相反的。...本文介绍一句语句解决多列组合删除数据框中重复值的问题。 一、举一个小例子 在Python中有一个包含3列的数据框,希望根据列name1和name2组合(在两行中顺序不一样)消除重复项。...二、基于两列删除数据框中的重复值 1 加载数据 # coding: utf-8 import os #导入设置路径的库 import pandas as pd #导入数据处理的库...经过这个函数就可以解决两行中值的顺序不一致问题。因为集合是无序的,只要值相同不用考虑顺序。 duplicated():判断变成冻结集合的列是否存在重复值,若存在标记为True。...从上图可以看出用set替换frozense会报不可哈希的错误。 三、把代码推广到多列 解决多列组合删除数据框中重复值的问题,只要把代码中取两列的代码变成多列即可。
在Python中,数据存储在计算机内存中(即,用户不能直接看到),幸运的是pandas库提供了获取值、行和列的简单方法。 先准备一个数据框架,这样我们就有一些要处理的东西了。...df.columns 提供列(标题)名称的列表。 df.shape 显示数据框架的维度,在本例中为4行5列。 图3 使用pandas获取列 有几种方法可以在pandas中获取列。...要获取前三行,可以执行以下操作: 图8 使用pandas获取单元格值 要获取单个单元格值,我们需要使用行和列的交集。...想想如何在Excel中引用单元格,例如单元格“C10”或单元格区域“C10:E20”。以下两种方法都遵循这种行和列的思想。 方括号表示法 使用方括号表示法,语法如下:df[列名][行索引]。...记住这种表示法的一个更简单的方法是:df[列名]提供一列,然后添加另一个[行索引]将提供该列中的特定项。 假设我们想获取第2行Mary Jane所在的城市。
/前言/ 前几天群里有个小伙伴问了一个问题,关于Python读取文件夹下多个CSV文件中的第一列数据并求其最大值和最小值,大家讨论的甚为激烈,在此总结了两个方法,希望后面有遇到该问题的小伙伴可以少走弯路...通常我们通过Python来处理数据,用的比较多的两个库就是numpy和pandas,在本篇文章中,将分别利用两个库来进行操作。...3、其中使用pandas库来实现读取文件夹下多个CSV文件中的第一列数据并求其最大值和最小值的代码如下图所示。 ? 4、通过pandas库求取的结果如下图所示。 ?...通过该方法,便可以快速的取到文件夹下所有文件的第一列的最大值和最小值。 5、下面使用numpy库来实现读取文件夹下多个CSV文件中的第一列数据并求其最大值和最小值的代码如下图所示。 ?.../小结/ 本文基于Python,使用numpy库和pandas库实现了读取文件夹下多个CSV文件,并求取文件中第一列数据的最大值和最小值,当然除了这两种方法之外,肯定还有其他的方法也可以做得到的,欢迎大家积极探讨
最原始的数据是 127 个独立的 CSV 文件,不过我们已经使用 csvkit 合并了这些文件,并且在第一行中为每一列添加了名字。...这是因为数据块对存储数据框中的实际值进行了优化,BlockManager class 负责维护行、列索引与实际数据块之间的映射。它像一个 API 来提供访问底层数据的接口。...对于表示数值(如整数和浮点数)的块,Pandas 将这些列组合在一起,并存储为 NumPy ndarry 数组。...因为 Pandas 中,相同类型的值会分配到相同的字节数,而 NumPy ndarray 里存储了值的数量,所以 Pandas 可以快速并准确地返回一个数值列占用的字节数。...这两种类型具有相同的存储容量,但如果只存储正数,无符号整数显然能够让我们更高效地存储只包含正值的列。
('1900/1/30', periods=df.shape[0]) 添加日期索引 查看/检查数据 df.head(n) 数据框的前n行 df.tail(n) 数据框的后n行 df.shape() 行数和列数...) 从一列返回一组对象的值 df.groupby([col1,col2]) 从多列返回一组对象的值 df.groupby(col1)[col2] 返回col2中的值的平均值,按col1中的值分组(平均值可以用统计部分中的几乎任何函数替换...加入/合并 df1.append(df2) 将df1中的行添加到df2的末尾(列数应该相同) df.concat([df1, df2],axis=1) 将df1中的列添加到df2的末尾(行数应该相同...) df1.join(df2,on=col1,how='inner') SQL类型的将df1中的列与df2上的列连接,其中col的行具有相同的值。...df.describe() 数值列的汇总统计信息 df.mean() 返回所有列的平均值 df.corr() 查找数据框中的列之间的相关性 df.count() 计算每个数据框的列中的非空值的数量 df.max
其他列(如WELL、DEPTH_MD和GR)是完整的,并且具有最大的值数。 矩阵图 如果使用深度相关数据或时间序列数据,矩阵图是一个很好的工具。它为每一列提供颜色填充。...这是在条形图中确定的,但附加的好处是您可以「查看丢失的数据在数据框中的分布情况」。 绘图的右侧是一个迷你图,范围从左侧的0到右侧数据框中的总列数。上图为特写镜头。...当一行的每列中都有一个值时,该行将位于最右边的位置。当该行中缺少的值开始增加时,该行将向左移动。 热图 热图用于确定不同列之间的零度相关性。换言之,它可以用来标识每一列之间是否存在空值关系。...接近正1的值表示一列中存在空值与另一列中存在空值相关。 接近负1的值表示一列中存在空值与另一列中存在空值是反相关的。换句话说,当一列中存在空值时,另一列中存在数据值,反之亦然。...如果在零级将多个列组合在一起,则其中一列中是否存在空值与其他列中是否存在空值直接相关。树中的列越分离,列之间关联null值的可能性就越小。
subset:用来指定特定的列,根据指定的列对数据框去重。默认值为None,即DataFrame中一行元素全部相同时才去除。...导入数据处理的库 os.chdir('F:/微信公众号/Python/26.基于多列组合删除数据框中的重复值') #把路径改为数据存放的路径 name = pd.read_csv('name.csv...原始数据中只有第二行和最后一行存在重复,默认保留第一条,故删除最后一条得到新数据框。 想要根据更多列数去重,可以在subset中添加列。...如果不写subset参数,默认值为None,即DataFrame中一行元素全部相同时才去除。 从上文可以发现,在Python中用drop_duplicates函数可以轻松地对数据框进行去重。...但是对于两列中元素顺序相反的数据框去重,drop_duplicates函数无能为力。 如需处理这种类型的数据去重问题,参见本公众号中的文章【Python】基于多列组合删除数据框中的重复值。 -end-
操作数据帧可能很快会成为一项复杂的任务,因此在Pandas中的八种技术中均提供了说明,可视化,代码和技巧来记住如何做。 ?...Melt Melt可以被认为是“不可透视的”,因为它将基于矩阵的数据(具有二维)转换为基于列表的数据(列表示值,行表示唯一的数据点),而枢轴则相反。...包含值的列将转换为两列:一列用于变量(值列的名称),另一列用于值(变量中包含的数字)。 ? 结果是ID列的值(a,b,c)和值列(B,C)及其对应值的每种组合,以列表格式组织。...另一方面,如果一个键在同一DataFrame中列出两次,则在合并表中将列出同一键的每个值组合。...例如,考虑使用pandas.concat([df1,df2])串联的具有相同列名的 两个DataFrame df1 和 df2 : ?
默认情况下,pandas会将数据存储到一个专门的数据结构中,这个数据结构能够实现按行索引、通过自定义的分隔符分隔变量、推断每一列的正确数据类型、转换数据(如果需要的话),以及解析日期、缺失值和出错数据。...iris的pandas数据框(DataFrame)。...以下是X数据集的后4行数据: ? 在这个例子中,得到的结果是一个pandas数据框。为什么使用相同的函数却有如此大的差异呢?...那么,在前一个例子中,我们想要抽取一列,因此,结果是一维向量(即pandas series)。 在第二个例子中,我们要抽取多列,于是得到了类似矩阵的结果(我们知道矩阵可以映射为pandas的数据框)。...然后,接下来的步骤需要弄清楚要处理的问题的规模,因此,你需要知道数据集的大小。通常,对每个观测计为一行,对每一个特征计为一列。
在NumPy中数据结构是围绕ndarray展开的, 那么在Pandas中的核心数据结构是Series和 DataFrame,分别代表着一维的序列和二维的表结构。...计算时,如果 Pandas在两个Series里找不到相同的 index,对应的位置就返回一个空值 NaN。...,将表格中几列数据组合在一起时,部分列多出几行;表格中的一列可以看做一个Series对象 data = { 'Name':pd.Series(['zs','ls','we'],index=['a...此外我们还要掌握常见的取数方法,取行和列,包括某行某列,连续的行和列,间断的行和列,单个数据等,这些取数的方法与NumPy取数方法相同,括号中索引以逗号分隔,逗号前为行,后为列。...b 1 1 b 1 c 2 2 c 2 d 3 3 d 2 e 4 4 e 2 将一列数据变为行索引的好处是,索引从0开始,如果要按照表格中的一列,如id列中的序号,从1
本文就将带大家学习如何在pandas中化繁为简,利用query()和eval()来实现高效简洁的数据查询与运算。 ?...图9 2.6 对Index与MultiIndex的支持 除了对常规字段进行条件筛选,query()还支持对数据框自身的index进行条件筛选,具体可分为三种情况: 常规index 对于只具有单列...而pandas中的eval()有两种,一种是top-level级别的eval()函数,而另一种是针对数据框的DataFrame.eval(),我们接下来要介绍的是后者,其与query()有很多相同之处,...策略之后无法被解析的日期会填充pd.NAT,而缺失值之间是无法进行相等比较的: # 利用assign进行新增字段计算并保存为新数据框 result1 = netflix.assign(years_to_now...图13 虽然assign()已经算是pandas中简化代码的很好用的API了,但面对eval(),还是逊色不少 DataFrame.eval()通过传入多行表达式,每行作为独立的赋值语句,其中对应前面数据框中数据字段可以像
因此很多时候为了提升整个数据分析工作流的「执行效率」以及代码的「简洁性」,需要配合一些pandas中的高级特性。...本文就将带大家学习如何在pandas中化繁为简,利用query()和eval()来实现高效简洁的数据查询与运算。...: 「常规index」 对于只具有单列Index的数据框,直接在表达式中使用index: # 找出索引列中包含king的记录,忽略大小写 netflix.set_index('title').query...而pandas中的eval()有两种,一种是top-level级别的eval()函数,而另一种是针对数据框的DataFrame.eval(),我们接下来要介绍的是后者,其与query()有很多相同之处,...策略之后无法被解析的日期会填充pd.NAT,而缺失值之间是无法进行相等比较的: # 利用assign进行新增字段计算并保存为新数据框 result1 = netflix.assign(years_to_now
索引和切片操作是最基本最常用的数据处理操作,Pandas中的索引和切片操作基于Python的语言特性,支持类似于numpy中的操作,也可以使用行标签、列标签以及行标签与列标签的组合来进行索引和切片操作...获取DataFrame中的一列数据有两种方式,第一种是用 data['列索引'] ,如 data['收盘价'] 可以获取收盘价这一列的数据。...iloc属性基于数值索引获取数据,用法为 data.iloc[数值] ,如 data.iloc[0] 是获取DataFrame中的第一行数据,与 data.loc['2021-02-19'] 结果相同。...在Pandas中,取数据的逻辑通常是先获取某一列数据,然后再取这列数据中的某个数据,所以默认采用了“先列后行”的方式,如果顺序反了会报错。 ?...使用iloc进行切片操作时,切片规则与Python基本的切片规则相同,传入的切片索引是左闭右开的(包含起始值,不包含结束值)。 ?
7.Python入门之语句、函数和代码组织 8.NumPy入门 9.使用pandas进行数据分析之核心数据结构——数据框架和系列 10.使用pandas进行数据分析之数据操作 11.使用pandas进行数据分析之组合数据...默认情况下,它们返回沿轴axis=0的系列,这意味着可以获得列的统计信息: 如果需要每行的统计信息,使用axis参数: 默认情况下,缺失值不包括在描述性统计信息(如sum或mean)中,这与Excel...处理空单元格的方式一致,因此在包含空单元格的区域内使用Excel的AVERAGE公式将获得与应用于具有相同数字和NaN值(而不是空单元格)的系列的mean方法相同的结果。...index和columns分别定义数据框架的哪一列将成为透视表的行和列标签。...Region)的唯一值,并将其转换为透视表的列标题,从而聚合来自另一列的值。
(df) 通过Pandas生成一个6行4列,列名分别为'col1'、'col2'、'col3'、'col4'的数据框。...然后使用预处理对象的 fit_transform 方法对 df(数据框对象)进行处理,该方法是将 fit 和 transform 组合起来使用。...先通过 df.copy() 复制一个原始数据框的副本,用来存储Z-Score标准化后的得分,再通过 df.columns 获得原始数据框的列名,接着通过循环判断每一列中的异常值。...删除数据记录中所有列值相同的记录,index为2的记录行被删除: col1 col2 0 a 3 1 b 2 3 c 2 删除数据记录中col1值相同的记录...,index为2的记录行被删除: col1 col2 0 a 3 1 b 2 3 c 2 删除数据记录中col2值相同的记录,index为2和3的记录行被删除
Series 序列是表示 DataFrame 的一列的数据结构。使用序列类似于引用电子表格的列。 4. Index 每个 DataFrame 和 Series 都有一个索引,它们是数据行上的标签。...在 Pandas 中,索引可以设置为一个(或多个)唯一值,这就像在工作表中有一列用作行标识符一样。与大多数电子表格不同,这些索引值实际上可用于引用行。...df.sort_values("col1", inplace=True) 数据输入和输出 1. 利用值构造一个数据框DataFrame 在Excel电子表格中,值可以直接输入到单元格中。...pandas 通过在 DataFrame 中指定单个系列来提供矢量化操作。可以以相同的方式分配新列。DataFrame.drop() 方法从 DataFrame 中删除一列。...If/then逻辑 假设我们想要根据 total_bill 是小于还是大于 10 美元,来创建一个具有低值和高值的列。 在Excel电子表格中,可以使用条件公式进行逻辑比较。
pd.DataFrame()中的常用参数: data:可接受numpy中的ndarray,标准的字典,dataframe,其中,字典的值可以为Series,arrays,常数或列表 index:数据框行的索引值...,储存对两个数据框中重复非联结键列进行重命名的后缀,默认为('_x','_y') indicator:是否生成一列新值_merge,来为合并后的每行标记其中的数据来源,有left_only,right_only...7.数据框的条件筛选 在日常数据分析的工作中,经常会遇到要抽取具有某些限定条件的样本来进行分析,在SQL中我们可以使用Select语句来选择,而在pandas中,也有几种相类似的方法: 方法1: A =...12.缺失值的处理 常用的处理数据框中缺失值的方法如下: df.dropna():删去含有缺失值的行 df.fillna():以自定义的方式填充数据框中的缺失位置,参数value控制往空缺位置填充的值,...method控制插值的方式,默认为'ffill',即用上面最近的非缺省值来填充下面的缺失值位置 df.isnull():生成与原数据框形状相同的数据框,数据框中元素为判断每一个位置是否为缺失值返回的bool
凭借其广泛的功能,Pandas 对于数据清理、预处理、整理和探索性数据分析等活动具有很大的价值。 Pandas的核心数据结构是Series和DataFrame。...利用这些数据结构以及广泛的功能,用户可以快速加载、转换、过滤、聚合和可视化数据。 Pandas与其他流行的Python库(如NumPy、Matplotlib和scikit-learn)快速集成。...] # 根据条件选择数据框中的行和列 df.loc[df['column_name'] > 5, ['column_name1', 'column_name2']] / 04 / 数据清洗 数据清洗是数据预处理阶段的重要步骤...中,你可以使用各种函数基于公共列或索引来连接或组合多个DataFrame。...中的统计 Pandas提供了广泛的统计函数和方法来分析DataFrame或Series中的数据。
的记录行顺序 有时候我们需要对数据框整体的行顺序进行打乱,譬如在训练机器学习模型时,打乱原始数据顺序后取前若干行作为训练集后若干行作为测试集,这在pandas中可以利用sample()方法快捷实现。...range(5), 'V2': range(5) }) df.sample(frac=1) 图4 2.3 利用类别型数据减少内存消耗 当我们的数据框中某些列是由少数几种值大量重复形成时,会消耗大量的内存...2.4 pandas中的object类型陷阱 在日常使用pandas处理数据的过程中,经常会遇到object这种数据类型,很多初学者都会把它视为字符串,事实上object在pandas中可以代表不确定的数据类型...在pandas中我们可以对单个Series查看hanans属性来了解其是否包含缺失值,而结合apply(),我们就可以快速查看整个数据框中哪些列含有缺失值: df = pd.DataFrame({...在pandas中我们可以利用rank()方法计算某一列数据对应的排名信息,但在rank()中有参数method来控制具体的结果计算策略,有以下5种策略,在具体使用的时候要根据需要灵活选择: 「average
图3 2.2 随机打乱DataFrame的记录行顺序 有时候我们需要对数据框整体的行顺序进行打乱,譬如在训练机器学习模型时,打乱原始数据顺序后取前若干行作为训练集后若干行作为测试集,这在pandas...图4 2.3 利用类别型数据减少内存消耗 当我们的数据框中某些列是由少数几种值大量重复形成时,会消耗大量的内存,就像下面的例子一样: import numpy as np pool = ['A',...2.4 pandas中的object类型陷阱 在日常使用pandas处理数据的过程中,经常会遇到object这种数据类型,很多初学者都会把它视为字符串,事实上object在pandas中可以代表不确定的数据类型...图10 2.5 快速判断每一列是否有缺失值 在pandas中我们可以对单个Series查看hanans属性来了解其是否包含缺失值,而结合apply(),我们就可以快速查看整个数据框中哪些列含有缺失值...图11 2.6 使用rank()计算排名时的五种策略 在pandas中我们可以利用rank()方法计算某一列数据对应的排名信息,但在rank()中有参数method来控制具体的结果计算策略,有以下5
领取专属 10元无门槛券
手把手带您无忧上云