首页
学习
活动
专区
圈层
工具
发布

数据分析工具Pandas1.什么是Pandas?2.Pandas的数据结构SeriesDataFrame3.Pandas的索引操作索引对象IndexSeries索引DataFrame索引高级索引:标签

的数据结构 import pandas as pd Pandas有两个最主要也是最重要的数据结构: Series 和 DataFrame Series Series是一种类似于一维数组的 对象...切片索引 ser_obj[2:4], ser_obj[‘label1’: ’label3’] 注意,按索引名切片操作时,是包含终止索引的。...的高级索引有3种 1. loc 标签索引 DataFrame 不能直接切片,可以通过loc来做切片 loc是基于标签名的索引,也就是我们自定义的索引名 示例代码: # 标签索引 loc # Series...索引操作,可将其看作ndarray的索引操作 标签的切片索引是包含末尾位置的 ---- 4.Pandas的对齐运算 是数据清洗的重要过程,可以按索引对齐进行运算,如果没对齐的位置则补NaN,最后也可以填充...2 NaN NaN NaN 填充未对齐的数据进行运算 1. fill_value 使用add, sub, div, mul的同时, 通过fill_value指定填充值,未对齐的数据将和填充值做运算

4.6K20

Python 数据处理:Pandas库的使用

2.1 重新索引 2.2 丢弃指定轴上的项 2.3 索引、选取和过滤 2.4 用 loc 和 iloc 进行选取 2.5 整数索引 2.6 算术运算和数据对齐 2.7 在算术方法中填充值 2.8 DataFrame...下表对DataFrame进行了总结: 类型 描述 df[val] 从DataFrame选取单列或一组列;在特殊情况下比较便利:布尔型数组(过滤行)、切片(行切片)、或布尔型DataFrame(根据条件设置值...) ---- 2.7 在算术方法中填充值 在对不同索引的对象进行算术运算时,你可能希望当一个对象中某个轴标签在另一个对象中找不到时填充一个特殊值(比如0): import pandas as pd...因此这两个语句是等价的: print(1 / df1) print(df1.rdiv(1)) 与此类似,在对Series或DataFrame重新索引时,也可以指定一个填充值: print(df1...默认情况下,rank是通过“为各组分配一个平均排名”的方式破坏平级关系的: import pandas as pd obj = pd.Series([7, -5, 7, 4, 2, 0, 4]) print

25.5K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    利用Python进行数据分析(8) pandas基础: Series和DataFrame的基本操作

    利用Python进行数据分析(8) pandas基础: Series和DataFrame的基本操作 一、reindex() 方法:重新索引 针对 Series 的重新索引操作 重新索引指的是根据index...不想用缺失值,可以用 fill_value 参数指定填充值。 ?...针对 DataFrame 的重新索引操作 ? 二、drop() 方法:丢弃数据 针对 Series ? 针对 DataFrame 不仅可以删除行,还可以删除列: ?...需要注意一点的是,利用索引的切片运算与普通的 Python 切片运算不同,其末端是包含的,既包含最后一个的项。比较: ? 赋值操作: ? 针对 DataFrame ?...针对 DataFrame ? 七、排名 ? 八、带有重复值的轴索引 索引不强制唯一,例如一个重复索引的 Series: ?

    1.1K20

    Pandas_Study01

    pandas 入门概念 series 和 dataframe 这是pandas 中最为基本的两个概念,series 类似于一维数组,可以近似当成普通的数组进行操作,对于series 默认会有行索引为它索引...2).参与运算的如果是两个DataFrame,有可能所有的行、列是一致的,那么运算时对应行列的位置进行相应的算术运算,若行列没有对齐,那么填值NaN。 3)....如果参与运算的一个是DataFrame,另一个是Series,那么pandas会对Series进行行方向的广播,然后做相应的运算。 4)....pandas 常用函数 pandas中的函数 一般会有两种结果,一是copy,即返回一个修改后的副本,原有的不变,二是inplace,即在原有基础上直接进行修改。...新的series保留原serie的values值,如果新的index和原series的index不同,则不同的填充NaN值,或者使用fill_value参数指定填充值。

    1K10

    Pandas数据分析之Series和DataFrame的基本操作

    转自:志学python 利用Python进行数据分析(8) pandas基础: Series和DataFrame的基本操作 一、reindex() 方法:重新索引 针对 Series 的重新索引操作 重新索引指的是根据...不想用缺失值,可以用 fill_value 参数指定填充值。 ?...针对 DataFrame 的重新索引操作 ? 二、drop() 方法:丢弃数据 针对 Series ? 针对 DataFrame 不仅可以删除行,还可以删除列: ?...需要注意一点的是,利用索引的切片运算与普通的 Python 切片运算不同,其末端是包含的,既包含最后一个的项。比较: ? 赋值操作: ? 针对 DataFrame ?...针对 DataFrame ? 七、排名 ? 八、带有重复值的轴索引 索引不强制唯一,例如一个重复索引的 Series: ?

    1.5K20

    玩转Pandas,让数据处理更easy系列5

    Pandas主要的两个数据结构: Series(一维)和DataFrame(二维), 系统地介绍了创建,索引,增删改查Series, DataFrame等常用操作接口, 总结了Series如何装载到DataFrame...02 Pandas核心应用场景 按照使用逻辑,盘点Pandas的主要可以做的事情: 能将Python, Numpy的数据结构灵活地转换为Pandas的DataFrame结构(玩转Pandas,让数据处理更...easy系列1; 玩转Pandas,让数据处理更easy系列2) DataFrame可以方便地实现增加和删除行、列 ( 玩转Pandas,让数据处理更easy系列2) 智能地带标签的切片,好玩的索引提取大数据集的子集...(玩转Pandas,让数据处理更easy系列2) 通俗易懂地在DataFrame结构上实现merge和join操作(merge操作见:玩转Pandas,让数据处理更easy系列3) 善于处理missing...采用字典值填充,对应的列取对应字典中的填充值: pd_data4.fillna({'name':'none','score':60,'rank':'none'}) ?

    2.2K20

    python数据科学系列:pandas入门详细教程

    、切片访问、通函数、广播机制等 series是带标签的一维数组,所以还可以看做是类字典结构:标签是key,取值是value;而dataframe则可以看做是嵌套字典结构,其中列名是key,每一列的series...或字典(用于重命名行标签和列标签) reindex,接收一个新的序列与已有标签列匹配,当原标签列中不存在相应信息时,填充NAN或者可选的填充值 set_index/reset_index,互为逆操作,...[ ],这是一个非常便捷的访问方式,不过需区分series和dataframe两种数据结构理解: series:既可以用标签也可以用数字索引访问单个元素,还可以用相应的切片访问多个值,因为只有一维信息,...切片形式访问时按行进行查询,又区分数字切片和标签切片两种情况:当输入数字索引切片时,类似于普通列表切片;当输入标签切片时,执行范围查询(即无需切片首末值存在于标签列中),包含两端标签结果,无匹配行时返回为空...,但要求标签切片类型与索引类型一致。

    21.7K31

    Python 数据分析(PYDA)第三版(二)

    arr[5:8] = 12 In [66]: arr Out[66]: array([ 0, 1, 2, 3, 4, 12, 12, 12, 8, 9]) 正如您所看到的,如果您将标量值分配给一个切片...请注意,单独的冒号表示取整个轴,因此您可以通过以下方式仅切片更高维度的轴: In [97]: arr2d[:, :1] Out[97]: array([[1], [4], [7]]) 当然,对切片表达式的分配会分配给整个选择...,即使返回的数组未更改。...方括号表示用于启用切片操作并允许在 DataFrame 对象上的多个轴上进行索引。...表 5.4:DataFrame 的索引选项 类型 注释 df[column] 从 DataFrame 中选择单个列或列序列;特殊情况便利:布尔数组(过滤行)、切片(切片行)或布尔 DataFrame(根据某些条件设置值

    1.3K00

    Pandas 2.2 中文官方教程和指南(十一·二)

    但事实证明,将链式索引的乘积分配给结果本质上是不可预测的。...pandas 有 SettingWithCopyWarning,因为在切片的副本上赋值通常不是有意的,而是由于链式索引返回了一个副本而预期的是一个切片引起的错误。...您还可以将dict分配给DataFrame的一行: In [27]: x = pd.DataFrame({'x': [1, 2, 3], 'y': [3, 4, 5]}) In [28]: x.iloc...pandas 具有SettingWithCopyWarning,因为将分片的副本分配给链式索引通常不是有意的,而是由链式索引返回副本而不是预期的分片而导致的错误。...pandas 有SettingWithCopyWarning,因为给切片的副本赋值通常不是有意的,而是由链式索引返回副本而预期切片引起的错误。

    1.1K10

    Pandas笔记-基础篇

    7.2 c 3.6 d 4.5 e 0.0 dtype: float64 reindex重新索引时还可以做一些插值处理,method选项即可达到此目的,例如ffill就可以实现向前填充值...的单个列或一组列,在一些特殊情况下回比较便利:布尔型数组(过滤行)、切片(行切片)、布尔型DataFrame(根据条件设置值) obj.ix[val] 选取DataFrame的单个行或一组行 obj.ix...在算术方法中填充值 不使用+可以使用add方法进行相加,其中可以添加fill_value参数填充索引不重叠产生的缺省值。...1.0 2.0 3.0 4.0 1 6.0 7.0 8.0 9.0 2 11.0 12.0 13.0 14.0 函数应用和映射 Numpy的ufuncs也可用于操作pandas...min 使用整个分组的最小排名 max 使用整个分组的最大排名 first 按值在原始数据中的出现顺序分配排名 带有重复值得轴索引 虽然许多pandas函数如reindex都要求标签唯一,但这并不是强制性的

    78720

    Pandas切片操作:一个很容易忽视的错误

    Pandas是一个强大的分析结构化数据的工具集,主要用于数据挖掘和数据分析,同时也提供数据清洗功能。 很多初学者在数据的选取,修改和切片时经常面临一些困惑。...Pandas切片 Pandas数据访问方式包括:df[] ,.at,.iat,.loc,.iloc(之前有ix方法,pandas1.0之后已被移除) df[] :直接索引 at/iat:通过标签或行号获取某个数值的具体位置...这里我们就遇到了所谓的“链接索引”,具体原因是使用了两个索引器,例如:df[][] df[df['x']>3] 导致Pandas创建原始DataFrame的单独副本 df[df['x']>3]['y']...= 50 将新值分配给“ y”列,但在此临时创建的副本上,而不是原始DataFrame上。...这是因为,当我们从DataFrame中仅选择一列时,Pandas会创建一个视图,而不是副本。关于视图和副本的区别,下图最为形象: ?

    2.7K20

    数据科学 IPython 笔记本 7.6 Pandas 中的数据操作

    通用函数:索引保留 因为 Pandas 为兼容 NumPy 而设计,所以任何 NumPy ufunc都可以用于 Pandas Series和DataFrame对象。...让我们首先定义一个简单的Series和DataFrame来演示它: import pandas as pd import numpy as np rng = np.random.RandomState...通用函数:索引对齐 对于两个Series或DataFrame对象的二元操作,Pandas 将在执行操作的过程中对齐索引。这在处理不完整数据时非常方便,我们将在后面的一些示例中看到。...在 Pandas 中,按照惯例,默认情况下逐行操作: df = pd.DataFrame(A, columns=list('QRST')) df - df.iloc[0] Q R S T 0 0 0...中的数据操作将始终维护数据上下文,这可以防止在处理原始 NumPy 数组中的异构和/或未对齐数据时,可能出现的愚蠢错误。

    3.4K10

    数据科学 IPython 笔记本 7.8 分层索引

    到目前为止,我们主要关注一维和二维数据,分别存储在 Pandas Series和DataFrame对象中。通常,超出此范围并存储更高维度的数据(即由多于一个或两个键索引的数据)是有用的。...现在来访问第二个索引是 2010 的所有数据,我们可以简单地使用 Pandas 切片表示法: pop[:, 2010] ''' California 37253956 New York...作为额外维度的MultiIndex 你可能会注意到其他内容:我们可以使用带有索引和列标签的简单DataFrame,来轻松存储相同的数据。事实上,Pandas 的构建具有这种等价关系。...排序和未排序索引 早些时候,我们简要地提到了一个警告,但我们应该在这里强调一下。如果索引未排序,多数MultiIndex切片操作将失败。在这里我们来看看。...Pandas 提供了许多便利的例程来执行这种排序;例如DataFrame的sort_index()和sortlevel()方法。

    4.9K20

    pandas操作excel全总结

    首先,了解下pandas中两个主要的数据结构,一个是Series,另一个是DataFrame。 Series一种增强的一维数组,类似于列表,由索引(index)和值(values)组成。...pandas读取excel pandas读取文件之后,将内容存储为DataFrame,然后就可以调用内置的各种函数进行分析处理。...index_col ,指定索引对应的列为数据框的行标签,默认 Pandas 会从 0、1、2、3 做自然排序分配给各条记录。...「注意」 当使用显式索引(即data['a':'c'])作切片时,结果「包含」最后一个索引;而当使用隐式索引(即 data[0:2]) 作切片时,结果「不包含」最后一个索引。...loc属性,表示取值和切片都是显式索引 iloc属性,表示取值和切片都是隐式索引 Pandas 读取 csv文件的语法格式和读取excel文件是相似的,大家可以对照读取excel的方法学习。

    22.8K44
    领券