文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Pandas系列 - 基本功能和统计操作

一、系列基本功能 二、DataFrame基本功能 三、基本统计性聚合函数 sum()方法 sum()方法 - axis=1 mean()方法 std()方法 - 标准差 四、汇总数据 包含字符串列 五、...，默认定义：1 5 size 返回基础数据中的元素数 6 values 将系列作为ndarray返回 7 head() 返回前n行 8 tail() 返回最后n行 axes示例： import pandas...编号 属性或方法 描述 1 T/tranpose() 转置行和列 2 axes 返回一个列，行轴标签和列轴标签作为唯一的成员 3 dtypes 返回此对象中的数据类型(dtypes) 4 empty...3 mean() 所有值的平均值 4 median() 所有值的中位数 5 mode() 值的模值 6 std() 值的标准偏差 7 min() 所有值中的最小值 8 max() 所有值中的最大值 9...，只统计了数字的列 那么，如果想要都包含的话，该怎么操作: object - 汇总字符串列 number - 汇总数字列 all - 将所有列汇总在一起(不应将其作为列表值传递) 包含字符串列 import

68110

Pandas 2.2 中文官方教程和指南（十·二）

=, >, >=, <, <= 有效的布尔表达式与以下组合： |：或 &：和 ( 和 )：用于分组 这些规则类似于在 pandas 中用于索引的布尔表达式的使用方式。...字符串列的 itemsize 是在第一次追加时传递给HDFStore的数据的长度的最大值。后续的追加可能会引入一个比列能容纳的更大的字符串，将引发异常（否则可能会对这些列进行静默截断，导致信息丢失）。...字符串列将使用nan_rep字符串表示来序列化np.nan（缺失值）。...如果尝试解析日期字符串列，pandas 将尝试从第一个非 NaN 元素猜测格式，然后使用该格式解析列的其余部分。...如果您指定了一个字符串列表，那么其中的所有值都将被视为缺失值。

15800
您找到你想要的搜索结果了吗？
是的
没有找到

Pandas 2.2 中文官方教程和指南（十五）

在 pandas 1.0 之前，object dtype 是唯一的选项。这在很多方面都是不幸的： 你可能会在object dtype 数组中意外存储字符串和非字符串的混合。...在StringArray中的缺失值将在比较操作中传播，而不总是像numpy.nan那样比较不相等。 本文档其余部分中的所有内容同样适用于string和object dtype。...在 pandas 1.0 之前，object dtype 是唯一的选择。这在很多方面都是不幸的： 在object dtype 数组中可能会意外存储字符串和非字符串的混合。...在StringArray中的缺失值将在比较操作中传播，而不像numpy.nan那样总是比较不相等。 本文档其余部分中的其他内容同样适用于string和object dtype。...在StringArray中的缺失值将在比较操作中传播，而不像numpy.nan那样总是比较不相等。 本文档其余部分中的所有内容同样适用于string和object dtype。

17110

50个Pandas的奇淫技巧:向量化字符串，玩转文本处理

一、向量化操作的概述 对于文本数据的处理(清洗)，是现实工作中的数据时不可或缺的功能，在这一节中,我们将介绍Pandas的字符串操作。...向量化的操作使我们不必担心数组的长度和维度，只需要关系操作功能，尤为强大的是，除了支持常用的字符串操作方法，还集成了正则表达式的大部分功能，这使得pandas在处理字符串列时，具有非常大的魔力。...如果 False ，则返回包含字符串列表的系列/索引。 regex：布尔值，默认无。...除了上面介绍的Pandas字符串的正常操作和正则表达式外，Pandas的str属性还提供了其他的一些方法，这些方法非常的有用，在进行特征提取或者数据清洗时，非常高效，具体如下： 方法 说明 get()...str.repeat()方法用于在传递的系列本身的相同位置重复字符串值。

5.9K60

pandas 分类数据处理大全（附代码）

比如，人口按性别分为男和女，按年龄分为老、中、少。 在计算机语言里，我们通常会用数字来表示，比如用1代表男，0代表女，但是0和1之间并没有大小关系，pandas中用category来表示分类数据。...总结一下，使用category有以下一些好处： 内存使用情况:对于重复值很多的字符串列，category可以大大减少将数据存储在内存中所需的内存量; 运行性能:进行了一些优化，可以提高某些操作的执行速度...用category类列分组时，一旦误操作就会发生意外，结果是Dataframe会被填成空值，还有可能直接跑死。。...dog 0.501023 gorilla NaN snake NaN Name: float_1, dtype: float64 在groupby中得到了一堆空值...默认情况下，当按category列分组时，即使数据不存在，pandas也会为该类别中的每个值返回结果。

1.1K20

Pandas 2.2 中文官方教程和指南（十·一）

请参见下面的 na values const 以获取默认情况下解释为 NaN 的值列表。 keep_default_na 布尔值，默认为True 是否在解析数据时包括默认的 NaN 值。...na_filter 布尔值，默认为True 检测缺失值标记（空字符串和 na_values 的值）。在没有任何 NA 的数据中，传递na_filter=False可以提高读取大文件的性能。...如果尝试解析日期字符串列，pandas 将尝试从第一个非 NaN 元素猜测格式，然后使用该格式解析列的其余部分。...如果你指定一个字符串列表，那么其中的所有值都被视为缺失值。...如果 usecols 是一个字符串列表，则假定每个字符串对应于用户在 names 中提供的列名或从文档标题行中推断出的列名。

15000

将文本字符串转换成数字，看pandas是如何清理数据的

标签：pandas 本文研讨将字符串转换为数字的两个pandas内置方法，以及当这两种方法单独不起作用时，如何处理一些特殊情况。 运行以下代码以创建示例数据框架。...每列都包含文本/字符串，我们将使用不同的技术将它们转换为数字。我们使用列表解析创建多个字符串列表，然后将它们放入数据框架中。...记住，数据框架中的所有值都是字符串数据类型。 图1 df.astype()方法 这可能是最简单的方法。我们可以获取一列字符串，然后强制数据类型为数字（即整数或浮点数）。...然而，这种方法在某些需要清理数据的情况下非常方便。例如，列l8中的数据是“文本”数字（如“1010”）和其他实文本（如“asdf”）的混合。...在pd.to_numeric方法中，当errors=’coerce’时，代码将运行而不引发错误，但对于无效数字将返回NaN。 然后我们可以用其他伪值（如0）替换这些NaN。

6.6K10

Python数据分析模块 | pandas做数据分析(二):常用预处理操作

在数据分析和机器学习的一些任务里面,对于数据集的某些列或者行丢弃，以及数据集之间的合并操作是非常常见的. 1、合并操作 pandas.merge pandas.merge(left, right, how...prefix : 字符串,或者字符串列表,或者字符串字典.默认为None,这里应该传入一个字符串列表,且这个列表的长度是和将要被get_dummis的那些列数量是相等的.同样,prefix选项也可以是一个把列名映射到...4、处理缺失值 pandas使用浮点数NaN(not a number)表示浮点和非浮点数组中的缺失数据....pandas中,自己传入的np.nan或者是python内置的None值,都会被当做NaN处理,如下例. import numpy as np import pandas as pd s=pd.Series...查找缺失值 DataFrame.isnull() 作用,返回一个和原来DataFrame一样形状的,里面值为布尔型的DataFrame.

1.7K60

进步神速，Pandas 2.1中的新改进和新功能

接下来将深入了解这对用户意味着什么，本文将详细介绍最重要的改进。 避免在字符串列中使用NumPy对象类型 pandas中的一个主要问题是低效的字符串表示。...Pandas团队决定引入一个新的配置选项，将所有字符串列存储在PyArrow数组中。不再需要担心转换字符串列，它会自动工作。...可以通过以下方式打开此选项： pd.options.future.infer_string = True 这个行为将在pandas 3.0中成为默认行为，这意味着字符串列将始终由PyArrow支持。...弃用setitem类操作中的静默类型转换 一直以来，如果将不兼容的值设置到pandas的列中，pandas会默默地更改该列的数据类型。...当想要更改数据类型时，则必须明确指定，这会增加一些代码量，但对于后续开发人员来说更容易理解。 这个变化会影响所有的数据类型，例如将浮点值设置到整数列中也会引发异常。

83110

AI开发最大升级：Pandas与Scikit-Learn合并，新工作流程更简单强大！

以前，它只对包含数字分类数据的列进行编码。 接下来，让我们看看这些新添加的功能是如何处理Pandas DataFrame中的字符串列的。...当调用transform时，它使用每个列的这个存储平均值来填充缺失值并返回转换后的数组。 OneHotEncoder原理是类似的。在fit方法中，它会找到每个列的所有唯一值，并再次存储这些值。...在调用transform时，它使用这些存储的惟一值来生成二进制数组。...当我们在训练集中运行fit_transform时，Scikit-Learn找到了它需要的所有必要信息，以便转换包含相同列名的任何其他数据集。 多字符串列转换 对多列字符串进行编码不成问题。...以下代码构建的类基本转换器可执行以下操作： •使用数字列的均值或中位数填充缺失值 •对所有数字列进行标准化 •对字符串列使用一个热编码 •不用再填充类别列中的缺失值，而是直接将其编码为0 •忽略测试集中字符串列中的少数独特值

3.5K30

python dtype o_python – 什么是dtype（’O’）？ – 堆栈内存溢出「建议收藏」

大家好，又见面了，我是你们的朋友全栈君。 当你在数据帧中看到dtype(‘O’) ，这意味着Pandas字符串。 什么是dtype ？ 什么属于pandas或numpy ，或两者，或其他什么？...Pandas dtype Python type NumPy type Usage object str string_, unicode_ Text 就像堂吉诃德一样，Pandas在Numpy上，Numpy...(little-endian或big-endian) 如果数据类型是结构化的，则是其他数据类型的聚合(例如，描述由整数和浮点数组成的数组项) 结构“字段”的名称是什么 每个字段的数据类型是什么 每个字段占用的内存块的哪一部分...如果数据类型是子数组，那么它的形状和数据类型是什么 在这个问题的上下文中， dtype属于pands和numpy，特别是dtype(‘O’)意味着我们期望字符串。...will convert datetime to object only df.iloc[4,:] = ” # will convert all columns to object 在这里要注意，如果我们在非字符串列中设置字符串

2.3K20

Pandas 2.1发布了

更好的PyArrow支持 PyArrow是在Panda 2.0中新加入的后端，对于大数据来说提供了优于NumPy的性能。Pandas 2.1增强了对PyArrow的支持。...映射所有数组类型时可以忽略NaN类值 在以前版本，可空类型上调用map会在存在类似nan的值时触发错误。而现在可以设定na_action= " ignore "参数，将忽略所有类型数组中的nan值。...字符串的默认类型 默认情况下，所有字符串都存储在具有NumPy对象dtype的列中，如果你安装了PyArrow，则会将所有字符串推断为PyArrow支持的字符串，这个选项需要使用这个参数设置： pd.options.future.infer_string...当从其他数据推断数据时，可以保证只更改副本。这意味着代码将更加统一。Pandas将识别何时复制对象，并且只在必要时复制对象。...在Pandas 2.1中，花了很多精力使许多地方的Copy-On-Write保持一致。 新的日期方法 在Pandas 2.1中，增加了一组新处理日期的新方法。

20520

Pandas 2.1发布了

更好的PyArrow支持 PyArrow是在Panda 2.0中新加入的后端，对于大数据来说提供了优于NumPy的性能。Pandas 2.1增强了对PyArrow的支持。...映射所有数组类型时可以忽略NaN类值 在以前版本，可空类型上调用map会在存在类似nan的值时触发错误。而现在可以设定na_action= " ignore "参数，将忽略所有类型数组中的nan值。...字符串的默认类型 默认情况下，所有字符串都存储在具有NumPy对象dtype的列中，如果你安装了PyArrow，则会将所有字符串推断为PyArrow支持的字符串，这个选项需要使用这个参数设置： pd.options.future.infer_string...当从其他数据推断数据时，可以保证只更改副本。这意味着代码将更加统一。Pandas将识别何时复制对象，并且只在必要时复制对象。...在Pandas 2.1中，花了很多精力使许多地方的Copy-On-Write保持一致。 新的日期方法 在Pandas 2.1中，增加了一组新处理日期的新方法。

25630

Python—关于Pandas的缺失值问题(国内唯一)

这些是Pandas可以检测到的缺失值。 回到我们的原始数据集，让我们看一下“ ST_NUM”列。 ? 第三列中有一个空单元格。在第七行中，有一个“ NA”值。 显然，这些都是缺失值。...使用该方法，我们可以确认缺失值和“ NA”都被识别为缺失值。两个布尔响应均为。isnull() 和True 这是一个简单的示例，但强调了一个重点。Pandas会将空单元格和“NA”类型都识别为缺失值。...然后，当我们导入数据时，Pandas会立即识别出它们。这是我们将如何执行此操作的示例。...意外的缺失值 到目前为止，我们已经看到了标准缺失值和非标准缺失值。如果我们出现意外类型怎么办？ 例如，如果我们的功能应该是字符串，但是有数字类型，那么从技术上讲，这也是一个缺失值。...从前面的示例中，我们知道Pandas将检测到第7行中的空单元格为缺失值。让我们用一些代码进行确认。

3.1K40

Pandas 2.2 中文官方教程和指南（九·一）

在 pandas 数据结构之间进行二进制操作时，有两个关键点值得注意： + 高维（例如 DataFrame）和低维（例如 Series）对象之间的广播行为。...在 Series 和 DataFrame 中，算术函数有一个 fill_value 选项，即在某个位置的值缺失时要替换的值。...请参见矢量化字符串方法获取完整描述。 排序 pandas 支持三种排序方式：按索引标签排序、按列值排序以及按两者的组合排序。...在 pandas 数据结构之间进行二进制操作时，有两个关键点值得关注： 高维（例如 DataFrame）和低维（例如 Series）对象之间的广播行为。...在 Series 和 DataFrame 中，算术函数有一个 fill_value 选项，即在某个位置的值中至多有一个缺失时要替换的值。

8200

Pandas 2.2 中文官方教程和指南（二十二）

原文：pandas.pydata.org/docs/user_guide/options.html 概览 pandas 有一个选项 API，可以配置和自定义与 DataFrame 显示、数据行为等全局行为相关的行为...概述 pandas 具有选项 API，可配置和自定义与DataFrame显示、数据行为等相关的全局行为。 选项具有完整的“点格式”，不区分大小写的名称（例如display.max_rows）。...135 key = keys[0] 137 if not silent: OptionError: Pattern matched multiple keys 警告 使用这种简写形式可能会导致您的代码在将来版本中添加类似名称的新选项时出现问题...display.max_rows 和 display.max_columns 设置在美观打印框架时显示的最大行数和列数。截断的行将被省略号替换。...默认情况下，“模糊”字符的宽度，例如下面示例中的“¡”（倒叹号），被视为 1。

9000

Python 数据分析（PYDA）第三版（三）

类型推断和数据转换 包括用户定义的值转换和自定义缺失值标记列表。 日期和时间解析 包括一种组合能力，包括将分布在多个列中的日期和时间信息组合成结果中的单个列。 迭代 支持迭代处理非常大文件的块。...在下一章中，我将专注于以各种方式组合和重新排列数据集。 7.1 处理缺失数据 缺失数据在许多数据分析应用中很常见。pandas 的目标之一是尽可能地使处理缺失数据变得轻松。...因此，当这些数据中引入缺失数据时，pandas 会将数据类型转换为float64，并使用np.nan表示空值。这导致许多 pandas 算法中出现了微妙的问题。...，Series 使用了使用float64数据类型和np.nan表示缺失值的传统行为。...pandas 通过使您能够简洁地在整个数据数组上应用字符串和正则表达式，另外处理了缺失数据的烦恼。 Python 内置字符串对象方法 在许多字符串处理和脚本应用程序中，内置字符串方法已经足够。

20000

Pandas 2.2 中文官方教程和指南（二十四）

在编程中，通常的规则是在容器被迭代时不要改变容器。变异将使迭代器无效，导致意外行为。...当使用需要 UDF 的 pandas 方法时，内部 pandas 通常会迭代 DataFrame 或其他 pandas 对象。因此，如果 UDF 改变了 DataFrame，可能会出现意外行为。...np.nan 作为 NumPy 类型的 NA 表示 由于在 NumPy 和 Python 中普遍缺乏对 NA（缺失）的支持，NA 可以用以下方式表示： 一种 掩码数组 解决方案：一个数据数组和一个布尔值数组...编程中的一个通用规则是，在迭代容器时不应该改变容器。改变会使迭代器失效，导致意外行为。...因此，如果 UDF 改变了 DataFrame，可能会导致意外行为的发生。

29400

Pandas 2.2 中文官方教程和指南（十七）

而真实世界的数据中有重复项，即使在应该是唯一的字段中也是如此。 本节描述了重复标签如何改变某些操作的行为，以及如何在操作过程中防止重复项的出现，或者在出现重复项时如何检测它们。...在内部，数据结构由一个categories数组和一个指向categories数组中实际值的整数数组codes组成。 分类数据类型在以下情况下很有用： 由仅包含几个不同值的字符串变量组成。...注意 作为一种便利，当你希望类别的默认行为是无序的，并且等于数组中存在的集合值时，可以在CategoricalDtype的位置使用字符串'category'。...R 允许在其 levels（pandas 的 categories）中包含缺失值。pandas 不允许 NaN 类别，但缺失值仍然可以在 values 中。...R 允许在其levels（pandas 的categories）中包含缺失值。pandas 不允许NaN类别，但缺失值仍然可以在values中。

32210
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券