Tenure', 'Balance']) df_sample = df.sample(n=1000) df_sample2 = df.sample(frac=0.1) 5.检查缺失值 isna 函数确定数据帧中缺失的值...12.Groupby 函数 Pandas Groupby 函数是一个多功能且易于使用的功能，可帮助获取数据概述。它使浏览数据集和揭示变量之间的基本关系更加容易。 我们将做几个组比函数的示例。...df[['Geography','Exited','Balance']].sample(n=6).reset_index(drop=True) 17.将特定列设置为索引 我们可以将数据帧中的任何列设置为索引...df['Geography'] = df['Geography'].astype('category') 24.替换值 替换函数可用于替换数据帧中的值。...我已经在数据帧中添加了df_new名称。 ? df_new[df_new.Names.str.startswith('Mi')] ?
它将分为以下几点: 1、在Pandas数据流中生成数据。 2、数据帧内的数据检索/操作。...它是一个轻量级的、纯python库，用于生成随机有用的条目(例如姓名、地址、信用卡号码、日期、时间、公司名称、职位名称、车牌号码等)，并将它们保存在pandas dataframe对象中、数据库文件中的...2 数据帧操作 在本节中，我将展示一些关于Pandas数据帧的常见问题的提示。 注意：有些方法不直接修改数据帧，而是返回所需的数据帧。...在不知道索引的情况下检索数据: 通常使用大量数据，几乎不可能知道每一行的索引。这个方法可以帮你完成任务。因此，在因此，在“数据”数据框中，我们正在搜索user_id等于1的一行的索引。...填充列缺少的值： 与大多数数据集一样，必须期望大量的空值，这有时会令人恼火。
Pandas是一个用于数据操作和分析的Python库。它建立在 numpy 库之上，提供数据帧的有效实现。数据帧是一种二维数据结构。在数据帧中，数据以表格形式在行和列中对齐。...它类似于电子表格或SQL表或R中的data.frame。最常用的熊猫对象是数据帧。大多数情况下，数据是从其他数据源（如csv，excel，SQL等）导入到pandas数据帧中的。...ignore_index 参数用于在追加行后重置数据帧的索引。concat 方法的第一个参数是要与列名连接的数据帧列表。 ignore_index 参数用于在追加行后重置数据帧的索引。...ignore_index参数设置为 True 以在追加行后重置数据帧的索引。 然后，我们将 2 列 [“薪水”、“城市”] 附加到数据帧。“薪水”列值作为系列传递。序列的索引设置为数据帧的索引。...我们还了解了一些 Pandas 方法、它们的语法以及它们接受的参数。这种学习对于那些开始使用 Python 中的 Pandas 库对数据帧进行操作的人来说非常有帮助。
一、Pandas 基础 在本章中，我们将介绍以下内容： 剖析数据帧的结构 访问主要的数据帧组件 了解数据类型 选择单列数据作为序列 调用序列方法 与运算符一起使用序列 将序列方法链接在一起 使索引有意义...数据帧的数据（值）始终为常规字体，并且是与列或索引完全独立的组件。 Pandas 使用NaN（不是数字）来表示缺失值。 请注意，即使color列仅包含字符串值，它仍使用NaN表示缺少的值。...另见 Pandas read_csv函数的官方文档 访问主要的数据帧组件 可以直接从数据帧访问三个数据帧组件（索引，列和数据）中的每一个。...同时选择数据帧的行和列 直接使用索引运算符是从数据帧中选择一列或多列的正确方法。 但是，它不允许您同时选择行和列。...duration列缺少一些值。 如果回头看步骤 1 的数据帧输出，您将看到最后一行缺少duration的值。 为此，步骤 2 中的布尔条件返回False。
虽然 fillna 在最简单的情况下工作得很好，但只要数据中的组或数据顺序变得相关，它就会出现问题。本文将讨论解决这些更复杂情况的技术。...这些情况通常是发生在由不同的区域（时间序列）、组甚至子组组成的数据集上。不同区域情况的例子有月、季（通常是时间范围）或一段时间的大雨。性别也是数据中群体的一个例子，子组的例子有年龄和种族。...例如，这个替换值可以是 -999，以表示缺少该值。 例子： ? ? 当排序不相关时，处理丢失的数据 ?...不幸的是，在收集数据的过程中，有些数据丢失了。...下载数据帧中的数据示例 让我们看看我们每年有多少国家的数据。 ?
因为我们的具体目标是向你展示下面这些: 1、创建一个日期范围 2、处理时间戳数据 3、将字符串数据转换为时间戳 4、数据帧中索引和切片时间序列数据 5、重新采样不同时间段的时间序列汇总/汇总统计数据 6...如果想要处理已有的实际数据，可以从使用pandas read_csv将文件读入数据帧开始，但是我们将从处理生成的数据开始。...df[df.index.day == 2] } 顶部是这样的: 我们还可以通过数据帧的索引直接调用要查看的日期： df['2018-01-03'] } 在特定日期之间选择数据如何df['2018-01-...04':'2018-01-06'] } 我们已经填充的基本数据帧为我们提供了每小时频率的数据，但是我们可以以不同的频率对数据重新采样，并指定我们希望如何计算新采样频率的汇总统计。...3、丢失的数据可能经常发生-确保您记录了您的清洁规则，并且考虑到不回填您在采样时无法获得的信息。 4、请记住，当您对数据重新取样或填写缺少的值时，您将丢失有关原始数据集的一定数量的信息。
六、索引对齐 在本章中，我们将介绍以下主题： 检查索引对象 生成笛卡尔积 索引爆炸 用不相等的索引填充值 追加来自不同数据帧的列 突出显示每一列的最大值 用方法链复制idxmax 寻找最常见的最大值 介绍...如果左对齐的数据帧索引没有任何内容，则将缺少结果值。 让我们创建一个发生这种情况的示例。...HTML 表通常不会直接转换为漂亮的数据帧。 通常缺少列名，多余的行和未对齐的数据。 在此秘籍中，skiprows传递了行号列表，以便在读取文件时跳过。 它们对应于步骤 8 的数据帧输出中缺少值的行。...在数据帧的当前结构中，它无法基于单个列中的值绘制不同的组。 但是，第 23 步显示了如何设置数据帧，以便 Pandas 可以直接绘制每个总统的数据，而不会像这样循环。...所得的序列不适合与 Pandas 作图。 每个聚会组都需要自己的列，因此我们将group索引级别重塑为列。 我们将fill_value选项设置为零，以便在特定星期内没有成员资格的组不会缺少任何值。
如果丢失的数据是由数据帧中的非NaN表示的，那么应该使用np.NaN将其转换为NaN，如下所示。...这将返回一个表，其中包含有关数据帧的汇总统计信息，例如平均值、最大值和最小值。在表的顶部是一个名为counts的行。在下面的示例中，我们可以看到数据帧中的每个特性都有不同的计数。...isna（）部分检测dataframe中缺少的值，并为dataframe中的每个元素返回一个布尔值。sum（）部分对真值的数目求和。...它可以通过调用： msno.bar(df) 在绘图的左侧，y轴比例从0.0到1.0，其中1.0表示100%的数据完整性。如果条小于此值，则表示该列中缺少值。 在绘图的右侧，用索引值测量比例。...其他列（如WELL、DEPTH_MD和GR）是完整的，并且具有最大的值数。 矩阵图 如果使用深度相关数据或时间序列数据，矩阵图是一个很好的工具。它为每一列提供颜色填充。
可以通过ndarray处理多类型的数据，但是此时您应该使用 pandas 数据帧，我们将在后面的部分中进行讨论。...例如，我们可以尝试用非缺失数据的平均值填充一列中的缺失数据。 填充缺失的信息 我们可以使用fillna方法来替换序列或数据帧中丢失的信息。...如果使用序列来填充序列中的缺失信息，那么过去的序列将告诉您如何用缺失的数据填充序列中的特定条目。 类似地，当使用数据帧填充数据帧中的丢失信息时，也是如此。...如果使用序列来填充数据帧中的缺失信息，则序列索引应对应于数据帧的列，并且它提供用于填充该数据帧中特定列的值。 让我们看一些填补缺失信息的方法。...让我们看一下在数据帧中填充缺少的信息。
三、处理，转换和重塑数据 在本章中，我们将学习以下主题： 使用inplace参数修改 Pandas 数据帧 使用groupby方法的场景 如何处理 Pandas 中的缺失值 探索 Pandas 数据帧中的索引...代替删除行，另一种方法是用一些数据填充缺少的值。...您可以看到，现在我们已经用0填充了所有缺少的值，并且因此，所有列的计数已增加到数据集中记录总数。 另外，除了用0填充缺失值外，我们还可以用剩余的现有值的平均值填充它们。...在 Pandas 数据帧中建立索引 在本节中，我们将探讨如何设置索引并将其用于 Pandas 中的数据分析。 我们将学习如何在读取数据后以及读取数据时在DataFrame上设置索引。...我们看到了如何处理 Pandas 中缺失的值。 我们探索了 Pandas 数据帧中的索引，以及重命名和删除 Pandas 数据帧中的列。 我们学习了如何处理和转换日期和时间数据。
翻译：黄念 校对：王方思 小编和大伙一样正在学习Python，在实际数据操作中，列联表创建、缺失值填充、变量分箱、名义变量重新编码等技术都很实用，如果你对这些感兴趣，请看下文： ◆ ◆ ◆ 引言...它作为一种编程语言提供了更广阔的生态系统和深度的优秀科学计算库。 在科学计算库中，我发现Pandas对数据科学操作最为有用。...每一个索引都是由3个值组合构成的。这就是所谓的多索引。它有助于快速执行运算。 从# 3的例子继续开始，我们有每个组的均值，但还没有被填补。 这可以使用到目前为止学习到的各种技巧来解决。...#只在有缺失贷款值的行中进行迭代并再次检查确认 ? ? 注意： 1. 多索引需要在loc中声明的定义分组的索引元组。这个元组会在函数中用到。...# 8–数据帧排序 Pandas允许在多列之上轻松排序。可以这样做： ? ? 注：Pandas的“排序”功能现在已不再推荐。我们用“sort_values”代替。
尽管我们对loc和iloc使用了不同的列表示形式，但行值没有改变。原因是我们使用数字索引标签。因此，行的标签和索引都相同。 缺失值的数量已更改： ? 7.填充缺失值 fillna函数用于填充缺失值。...这对于顺序数据（例如时间序列）非常有用。 8.删除缺失值 处理缺失值的另一种方法是删除它们。“已退出”列中仍缺少值。以下代码将删除缺少任何值的行。...您可能已经注意到，groupby返回的DataFrame的索引由组名组成。...如果我们将groupby函数的as_index参数设置为False，则组名将不会用作索引。 16.带删除的重置索引 在某些情况下，我们需要重置索引并同时删除原始索引。...25.绘制直方图 Pandas不是数据可视化库，但用它创建一些基本图形还是非常简单的。 我发现使用Pandas创建基本图比使用其他数据可视化库更容易。 让我们创建Balance列的直方图。
没有声明索引 我们将输入整数数据，然后为Series提供name参数，但我们将避免使用index参数来查看pandas如何隐式填充它： s = pd.Series([0, 1, 4, 9, 16, 25...], name='Squares') 现在，让我们打电话给系列，这样我们就可以看到pandas的作用： s 我们将看到以下输出，左列中的索引，右列中的数据值。...，左侧是索引（由我们的键组成），右侧是一组值。...处理缺失值 通常在处理数据时，您将缺少值。pandas软件包提供了许多不同的方法来处理丢失的数据，这些null数据是指由于某种原因不存在的数据或数据。...让我们创建一个名为user_data.py的新文件并使用一些缺少值的数据填充它并将其转换为DataFrame： import numpy as np import pandas as pd user_data
示例 重建索引与其他对象对齐 填充时重新加注 重建索引时的填充限制 重命名 重新索引会更改DataFrame的行标签和列标签。重新索引意味着符合数据以匹配特定轴上的一组给定的标签。...可以通过索引来实现多个操作: 重新排序现有数据以匹配一组新的标签 在没有标签数据的标签位置插入缺失值(NA)标记 示例 import pandas as pd import numpy as np N...1.543179 -0.590498 0.569140 5 -0.887682 -0.390340 0.793262 6 0.200928 0.536087 -0.884333 注意 : 在这里，df1数据帧...填充时重新加注 reindex()采用可选参数方法，它是一个填充方法 其值如下： pad/ffill - 向前填充值 bfill/backfill - 向后填充值 nearest - 从最近的索引值填充...制参数在重建索引时提供对填充的额外控制。
在 Pandas 中重新索引是使Series中的数据符合一组标签的过程。...重新索引实现了以下几项功能： 重新排序现有数据来匹配一组标签 在没有标签数据的地方插入NaN标记 可以使用某种逻辑填充标签的缺失数据（默认为添加NaN值） 重新索引可以很简单，只需为Series的.index...可以从一个或一组多维数据集创建一个数据帧。...当应用于数据帧时，布尔选择可以利用多列中的数据。...结果数据帧将由两个列的并集组成，缺少的列数据填充有NaN。 以下内容通过使用与df1相同的索引创建第三个数据帧，但只有一个列的名称不在df1中来说明这一点。
代码 描述 示例 %Y 整年 2001 %m 零填充的月份 04 %d 零填充的日期 09 %I 零填充的小时（12 小时） 02 %p AM 或 PM AM %M 零填充的分钟 05 %S 零填充的秒钟...=5, freq='M') # 创建数据帧，设置索引 df = pd.DataFrame(index=time_index) # 创建带有一些缺失值的特征 df['Sales'] = [1.0,2.0...as pd # 创建 datetime time_index = pd.date_range('01/01/2010', periods=5, freq='M') # 创建数据帧，设置索引 df..., freq='H') 如果数据帧未按时间索引，请使用此方法。...2002-01-01 02:00:00 8763 2002-01-01 03:00:00 8764 2002-01-01 04:00:00 如果数据帧按时间索引，请使用此方法。
六、索引数据 索引是用于优化查询序列或数据帧中的值的工具。 它们很像关系数据库中的键，但是功能更强大。 它们为多组数据提供了对齐方式，还带有如何处理数据的各种任务（如重采样到不同频率）的语义。...具体来说，我们将检查： 对序列或数据帧创建和使用索引 用索引选择值的方法 在索引之间移动数据 重新索引 Pandas 对象 对序列或数据帧创建和使用索引 索引可以显式创建，也可以让 Pandas 隐式创建...重新索引使DataFrame符合新索引，将旧索引中的数据与新索引对齐，并在对齐失败的地方填充NaN。 此代码演示将sp500重新索引到三个指定的索引标签。...Pandas 已经意识到，文件的第一行包含列名和从数据中批量读取到数据帧的名称。 读取 CSV 文件时指定索引列 在前面的示例中，索引是数字的，从0开始，而不是按日期。...值可以为NaN的原因有很多： 两组数据的连接没有匹配的值 您从外部来源检索的数据不完整 给定的时间点的NaN值未知，稍后会填充 检索值时发生数据收集错误，但该事件仍必须记录在索引中 重新索引数据导致索引没有值
combine是联合的意思，在Pandas中，combine()方法也是一种实现合并的方法，本文介绍combine()方法的用法。...combine_first()方法根据DataFrame的行索引和列索引，对比两个DataFrame中相同位置的数据，优先取非空的数据进行合并。...fill_value: 先用fill_value填充DataFrame中的空值，再按传入的函数进行合并操作。 fill_value会填充DataFrame中所有列的空值，而且是在合并之前先填充。...上面的例子中自定义了函数save_max()，合并时取同位置的最大值，原理如下图。 ? 五不处理缺少的列 ---- ?...例如其中一个DataFrame中的数据比另一个DataFrame中的数据多，但第一个DataFrame中的部分数据质量(准确性、缺失值数量等)不如第二个DataFrame中的高，就可以使用combine
Pandas库 Pandas数据结构 1、Series （1）概念： Series是一种类似于一维数组的对象，它由一组数据以及一组与之相关的数据标签（即索引）组成。...也可以在创建Series的时候为值直接创建索引。 b、通过字典的形式来创建Series。 （3）获取Series中的值 通过索引的方式选取Series中的单个或一组值。...obj.rank() (2)DataFrame数据结构的排序和排名 按索引值进行排列，一列或多列中的值进行排序，通过by将列名传递给sort_index. 5、缺失数据处理 （1）滤出缺失数据 使用data.dropna...8、值计数 用于计算一个Series中各值出现的次数。 9、层次化索引 层次化索引是pandas的一个重要功能，它的作用是使你在一个轴上拥有两个或多个索引级别。...相当于Excel中vlookup函数的多条件查找中的多条件。 对于层次化索引对象，选取数据的方式可以通过内层索引，也可以通过外层索引来选取，选取方式和单层索引选取的方式一致。
惯例开局一张图 01 索引简介与样例数据 Series和DataFrame是pandas中的主要数据结构类型（老版本中曾有三维数据结构Panel，是DataFrame的容器，后被取消），而二者相较于传统的数组或...关于索引的详细介绍可参考前文：python数据科学系列：pandas入门详细教程。 这里，为了便于后文举例解释，给出基本的DataFrame样例数据如下： ?...02 reindex和rename 学习pandas之初，reindex和rename容易使人混淆的一组接口，就其具体功能来看： reindex执行的是索引重组操作，接收一组标签序列作为新索引，既适用于行索引也适用于列标签名...，以新接收的一组标签序列作为索引，当原DataFrame中存在该索引时则提取相应行或列，否则赋值为空或填充指定值。...03 index.map 针对DataFrame中的数据，pandas中提供了一对功能有些相近的接口：map和apply，以及applymap，其中map仅可用于DataFrame中的一列（也即即Series
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
