我们可以将此显式索引视为特定行的标签： >>> city_revenues = pd.Series( ... [4200, 8000, 6500], ......五、查询数据集 现在我们已经了解了如何根据索引访问大型数据集的子集。现在，我们继续基于数据集列中的值选择行以查询数据。例如，我们可以创建一个DataFrame仅包含2010年之后打过的比赛。...仅包含其中列中的值"year_id"大于的行2010。...78 2015 L 31 W 58 Name: game_id, dtype: int64 七、对列进行操作 接下来要说的是如何在数据分析过程的不同阶段中操作数据集的列...如可视化尼克斯整个赛季得分了多少分： ? 还可以创建其他类型的图，如条形图： ? 而关于使用matplotlib进行数据可视化的相关操作中，还有许多细节性的配置项，比如颜色、线条、图例等。
，仅支持一维和二维数据，但数据内部可以是异构数据，仅要求同列数据类型一致即可 numpy的数据结构仅支持数字索引，而pandas数据结构则同时支持数字索引和标签索引 从功能定位上看： numpy虽然也支持字符串等其他数据类型...仅支持数字索引，pandas的两种数据结构均支持标签索引，包括bool索引也是支持的 类比SQL的join和groupby功能，pandas可以很容易实现SQL这两个核心功能，实际上，SQL的绝大部分DQL...检测各行是否重复，返回一个行索引的bool结果，可通过keep参数设置保留第一行/最后一行/无保留，例如keep=first意味着在存在重复的多行时，首行被认为是合法的而可以保留 删除重复值，drop_duplicates...，按行检测并删除重复的记录，也可通过keep参数设置保留项。...，可通过axis参数设置是按行删除还是按列删除 替换，replace，非常强大的功能，对series或dataframe中每个元素执行按条件替换操作，还可开启正则表达式功能 2 数值计算 由于pandas
在 Pandas 中，如果未指定索引，则默认使用 RangeIndex（第一行 = 0，第二行 = 1，依此类推），类似于电子表格中的行标题/数字。...在 Pandas 中，索引可以设置为一个（或多个）唯一值，这就像在工作表中有一列用作行标识符一样。与大多数电子表格不同，这些索引值实际上可用于引用行。...（请注意，这可以在带有结构化引用的 Excel 中完成。）例如，在电子表格中，您可以将第一行引用为 A1:Z1，而在 Pandas 中，您可以使用population.loc['Chicago']。...索引值也是持久的，所以如果你对 DataFrame 中的行重新排序，特定行的标签不会改变。 5. 副本与就地操作 大多数 Pandas 操作返回 Series/DataFrame 的副本。...在 Pandas 中提取单词最简单的方法是用空格分割字符串，然后按索引引用单词。请注意，如果您需要，还有更强大的方法。
按行从多个文件中构建DataFrame 假设你的数据集分化为多个文件，但是你需要将这些数据集读到一个DataFrame中。 举例来说，我有一些关于股票的小数聚集，每个数据集为单天的CSV文件。...我们以生成器表达式用read_csv()函数来读取每个文件，并将结果传递给concat()函数，这会将单个的DataFrame按行来组合： ? 不幸的是，索引值存在重复。...为了避免这种情况，我们需要告诉concat()函数来忽略索引，使用默认的整数索引： ? 10. 按列从多个文件中构建DataFrame 上一个技巧对于数据集中每个文件包含行记录很有用。...读者注：该方法在机器学习或者深度学习中很有用，因为在模型训练前，我们往往需要将全部数据集按某个比例划分成训练集和测试集。该方法既简单又高效，值得学习和尝试。 13....如果我们只想保留第0列作为city name，我们仅需要选择那一列并保存至DataFrame: ? 17.
，但不像我们所喜欢的 Pandas 中的切片语法那样干净（或对大型数据集有效）。...作为额外维度的MultiIndex 你可能会注意到其他内容：我们可以使用带有索引和列标签的简单DataFrame，来轻松存储相同的数据。事实上，Pandas 的构建具有这种等价关系。...列的MultiIndex 在DataFrame中，行和列是完全对称的，就像行可以有多个索引层次一样，列也可以有多个层次。...在人口字典上调用它将产生一个带有state和year列的DataFrame，包含以前在索引中的信息。...随着维度数量的增加，对于大多数真实世界的数据集，密集表示可能变得非常低效。然而，对于特定场合下的应用，这些结构可能是有用的。
（如根据布尔型数组进行过滤、标量乘法、应用数学函数等）都会保留索引值的链接： import pandas as pd obj2 = pd.Series([5,2,-3,1], index=['d',...DataFrame既有行索引也有列索引，它可以被看做由Series组成的字典（共用同一个索引）。DataFrame中的数据是以一个或多个二维块存放的（而不是列表、字典或别的一维数据结构）。...，其索引和列为原来那两个DataFrame的并集： print(df1 + df2) 如果DataFrame对象相加，没有共用的列或行标签，结果都会是空： import pandas as pd...在本例中，我们的目的是匹配DataFrame的行索引（axis='index' or axis=0）并进行广播。...计算Series中的唯一值数组，按发现的顺序返回 value_counts 返回一个Series，其索引为唯一值，其值为频率，按计数值降序排列 有时，你可能希望得到DataFrame中多个相关列的一张柱状图
可以认为Series是一个索引、一维数组、类似一列值。可以认为DataFrames是包含行和列的二维数组索引。好比Excel单元格按行和列位置寻址。...换句话说，DataFrame看起来很像SAS数据集（或关系表）。下表比较在SAS中发现的pandas组件。 ? 第6章，理解索引中详细地介绍DataFrame和Series索引。...SAS中数组主要用于迭代处理如变量。SAS/IML更接近的模拟NumPy数组。但SAS/IML 在这些示例的范围之外。 ? 一个Series可以有一个索引标签列表。 ?...DataFrame的.head()方法默认显示前5行。.tail()方法默认显示最后5行。行计数值可以是任意整数值，如: ? SAS使用FIRSTOBS和OBS选项按照程序来确定输入观察数。...PROC PRINT的输出在此处不显示。 下面的单元格显示的是范围按列的输出。列列表类似于PROC PRINT中的VAR。注意此语法的双方括号。这个例子展示了按列标签切片。按行切片也可以。
combine_first()方法根据DataFrame的行索引和列索引，对比两个DataFrame中相同位置的数据，优先取非空的数据进行合并。...和df2中的数据都为空值，则结果保留df1中的空值(空值有三种: np.nan、None 和 pd.NaT)。...func函数的入参是两个Series，分别来自两个DataFrame(将DataFrame按列遍历)，返回结果是一个合并之后的Series，在函数中实现合并的规则。...overwrite参数默认为True，如第四部分的例子中df4的填充原理如下。 ?...当需要合并两个相似的数据集，且两个数据集里的数据各有一部分是目标数据时，很适合使用combine()方法。
优化的数据结构：Pandas提供了几种高效的数据结构，如DataFrame和Series，它们是为了优化数值计算和数据操作而设计的。这些数据结构在内存中以连续块的方式存储数据，有助于提高数据访问速度。...DataFrame的一列就是Series，Series可以转化为DataFrame，调用方法函数to_frame()即可 Series 是 pandas 中的一种数据结构，可以看作是带有标签的一维数组。...索引提供了对 Series 中数据的标签化访问方式。值（Values）： 值是 Series 中存储的实际数据，可以是任何数据类型，如整数、浮点数、字符串等。...0或’index’，表示按行删除；1或’columns’，表示按列删除。inplace：是否原地替换。布尔值，默认为False。如果为True，则在原DataFrame上进行操作，返回值为None。...尽管本文仅触及了Pandas强大功能的表面，但其广阔的应用领域和深邃的技术内涵仍待我们进一步挖掘和学习。
下面显示了结果的结果索引： 可以使用.loc属性通过索引标签显式访问行。 以下代码通过索引标签检索一行： 可以使用整数位置列表选择DataFrame对象中的特定行。...以下显示Missoula列中大于82度的值： 然后可以将表达式的结果应用于数据帧（和序列）的[]运算符，这仅导致返回求值为True的表达式的行： 该技术在 pandas 术语中称为布尔选择，它将构成基于特定列中的值选择行的基础...首先是.reindex()方法的结果是新的Series，而不是就地修改。 新的Series具有带有标签的索引，如传递给函数时所指定。 将为原始Series中存在的每个标签复制数据。...如果在原始Series中找不到标签，则将NaN分配为该值。 最后，将删除Series中带有不在新索引中的标签的行。...以下代码演示了附加两个从sp500数据中提取的DataFrame对象。 第一个DataFrame由行（按位置）0，1和2组成，第二个DataFrame由行（按位置）10，11和2组成。
在 Stata 中，数据集的行基本上是无标签的，除了可以使用_n访问的隐式整数索引。 在 pandas 中，如果未指定索引，则默认也使用整数索引（第一行=0，第二行=1，依此类推）。...可以通过使用_merge变量中创建的值，仅保留来自初始数据集、合并数据集或两者交集的观测值。...在 Stata 中，数据集的行基本上是无标签的，除了可以通过 _n 访问的隐式整数索引。 在 pandas 中，如果未指定索引，则默认也使用整数索引（第一行 = 0，第二行 = 1，依此类推）。...在 Stata 中，数据集的行基本上是无标签的，除了可以使用 _n 访问的隐式整数索引。 在 pandas 中，如果没有指定索引，也会默认使用整数索引（第一行 = 0，第二行 = 1，依此类推）。...可以通过使用_merge变量中创建的值，仅保留初始数据集、合并数据集或两者的交集中的观测值。
Pandas 排序方法入门 快速提醒一下，DataFrame是一种数据结构，行和列都带有标记的轴。您可以按行或列值以及行或列索引对 DataFrame 进行排序。...行和列都有索引，它是数据在 DataFrame 中位置的数字表示。您可以使用 DataFrame 的索引位置从特定行或列中检索数据。默认情况下，索引号从零开始。您也可以手动分配自己的索引。...按升序按索引排序 您可以根据行索引对 DataFrame 进行排序.sort_index()。像在前面的示例中一样按列值排序会重新排序 DataFrame 中的行，因此索引变得杂乱无章。...您可以.set_index()在 pandas 文档中阅读有关使用的更多信息。 按索引降序排序 对于下一个示例，您将按索引按降序对 DataFrame 进行排序。...通常，这是使用 Pandas 分析数据的最常见和首选方法，因为它会创建一个新的 DataFrame 而不是修改原始数据。这允许您保留从文件中读取数据时的数据状态。
导读 学Pandas有一年多了，用Pandas做数据分析也快一年了，常常在总结梳理一些Pandas中好用的方法。...在这一过程中，如何既能保证数据处理效率而又不失优雅，Pandas中的这几个函数堪称理想的解决方案。 为展示应用这3个函数完成数据处理过程中的一些demo，这里以经典的泰坦尼克号数据集为例。...应用到DataFrame的每个Series DataFrame是pandas中的核心数据结构，其每一行和每一列都是一个Series数据类型。...②然后来一个按行方向处理的例子，例如根据性别和年龄，区分4类人群：即女孩、成年女子、男孩、成年男子，其中年龄以18岁为界值进行区分。...04 小结 apply、map和applymap常用于实现Pandas中的数据变换，通过接收一个函数实现特定的变换规则； apply功能最为强大，可应用于Series、DataFrame以及DataFrame
按行从多个文件中构建DataFrame 假设你的数据集分化为多个文件，但是你需要将这些数据集读到一个DataFrame中。 举例来说，我有一些关于股票的小数聚集，每个数据集为单天的CSV文件。...我们以生成器表达式用read_csv()函数来读取每个文件，并将结果传递给concat()函数，这会将单个的DataFrame按行来组合： pd.concat((pd.read_csv(file) for...按列从多个文件中构建DataFrame 上一个技巧对于数据集中每个文件包含行记录很有用。但是如果数据集中的每个文件包含的列信息呢？...读者注：该方法在机器学习或者深度学习中很有用，因为在模型训练前，我们往往需要将全部数据集按某个比例划分成训练集和测试集。该方法既简单又高效，值得学习和尝试。 13....Style a DataFrame 上一个技巧在你想要修改整个jupyter notebook中的显示会很有用。但是，一个更灵活和有用的方法是定义特定DataFrame中的格式化（style）。
Pandas 包含一些有用的调整，但是：对于一元操作，如取负和三角函数，这些ufunc将保留输出中的索引和列标签，对于二元操作，如加法和乘法，将对象传递给ufunc时，Pandas 将自动对齐索引。...这意味着，保留数据的上下文并组合来自不同来源的数据 - 这两个在原始的 NumPy 数组中可能容易出错的任务 - 对于 Pandas 来说基本上是万无一失的。...通用函数：索引保留 因为 Pandas 为兼容 NumPy 而设计，所以任何 NumPy ufunc都可以用于 Pandas Series和DataFrame对象。...通用函数：索引对齐 对于两个Series或DataFrame对象的二元操作，Pandas 将在执行操作的过程中对齐索引。这在处理不完整数据时非常方便，我们将在后面的一些示例中看到。...序列中的索引对齐 例如，假设我们正在组合两个不同的数据源，并且按照面积，找到美国前三的州，并且按人口找到美国前三的州： area = pd.Series({'Alaska': 1723337, 'Texas
pandas 兼具 NumPy 高性能的数组计算功能以及电子表格和关系型数据库（如SQL）灵活的数据处理功能。它提供了复杂精细的索引功能，能更加便捷地完成重塑、切片和切块、聚合以及选取数据子集等操作。...使用 NumPy 函数或类似 NumPy 的运算（如根据布尔型数组进行过滤、标量乘法、应用数学函数等）都会保留索引值的链接，代码示例： obj2*2 np.exp(obj2) 还可以将 Series...DataFrame 既有行索引也有列索引，它可以被看做由 Series 组成的字典（共用同一个索引）。DataFrame 中的数据是以一个或多个二维块存放的（而不是列表、字典或别的一维数据结构）。...虽然 DataFrame 是以二维结构保存数据的，但你仍然可以轻松地将其表示为更高维度的数据（层次化索引的表格型结构，这是 pandas中许多高级数据处理功能的关键要素 ） 创建 DataFrame 的办法有很多...另一种常见的数据形式是嵌套字典，如果嵌套字典传给 DataFrame，pandas 就会被解释为：外层字典的键作为列，内层键则作为行索引，代码示例： #DataFrame另一种常见的数据形式是嵌套字典
5、文本中缺失值处理，缺失数据要么是没有（空字符串），要么是用某个标记值表示的，默认情况下，pandas会用一组经常出现的标记值进行识别，如NA、NULL等。查找出结果以NAN显示。...2、索引上的合并 （1）普通索引的合并 Left_index表示将左侧的行索引引用做其连接键 right_index表示将右侧的行索引引用做其连接键 上面两个用于DataFrame中的连接键位于其索引中...（2）对于pandas对象（如Series和DataFrame）,可以pandas中的concat函数进行合并。...重塑数据集 1、旋转数据 （1）重塑索引、分为stack（将数据的列旋转为行）和unstack（将数据的行旋转为列）。...利用drop_duplicates方法，可以返回一个移除了重复行的DataFrame. 默认情况下，此方法是对所有的列进行重复项清理操作，也可以用来指定特定的一列或多列进行。
使用 DataFrame 的列进行索引 希望使用一个或多个 DataFrame 列作为行索引并不罕见；或者，您可能希望将行索引移入 DataFrame 的列中。...pandas 对象中包含的数据可以以多种方式组合： pandas.merge 基于一个或多个键连接 DataFrame 中的行。...在索引上合并 在某些情况下，DataFrame 中的合并键会在其索引（行标签）中找到。...由于right1的索引是唯一的，这种“一对多”合并（使用默认的how="inner"方法）可以保留与输出中的行对应的left1的索引值。...特别是，您有许多额外的考虑： 如果对象在其他轴上的索引不同，我们应该合并这些轴中的不同元素还是仅使用共同的值？ 连接的数据块在结果对象中需要被识别吗？ “连接轴”中包含需要保留的数据吗？
df.info()：主要用于提供关于DataFrame的一般信息，如列索引、数据类型、非空值数量以及内存使用情况。它不会提供数值型数据的统计摘要，而是更多地关注于数据集的整体结构和数据类型。...五、pandas中的索引操作 pandas⽀持四种类型的多轴索引，它们是: Dataframe.[ ] 此函数称为索引运算符 Dataframe.loc[ ] : 此函数⽤于标签 Dataframe.iloc...Pandas Series.reset_index()函数的作⽤是:⽣成⼀个新的DataFrame或带有重置索引的Series。...七、apply() 函数使用方法 如果需要将函数应⽤到DataFrame中的每个数据元素，可以使⽤ apply() 函数以便将函数应⽤于给定dataframe中的每⼀⾏。...DataFrame的索引值保留在附加的DataFrame中，设置ignore_index = True可以避免这种情况。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
