首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Pandas 学习手册中文第二版:11~15

转换的一般过程 GroupBy对象的.transform()方法将一个函数应用于数据帧中的每个值,并返回另一个具有以下特征的DataFrame: 它的索引与所有组中索引的连接相同 行数等于所有组中的行数之和...在滚动窗口中,pandas 在特定时间段表示的数据窗口上计算统计信息。 然后,该窗口将沿某个间隔滚动,只要该窗口适合时间序列的日期,就将在每个窗口上连续计算统计信息。...通过在序列和数据帧对象上提供.rolling()方法,pandas 为滚动窗口提供了直接支持。...大小为 n 的窗口在计算度量之前需要 n 个数据点,因此在图的开始处存在间隙。 可以使用.rolling().apply()方法通过滚动窗口来应用任何用户定义的函数。...提供的函数将在窗口中传递值数组,并且应返回一个值。 然后,Pandas 会将每个窗口的结果组合成一个时间序列。

3.4K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Pandas 秘籍:6~11

    它接受您已经构建的自定义聚合函数(在这种情况下为pct_between),name参数以及任意数量的额外参数。 它返回一个已经设置了额外参数的函数。...自定义函数将隐式传递给当前组的数据帧,并且需要返回一个布尔值。...默认情况下,id_vars中不存在的所有列都会融化。 sex_age列需要解析,并分为两个变量。 为此,我们转向str访问器提供的额外函数,该函数仅适用于序列(单个数据帧的列)。...前面的数据帧的一个问题是无法识别每一行的年份。concat函数允许使用keys参数标记每个结果数据帧。 该标签将显示在级联框架的最外层索引级别中,并强制创建多重索引。...更多 在 1.5 版发布之后,Matplotlib 开始接受其所有绘图函数的 pandas 数据帧。数据帧通过data参数传递给绘图方法。 这样做使您可以引用具有字符串名称的列。

    34K10

    Pandas处理时间序列数据的20个关键知识点

    欧洲风格的日期 我们可以使用to_datetime函数处理欧洲风格的日期(即日期在先)。dayfirst参数被设置为True。...在现实生活中,我们几乎总是使用连续的时间序列数据,而不是单独的日期。...而且,Pandas处理顺序时间序列数据非常简单。 我们可以将日期列表传递给to_datetime函数。...滚动意味着创建一个具有指定大小的滚动窗口,并对该窗口中的数据执行计算,当然,该窗口将滚动数据。下图解释了滚动的概念。 值得注意的是,计算开始时整个窗口都在数据中。...换句话说,如果窗口的大小为3,那么第一次合并将在第三行进行。 让我们为我们的数据应用一个3天的滚动窗口。

    2.7K30

    Zipline 3.0 中文文档(三)

    自那次变更以来,我们已将所有与雅虎相关的基准代码替换为对谷歌财经的引用,并移除了所有已弃用的雅虎代码,包括自定义雅虎包的使用。...新的接口是在构造时传递要写入的资源,稍后将数据作为数据帧或数据帧的某些迭代器提供给写入方法。这种模式允许我们将这些写入器对象作为资源传递给其他类和函数以供消费(1109 和 1149)。...自那次更改以来,我们已经将所有与雅虎相关的基准代码替换为对谷歌财经的引用,并删除了所有已弃用的雅虎代码,包括自定义雅虎捆绑包的使用。...新接口是在构造时传递要写入的资源,稍后将数据提供给写入方法,作为数据帧或一些数据帧的迭代器。这种模型允许我们将这些写入器对象作为其他类和函数消耗的资源传递 (1109 和 1149)。...新的接口是在构造时传递要写入的资源,稍后将数据提供给 write 方法,作为数据帧或数据帧的某些迭代器。

    73820

    精通 Pandas 探索性分析:1~4 全

    参数修改 Pandas 数据帧 在本节中,我们将学习如何使用inplace参数修改数据帧。...并非所有方法都需要使用inplace参数来修改原始数据帧。...将函数应用于 Pandas 序列或数据帧 在本节中,我们将学习如何将 Python 的预构建函数和自构建函数应用于 pandas 数据对象。...通过将how参数传递为outer来完成完整的外部合并: 现在,即使对于没有值并标记为NaN的列,它也包含所有行,而不管它们是否存在于一个或另一个数据集中,或存在于两个数据集中。...自定义样式 在 seaborn 中,我们可以自定义预设样式,甚至比以前讨论的更多。 让我们向您展示我们可以做什么! 样式参数 首先让我们看一下这些样式组成的所有参数。

    28.2K10

    python流数据动态可视化

    由于所有Element类型接受各种形式的data,我们可以使用Pipe通过DynamicMap将数据直接推送到Element的构造函数。...Buffer¶ 虽然Pipe提供了将任意数据传递给DynamicMap回调的通用解决方案,但另一方面Buffer提供了一种非常强大的方法来处理流表格数据,定义为pandas数据帧,数组,或列的词典(以及...使用streamz.Stream上的sink方法来send得到20个更新为Pipe的集合。 声明一个DynamicMap,它采用连接的DataFrames的滑动窗口,并使用Scatter元素显示它。...然后我们可以将这个数据帧的x值传递给HoloViews的Buffer并提供hv.Curve作为DynamicMap回调,将数据流式传输到HoloViewsCurve(带有默认键和值维度): In [ ]...本教程的最后几节将介绍如何将目前为止所涉及的所有概念纳入交互式Web应用程序以处理大型或小型数据集,首先介绍[参数和小部件](./ 12 参数 and_Widgets.ipynb)。

    4.2K30

    Python时间序列分析简介(2)

    在这里,我们基于每年的开始(请记住“ AS”的功能)对索引进行了重新采样,然后在其中应用了 均值 函数,现在我们有了每年年初的均值。 我们甚至可以在resample中使用我们自己的自定义函数 。...假设我们要使用自定义函数来计算每年的总和。我们可以按照以下步骤进行操作。 ? 然后我们可以通过重新采样来应用它,如下所示。 ? 我们可以通过下面代码完成,它们是等价的。 ? ?...滚动时间序列 滚动也类似于时间重采样,但在滚动中,我们采用任何大小的窗口并对其执行任何功能。简而言之,我们可以说大小为k的滚动窗口 表示 k个连续值。 让我们来看一个例子。...在这里,我们可以看到在30天的滚动窗口中有最大值。 使用Pandas绘制时间序列数据 有趣的是,Pandas提供了一套很好的内置可视化工具和技巧,可以帮助您可视化任何类型的数据。...希望您现在已经了解 在Pandas中正确加载时间序列数据集 时间序列数据索引 使用Pandas进行时间重采样 滚动时间序列 使用Pandas绘制时间序列数据

    3.4K20

    Pandas高级数据处理:窗口函数

    其中,窗口函数(Window Functions)是 Pandas 中一个非常强大的工具,可以对数据进行滚动计算、扩展计算等操作。...本文将由浅入深地介绍 Pandas 窗口函数的常见用法、常见问题以及如何避免或解决报错。二、窗口函数的基本概念窗口函数是一种特殊的函数,它可以在一组数据上进行计算,并返回与原始数据相同数量的结果。...在 Pandas 中,窗口函数主要用于对时间序列数据或有序数据进行滚动计算、累积计算等操作。常见的窗口函数包括 rolling、expanding 和 ewm。...这是因为这些位置的数据不足以构成完整的窗口。为了避免这种情况,可以在创建窗口时指定 min_periods 参数,以控制最小窗口大小。...通过合理选择窗口类型、参数设置以及注意常见问题的处理,我们可以更好地利用窗口函数挖掘数据背后的价值。希望本文对你理解并掌握 Pandas 窗口函数有所帮助!

    11110

    Pandas 学习手册中文第二版:6~10

    最后但并非最不重要的一点,我们将研究 Pandas 提供的一种非常强大的功能,称为滚动窗口。 滚动窗口提供了一种应用各种方法的方法,例如对规则数据子集进行均值计算。...在本节中,我们将研究其中的许多内容,包括: 在数据帧或序列上执行算术 获取值的计数 确定唯一值(及其计数) 查找最大值和最小值 找到 n 个最小和 n 个最大的值 计算累计值 在数据帧或序列上执行算术...滚动窗口根据指定的数据间隔计算指定的统计信息。 然后将窗口沿数据移动特定的时间间隔并重新计算。 该过程一直持续到窗口在整个数据集上滚动为止。...该站点上可用的数据可通过 ZIP 文件下载,并且可以通过指定数据集的文件名(不带.zip)并使用FameFrenchReader函数直接读取到数据帧中。...wb.download()函数并使用indicator参数指定数据集来下载指标数据。

    2.3K20

    整理了10个经典的Pandas数据查询案例

    在开始之前,先快速回顾一下Pandas中的查询函数query。查询函数用于根据指定的表达式提取记录,并返回一个新的DataFrame。表达式是用字符串形式表示的条件或条件的组合。...在后端Pandas使用eval()函数对该表达式进行解析和求值,并返回表达式被求值为TRUE的数据子集或记录。所以要过滤Pandas中的DataFrame,需要做的就是在查询函数中指定条件即可。...与数值的类似可以在同一列或不同列上使用多个条件,并且可以是数值和非数值列上条件的组合。 除此以外, Pandas中的query()方法还可以在查询表达式中使用数学计算。...这是因为:query()的第二个参数(inplace)默认false。 与一般的Pandas提供的函数一样,inplace的默认值都是false,查询不会修改原始数据集。...但是一定要小心使用inplace=true,因为它会覆盖原始的数据。 总结 我希望在阅读本文后,您可以更频繁,流利地使用Pandas中的query()函数,因为它可以方便以过滤数据集。

    24120

    Pandas Sort:你的 Python 数据排序指南

    对 DataFrame 的列进行排序 使用 DataFrame 轴 使用列标签进行排序 在 Pandas 中排序时处理丢失的数据 了解 .sort_values() 中的 na_position 参数...axis1 使用数据框 axis 当您在.sort_index()不传递任何显式参数axis=0的情况下使用时,它将用作默认参数。...虽然 Pandas 有多种方法可用于在排序前清理数据,但有时在排序时查看丢失的数据还是不错的。你可以用na_position参数来做到这一点。 本教程使用的燃油经济性数据子集没有缺失值。...默认情况下,此参数设置为last,将NaN值放置在排序结果的末尾。要改变这种行为,并在你的数据帧先有丢失的数据,设置na_position到first。...使用排序方法修改你的 DataFrame 在所有的例子你迄今所看到的,都.sort_values()和.sort_index()已经返回数据帧对象时,你叫那些方法。这是因为在熊猫排序不工作到位默认。

    14.3K00

    整理了10个经典的Pandas数据查询案例

    在开始之前,先快速回顾一下Pandas中的查询函数query。查询函数用于根据指定的表达式提取记录,并返回一个新的DataFrame。表达式是用字符串形式表示的条件或条件的组合。...在后端Pandas使用eval()函数对该表达式进行解析和求值,并返回表达式被求值为TRUE的数据子集或记录。所以要过滤Pandas中的DataFrame,需要做的就是在查询函数中指定条件即可。...与数值的类似可以在同一列或不同列上使用多个条件,并且可以是数值和非数值列上条件的组合。 除此以外, Pandas中的query()方法还可以在查询表达式中使用数学计算。...这是因为:query()的第二个参数(inplace)默认false。 与一般的Pandas提供的函数一样,inplace的默认值都是false,查询不会修改原始数据集。...但是一定要小心使用inplace=true,因为它会覆盖原始的数据。 总结 我希望在阅读本文后,您可以更频繁,流利地使用Pandas中的query()函数,因为它可以方便以过滤数据集。

    3.9K20

    seaborn的介绍

    这些数据集没有什么特别之处; 它们只是pandas数据帧,我们可以用pandas.read_csv加载它们或手工构建它们。许多示例使用“提示”数据集,这非常无聊,但对于演示非常有用。...自定义绘图外观 绘图功能尝试使用良好的默认美学并添加信息标签,以便它们的输出立即有用。但默认情况只能到目前为止,创建一个完全抛光的自定义绘图将需要额外的步骤。可以进行多个级别的额外定制。..._images / introduction_31_0.png 对于特定于图形的自定义,所有seaborn函数都接受许多可选参数,以便切换到非默认语义映射,例如不同的颜色。...轴级函数,该函数将其额外的关键字参数传递给底层的matplotlib函数。...图形级函数的一些自定义可以通过传递给它的附加参数来完成FacetGrid,您可以使用该对象上的方法来控制图形的许多其他属性。

    4K20

    10个快速入门Query函数使用的Pandas的查询示例

    在开始之前,先快速回顾一下pandas -中的查询函数query。查询函数用于根据指定的表达式提取记录,并返回一个新的DataFrame。表达式是用字符串形式表示的条件或条件的组合。...在后端pandas使用eval()函数对该表达式进行解析和求值,并返回表达式被求值为TRUE的数据子集或记录。所以要过滤pandas DataFrame,需要做的就是在查询函数中指定条件即可。...与数值的类似可以在同一列或不同列上使用多个条件,并且可以是数值和非数值列上条件的组合。 除此以外, Pandas Query()还可以在查询表达式中使用数学计算。...这是因为:query()的第二个参数(inplace)默认false。 与一般的pandas提供的函数一样,Inplace的默认值都是false,查询不会修改原始数据集。...但是一定要小心使用intplace = true,因为它会覆盖原始的数据。 总结 我希望在阅读本文后,您可以更频繁,流利地使用Pandas Query()函数,因为Query可以方便以过滤数据集。

    4.4K20

    10快速入门Query函数使用的Pandas的查询示例

    在开始之前,先快速回顾一下pandas -中的查询函数query。查询函数用于根据指定的表达式提取记录,并返回一个新的DataFrame。表达式是用字符串形式表示的条件或条件的组合。...pandas query()函数可以灵活地根据一个或多个条件提取子集,这些条件被写成表达式并且不需要考虑括号的嵌套 在后端pandas使用eval()函数对该表达式进行解析和求值,并返回表达式被求值为TRUE...与数值的类似可以在同一列或不同列上使用多个条件,并且可以是数值和非数值列上条件的组合。...这是因为:query()的第二个参数(inplace)默认false。 与一般的pandas提供的函数一样,Inplace的默认值都是false,查询不会修改原始数据集。...但是一定要小心使用intplace = true,因为它会覆盖原始的数据。 总结 我希望在阅读本文后,您可以更频繁,流利地使用Pandas Query()函数,因为Query可以方便以过滤数据集。

    4.5K10

    Pandas 秘籍:1~5

    调用序列方法是使用序列提供的功能的主要方法。 准备 序列和数据帧都具有强大的函数。 我们可以使用dir函数来揭示序列的所有属性和方法。 此外,我们可以找到序列和数据帧共有的属性和方法的数量。...如果您提前知道哪个列将是一个很好的索引,则可以在导入时使用read_csv函数的index_col参数指定该索引。 默认情况下,set_index和read_csv都将从数据帧中删除用作索引的列。...describe方法可一次显示所有主要摘要,并且可以通过将 0 到 1 之间的数字列表传递给percentiles参数来扩展其摘要以包含更多分位数。 默认情况下,仅在数字列上显示信息。...例如,当在describe数据帧方法中使用include参数时,可以传递形式对象 NumPy / pandas 对象或其等效字符串表示形式的列表。...序列的逻辑与数据帧的逻辑稍有不同,实际上更为复杂。 由于其复杂性,最好避免在序列上仅使用索引运算符本身,而应使用显式的.iloc和.loc索引器。

    37.6K10

    Python 数据分析(PYDA)第三版(五)

    这是因为在构建中间组数据块时存在一些额外开销(函数调用,数据重新排列)*### 按列和多函数应用 让我们回到上一章中使用的小费数据集。...一种方法是对数据进行分组,并使用调用fillna的函数在每个数据块上使用apply。...11.7 移动窗口函数 用于时间序列操作的一类重要的数组转换是在滑动窗口上评估统计数据和其他函数,或者使用指数衰减权重。这对于平滑嘈杂或有缺失数据的数据很有用。...因此,这里是苹果股价的 250 日移动窗口平均值。 默认情况下,滚动函数要求窗口中的所有值都不是 NA。...扩展均值从与滚动窗口相同的时间窗口开始,并增加窗口的大小,直到包含整个系列。

    17900

    python对100G以上的数据进行排序,都有什么好的方法呢

    () 在对值进行排序时组织缺失的数据 使用set to 对DataFrame进行就地排序inplaceTrue 要学习本教程,您需要对Pandas DataFrames有基本的了解,并对从文件中读取数据有一定的了解...axis1 使用数据框 axis 当您在.sort_index()不传递任何显式参数axis=0的情况下使用时,它将用作默认参数。...虽然 Pandas 有多种方法可用于在排序前清理数据,但有时在排序时查看丢失的数据还是不错的。你可以用na_position参数来做到这一点。 本教程使用的燃油经济性数据子集没有缺失值。...默认情况下,此参数设置为last,将NaN值放置在排序结果的末尾。要改变这种行为,并在你的数据帧先有丢失的数据,设置na_position到first。...使用排序方法修改你的 DataFrame 在所有的例子你迄今所看到的,都.sort_values()和.sort_index()已经返回数据帧对象时,你叫那些方法。这是因为在熊猫排序不工作到位默认。

    10K30
    领券