在我们处理数据，尤其是和时间相关的数据中，经常会听到移动窗口、滑动窗口或者移动平均、窗口大小等相关的概念。
有时候，我们需要在pandas数据框架内移动一列，shift()方法提供了一种方便的方法来实现。
Rolling 对象在处理时间序列的数据时，应用广泛，在Python中Pandas包实现了对这类数据的处理。
在数据分析工作中，Pandas 的使用频率是很高的，一方面是因为 Pandas 提供的基础数据结构 DataFrame 与 json 的契合度很高，转换起来就很方便。 另一方面，如果我们日常的数据清理工作不是很复杂的话，你通常用几句 Pandas 代码就可以对数据进行规整。
Pandas 可以说是基于 NumPy 构建的含有更高级数据结构和分析能力的工具包。在 NumPy 中数据结构是围绕 ndarray 展开的，那么在 Pandas 中的核心数据结构是什么呢？
许多教程中的数据与现实世界中的数据之间的差异在于，真实世界的数据很少是干净和同构的。特别是，许多有趣的数据集缺少一些数据。为了使事情变得更复杂，不同的数据源可能以不同的方式标记缺失数据。
attr5 = np.array([[1,2,3],[4,5,6],[7,8,9],[11,22,33]])
在数据分析工作中，Pandas 的使用频率是很高的，一方面是因为 Pandas 提供的基础数据结构 DataFrame 与 json 的契合度很高，转换起来就很方便。
在很多情况下，有些数据并不是完整的，丢失了部分值，这一节将学习如何处理这些丢失的数据。
Pandas[1]是用Python分析数据的工业标准。只需敲几下键盘，就可以加载、过滤、重组和可视化数千兆字节的异质信息。它建立在NumPy库的基础上，借用了它的许多概念和语法约定，所以如果你对NumPy很熟悉，你会发现Pandas是一个相当熟悉的工具。即使你从未听说过NumPy，Pandas也可以让你在几乎没有编程背景的情况下轻松拿捏数据分析问题。
在Pandas中，DataFrame的一列就是一个Series, 可以通过map来对一列进行操作：
滑动窗口的处理方式在实际的数据分析中比较常用，在生物信息中，很多的算法也是通过滑动窗口来实现的，比如经典的质控软件Trimmomatic, 从序列5'端的第一个碱基开始，计算每个滑动窗口内的碱基质量平均值，当滑动窗后的平均碱基质量值小于给定阈值时，去除该窗口以及之后的剩余碱基，以此达到去除低质量碱基的目的。
像深度学习这样的机器学习方法可以用于时间序列预测。
相比较pandas，numpy并没有很直接的rolling方法，但是numpy 有一个技巧可以让NumPy在C代码内部执行这种循环。
df.isnull() df的空值为True df.notnull() df的非空值为True
最近回顾javascript的一些基础知识点时，引起的思考确实颠覆了我之前的一些认知。我清楚地记得曾多次在网上看到一些奇奇怪怪的表达式，它们的运算结果着实让人懵逼。就比如我在js数据类型很简单，却也不简单这一篇笔记中提到的[] == ![]这样一个表达式，它的运算结果是true。如果你不细致地去研究它背后的运算逻辑，你只会惊呼”这是什么鬼“？相反，当你静下心来看清楚它的运算逻辑后，你会感叹“妙哉妙哉”！没错，本文的主角就是这些容易让人小觑的运算符。
Pandas是数据分析、机器学习等常用的工具，其中的DataFrame又是最常用的数据类型，对它的操作，不得不熟练。在《跟老齐学Python：数据分析》一书中，对DataFrame对象的各种常用操作都有详细介绍。本文根据书中介绍的内容，并参考其他文献，专门汇总了合并操作的各种方法。
“软件工程师阅读教科书作为参考时不会记住所有的东西，但是要知道如何快速查找重·要的知识点。”
==值得注意的是，drop函数不会修改原数据，如果想直接对原数据进行修改的话，可以选择添加参数inplace = True或用原变量名重新赋值替换。==
之前一直在分享pandas的一些骚操作：pandas骚操作，根据大家反映还不错，但是很多技巧都混在了一起，没有细致的分类，这样不利于查找，也不成体系。
索引是用于优化查询序列或数据帧中的值的工具。 它们很像关系数据库中的键，但是功能更强大。 它们为多组数据提供了对齐方式，还带有如何处理数据的各种任务（如重采样到不同频率）的语义。
文本的主要两个类型是string和object。如果不特殊指定类型为string，文本类型一般为object。
对于文本数据的处理(清洗)，是现实工作中的数据时不可或缺的功能，在这一节中,我们将介绍Pandas的字符串操作。Python内置一系列强大的字符串处理方法，但这些方法只能处理单个字符串，处理一个序列的字符串时，需要用到for循环。
玩转Pandas系列已经连续推送4篇，尽量贴近Pandas的本质原理，结合工作实践，按照使用Pandas的逻辑步骤，系统地并结合实例推送Pandas的主要常用功能，已经推送的4篇文章：
数据探索和预处理是任何数据科学或机器学习工作流中的重要步骤。在使用教程或训练数据集时，可能会出现这样的情况：这些数据集的设计方式使其易于使用，并使所涉及的算法能够成功运行。然而，在现实世界中，数据是混乱的！它可能有错误的值、不正确的标签，并且可能会丢失部分内容。
IEEE二进制浮点数算术标准（IEEE 754）是20世纪80年代以来最广泛使用的浮点数运算标准，为许多CPU与浮点运算器所采用。这个标准定义了表示浮点数的格式（包括负零-0）与反常值（denormal number）），一些特殊数值（无穷∞与非数值NaN），以及这些数值的“浮点数运算符”。 IEEE 754规定了四种表示浮点数值的方式：单精确度（32位）、双精确度（64位）、延伸单精确度（43比特以上，很少使用）与延伸双精确度（79比特以上，通常以80位实现）。只有32位模式有强制要求，其他都是选择性的。大部分编程语言都有提供IEEE浮点数格式与算术，但有些将其列为非必需的。例如，IEEE 754问世之前就有的C语言，现在有包括IEEE算术，但不算作强制要求 C语言的float通常是指IEEE单精确度，而double是指双精确度。
利用drop_duplicates()函数删除数据表中重复多余的记录, 比如删除重复多余的ID.
在数据表或 DataFrame 中有很多识别缺失值的方法。一般情况下可以分为两种：一种方法是通过一个覆盖全局的掩码表示缺失值， 另一种方法是用一个标签值（sentinel value） 表示缺失值。在掩码方法中， 掩码可能是一个与原数组维度相同的完整布尔类型数组， 也可能是用一个比特（0 或 1） 表示有缺失值的局部状态。在标签方法中， 标签值可能是具体的数据（例如用 -9999 表示缺失的整数） ， 也可能是些极少出现的形式。另外， 标签值还可能是更全局的值， 比如用 NaN（不是一个数） 表示缺失的浮点数。
在我们日常接触到的Python中，狭义的缺失值一般指DataFrame中的NaN。广义的话，可以分为三种。
Python部落(python.freelycode.com)组织翻译，禁止转载，欢迎转发。
字符串是一种常见的数据类型，我们遇到的文本、json数据等都是属于字符串的范畴。Python内置了很多处理字符串的方法，这些方法为我们处理和清洗数据提供了很大的便利。
Python数据分析——数据加载与整理 总第47篇 ▼ （本文框架） 数据加载 导入文本数据 1、导入文本格式数据（CSV）的方法： 方法一：使用pd.read_csv()，默认打开csv文件。 9、
排名这个功能目前我用的不怎么多，但还是简单说明一下。排名用到了rank方法。默认情况下，rank通过将平均排名分配到每个组来打破平级关系。
Pandas数据处理4、DataFrame记录重复值出现的次数(是总数不是每个值的数量)
Pandas 是python的一个数据分析包，最初由AQR Capital Management于2008年4月开发，并于2009年底开源出来，目前由专注于Python数据包开发的PyData开发team继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。 Pandas的名称来自于面板数据（panel data）和python数据分析（data analysis）。panel data是经济学中关于多维数据集的一个术语，在Pandas中也提供了panel的数据类型。
Pandas是一个受众广泛的python数据分析库。它提供了许多函数和方法来加快数据分析过程。pandas之所以如此普遍，是因为它的功能强大、灵活简单。本文将介绍20个常用的 Pandas 函数以及具体的示例代码，助力你的数据分析变得更加高效。
Pandas 是基于NumPy 基于 NumPy 构建的含有更高级数据结构和分析能力的工具包，提供了大量能使我们快速便捷地处理数据的函数和方法。
数据清理是数据预处理的一个关键环节，它占据整个数据分析或挖掘50%~70%的时间。在这一环节中，我们主要通过一定的检测与处理方法，将良莠不齐的“脏”数据清理成质量较高的“干净”数据。pandas为数据清理提供了一系列方法，本章将围绕这些数据清理方法进行详细地讲解。 数据清理概述
Seaborn 是基于 matplotlib 开发的高阶 Python 数据可视图库，用于绘制优雅、美观的统计图形。
日常用Python做数据分析最常用到的就是查询筛选了，按各种条件、各种维度以及组合挑出我们想要的数据，以方便我们分析挖掘。
本指南直接来自pandas官方网站上的10分钟pandas指南。 我将它改写以使代码更易于访问。 本指南适用于之前未使用pandas的初学者。
玩转Pandas系列已经连续推送3篇，尽量贴近Pandas的本质原理，结合工作实践，按照使用Pandas的逻辑步骤，系统地并结合实例推送Pandas的主要常用功能，已经推送的3篇文章：
需求：pandas处理多列相减，实际某些元素本身为空值，如何碰到一个单元格元素为空就忽略了不计算，一般怎么解决！
但二者最大的不同是 pandas 是专门为处理表格和混杂数据设计的，比较契合统计分析中的表结构，而 numpy 更适合处理统一的数值数组数据。pandas数组结构有一维 Series 和二维 DataFrame 。
链接：https://towardsdatascience.com/30-examples-to-master-pandas-f8a2da751fa4
这是一个关于 pandas 从基础到进阶的练习题系列，来源于 github 上的 guipsamora/pandas_exercises 。这个项目从基础到进阶，可以检验你有多么了解 pandas。
pandas是python数据分析中一个很重要的包； 在学习过程中我们需要预备的知识点有：DataFrame、Series、NumPy、NaN/None；
在Pandas的各类数据Series和DataFrame里字段值为NaN的为缺失数据，不代表0而是说没有赋值数据，类似于python中的None值。数据的缺失有很多原因，缺失不是错误、无效，需要对缺失的数据进行必要的技术处理，以便后续的计算、统计。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
