通常，它们围绕两种策略中的一种：使用在全局表示缺失值的掩码，或选择表示缺失条目的标记值。 在掩码方法中，掩码可以是完全独立的布尔数组，或者它可以在数据表示中占用一个比特，在本地表示值的空状态。...我们将要看到，这种选择有一些副作用，但实际上在大多数相关情况下，最终都是很好的妥协。...空值上的操作 正如我们所看到的，Pandas 将None和NaN视为基本可互换的，用于指示缺失值或空值。为了促进这个惯例，有几种有用的方法可用于检测，删除和替换 Pandas 数据结构中的空值。...检测控制 Pandas 数据结构有两种有用的方法来检测空数据：isnull()和notnull()。任何一个都返回数据上的布尔掩码。...删除空值 除了之前使用的掩码之外，还有一些方便的方法，dropna()（删除 NA 值）和fillna()（填充 NA 值）。
# 导入相关库 import numpy as np import pandas as pd 什么是缺失值 在了解缺失值（也叫控制）如何处理之前，首先要知道的就是什么是缺失值？...在 Pandas 的眼中，这些都属于缺失值，可以使用 isnull() 或 notnull() 方法来操作。...但是我也说过了，这些在 Pandas 的眼中是缺失值，有时候在我们人类的眼中，某些异常值我们也会当做缺失值来处理。...此外，有的时候会出现空白字符串，这些也可以认为是缺失值。 对于上面的这种情况，我们可以使用 replace 方法来替换缺失值。...male Mary female James male Andy NaN Alice NaN Name: sex, dtype: object 除了可以替换特定的值之外
只不过，Pandas 里面又定义了两种数据类型：Series 和 DataFrame，它们让数据操作更简单了。 以下操作都是基于： ? 为了省事，后面就不在显示了。...比如，下面的两个属性依次可以显示 Series 对象的数据值和索引： ? 列表的索引只能是从 0 开始的整数，Series 数据类型在默认情况下，其索引也是如此。...除了这种方法之外，还可以用下面的方法定义 Series 对象： ? 现在是否理解为什么前面那个类似 dict 了？因为本来就是可以这样定义的。 这时候，索引依然可以自定义。...在 Pandas 中，如果没有值，都对齐赋给 NaN。来一个更特殊的： ? 新得到的 Series 对象索引与 sd 对象一个也不对应，所以都是 NaN。...Pandas 有专门的方法来判断值是否为空。 ? 此外，Series 对象也有同样的方法： ? 其实，对索引的名字，是可以从新定义的： ?
也就是说对于对于只在一个DataFrame中缺失的位置会被替换成我们指定的值，如果在两个DataFrame都缺失，那么依然还会是Nan。 ?...难道只能手动找到这些位置进行填充吗？当然是不现实的，pandas当中还为我们提供了专门解决空值的api。 空值api 在填充空值之前，我们首先要做的是发现空值。...all表示只有在某一行或者是某一列全为空值的时候才会抛弃，any与之对应就是只要出现了空值就会抛弃。默认不填的话认为是any，一般情况下我们也用不到这个参数，大概有个印象就可以了。...fillna pandas除了可以drop含有空值的数据之外，当然也可以用来填充空值，事实上这也是最常用的方法。 我们可以很简单地传入一个具体的值用来填充： ?...除了可以计算出均值、最大最小值等各种值来进行填充之外，还可以指定使用缺失值的前一行或者是后一行的值来填充。
下面的SAS例子，DO循环用于迭代数组元素来定位目标元素。 SAS中数组主要用于迭代处理如变量。SAS/IML更接近的模拟NumPy数组。但SAS/IML 在这些示例的范围之外。 ?...默认情况下，.dropna()方法删除其中找到任何空值的整个行或列。 ? ? .dropna()方法也适用于列轴。axis = 1和axis = "columns"是等价的。 ? ?...显然，这会丢弃大量的“好”数据。thresh参数允许您指定要为行或列保留的最小非空值。在这种情况下，行"d"被删除，因为它只包含3个非空值。 ? ? 可以插入或替换缺失值，而不是删除行和列。....fillna()方法返回替换空值的Series或DataFrame。下面的示例将所有NaN替换为零。 ? ?...记录删除部分为0.009％ 除了错误的情况，.dropna()是函数是静默的。我们可以在应用该方法后验证DataFrame的shape。 ?
连接符'.join(列表)实现的等价过程之外，还可以在列表中包含非字符型元素时自动跳过此次拼接返回缺失值，譬如下面的例子： s = pd.Series([ ['a', 'b', 'c'],...' 「na_rep：」 str型，可选，用于设置对缺失值的替换值，默认为None时： 当others参数未设置时，返回的拼接结果中缺失项自动跳过 当others参数设置时，两边的序列对应位置上存在缺失值时...，就可以使用到str.replace()方法，其除了常规的pat、flags、regex等参数外，还有特殊的参数n用于设置每个元素字符串（默认为-1即不限制次数），参数repl用于设置填充的新内容，从开头开始总共替换几次...()，下面是一些简单的例子： 2.4 特殊型方法 除了上述介绍到的字符串处理方法外，pandas中还有一些特殊方法，可以配合字符串解决更多处理需求，典型的有： 2.4.1 利用get_dummies(...，如： 这种情况下，直接读入的数据，本应该为数值型的字段会变成object型： 这种时候就可以利用pd.to_numeric()方法，设置参数errors='coerce'，就可以将可以合法转为数值型的记录转换为相应的数值
apply()配合'连接符'.join(列表)`实现的等价过程之外，还可以在列表中包含非字符型元素时自动跳过此次拼接返回缺失值，譬如下面的例子： s = pd.Series([ ['a', 'b...可选，用于设置连接符，默认为'' na_rep： str型，可选，用于设置对缺失值的替换值，默认为None时： 当others参数未设置时，返回的拼接结果中缺失项自动跳过 当others参数设置时，两边的序列对应位置上存在缺失值时...，就可以使用到str.replace()方法，其除了常规的pat、flags、regex等参数外，还有特殊的参数n用于设置每个元素字符串（默认为-1即不限制次数），参数repl用于设置填充的新内容，从开头开始总共替换几次...findall()，下面是一些简单的例子： 2.4 特殊型方法 除了上述介绍到的字符串处理方法外，pandas中还有一些特殊方法，可以配合字符串解决更多处理需求，典型的有： 2.4.1 利用get_dummies...，如： 这种情况下，直接读入的数据，本应该为数值型的字段会变成object型： 这种时候就可以利用pd.to_numeric()方法，设置参数errors='coerce'，就可以将可以合法转为数值型的记录转换为相应的数值
在Python中创建一个迭代器 熟悉Python中的生成器 实现Python中的生成器表达式 为什么你应该使用迭代器？ 什么是可迭代对象“可迭代对象是能够一次返回其一个成员的对象”。...以及我们的循环如何知道何时停止？进入到迭代器部分！ 什么是Python迭代器？ 迭代器是代表数据流的对象，即可迭代。它们在Python中实现了迭代器协议。这是什么？...普通函数使用return关键字返回值。但是生成器函数使用yield关键字返回值。这就是生成器函数与常规函数不同的地方（除了这种区别，它们是完全相同的）。...但随着代码变得更复杂，它们的功能会迅速变弱。在这种情况下，你发现自己会重新使用生成器函数，生成器函数在编写更复杂的函数方面提供了更大的灵活性。 为什么你应该使用迭代器？...它使你可以按指定大小的块来加载数据，而不是将整个数据加载到内存中。处理完一个数据块后，可以对dataframe对象执行next()方法来加载下一个数据块。就这么简单！
虽然 fillna 在最简单的情况下工作得很好，但只要数据中的组或数据顺序变得相关，它就会出现问题。本文将讨论解决这些更复杂情况的技术。...图片来自 Pixabay Pandas 有三种通过调用 fillna（）处理丢失数据的模式： method='ffill'：ffill 或 forward fill 向前查找非空值，直到遇到另一个非空值...method='bfill'：bfill 或 backward fill 将第一个观察到的非空值向后传播，直到遇到另一个非空值 显式值：也可以设置一个精确的值来替换所有的缺失值。...在这种情况下，你通常会用你猜测的最佳值（即，可用数据的平均值或中等值）替换丢失的值。 让我们快速回顾一下为什么应该小心使用此方法。假设你调查了 1000 个男孩和 1000 个女孩的体重。...在这种情况下，Pandas 的转换函数就派上了用场，它使用变换提供了一种简洁的方法来解决这个问题： df['filled_weight'] = df.groupby('gender')['weight
什么是缺失值？ （控制） 那么，到底什么是缺失值呢？ 直观上理解，缺失值表示的是‘缺失的数据’ 缺失值 导致的原因是什么呢？...NAN， # 再pandas 眼中 这些都属于 缺失值 # 可以使用 isnull（） 或者 notnull（）方法来操作。...而这些只是在pandas 眼中是缺失值 那么在人的眼中 ，某些异常值也会被当做 缺失值来处理。 例如： 在一批年轻的用户中，出现了一个50岁的老头，我们就可以将它定义异常值。...25.0 Name: age, dtype: float64 #除了替换特定的值之外，可以是使用正则表达式来替换 # 例如将 空白字符串 换成 空值 user_info["AA"] = " " user_info...-- 使用其他对象填充 #除了我们自己手动丢弃、填充已经替换缺失值之外，我们还可以使用其它对象来填充。
如何处理缺失的值 在研究数据时，您很可能会遇到缺失值或null值，它们实际上是不存在值的占位符。最常见的是Python的None或NumPy的np.nan，在某些情况下它们的处理方式是不同的。...处理空值有两种选择: 去掉带有空值的行或列 用非空值替换空值，这种技术称为imputation 让我们计算数据集的每一列的空值总数。...1 删除空值 数据科学家和分析师经常面临删除或输入空值的难题，这是一个需要对数据及其上下文有深入了解的决策。总的来说，只建议在缺少少量数据的情况下删除空数据。...删除空值非常简单: movies_df.dropna() 这个操作将删除至少有一个空值的任何行，但是它将返回一个新的DataFrame，而不改变原来的数据。...除了删除行之外，您还可以通过设置axis=1来删除空值的列: movies_df.dropna(axis=1) 在我们的数据集中，这个操作将删除revenue_millions和metascore列。
只不过，Pandas 里面又定义了两种数据类型：Series 和 DataFrame，它们让数据操作更简单了。...除了这种方法之外，还可以用下面的方法定义 Series 对象： In [13]: sd = {‘python’:9000,’c++’:9001,’c#’:9000} In [14]: s3 = Series...Pandas 有专门的方法来判断值是否为空。...，除了上面的之外，还可以使用“字典套字典”的方式。...（第一层键）和每横行索引（第二层字典键）以及对应的数据（第二层字典值），也就是在字典中规定好了每个数据格子中的数据，没有规定的都是空。
而不是下边这种CPU使用，想要一个简单的方法来得到这样的东西： 并行Pandas适用 - 使用所有CPU Pandaral·lel 如何帮助解决这个问题？...Pandaral·lel 的想法是将pandas计算分布在计算机上所有可用的CPU上，以显着提高速度。...DataFrame的简单用例df和要应用的函数func，只需替换经典apply的parallel_apply。...并行应用进度条 并配有更复杂的情况下使用带有pandas DataFrame df，该数据帧的两列column1，column2和功能应用func： # Standard pandas apply df.groupby...（越低越好） 除了df.groupby.col_name.rolling.apply速度仅增加x3.2因子之外，平均速度增加约x4因子，即使用过的计算机上的核心数。
这是真的吗？当然有可能 ，关键在于你如何操作！ 如果在数据上使用for循环，则完成所需的时间将与数据的大小成比例。但是还有另一种方法可以在很短的时间内得到相同的结果，那就是向量化。...所以在这种情况下，将坚持使用np.where()！ 一些人认为这更快：使用index设置，但事实证明它实际上不是向量化！...代码如下： 如果添加了.values： 4 更复杂的 有时必须使用字符串，有条件地从字典中查找内容，比较日期，有时甚至需要比较其他行的值。我们来看看！...使用.apply执行基本的Python是更快的选择。 一般来说，我们还建议你使用str方法来避免循环，但是如果你的速度变慢了，这会让你很痛苦，试试循环是否能帮你节省一些时间。...除了改变语法以适应np.where。我们要做的就是在.dt之前加上.days ，效果很好。
然而，把这作为第一步，会让事情变得更简单，并确保有一个良好的开端。 验证代码库目录是否与Python的工作目录相同。 在终端中工作时，可以首先导航到文件所在的目录，然后启动Python。...这将在提取单元格值方面提供很大的灵活性，而无需太多硬编码。让我们打印出第2列中包含值的行的值。如果那些特定的单元格是空的，那么只是获取None。...可以在下面看到它的工作原理： 图15 已经为在特定列中具有值的行检索了值，但是如果要打印文件的行而不只是关注一列，需要做什么？ 当然，可以使用另一个for循环。...除了XlsxWriter软件包之外，还可以使用xlwt软件包。xlwt非常适合将数据和格式信息写入具有旧扩展名的文件，如.xls。...在这种情况下，可以使用非常简单的技术（如for循环）自动化。
只不过，Pandas 里面又定义了两种数据类型：Series 和 DataFrame，它们让数据操作更简单了。...除了这种方法之外，还可以用下面的方法定义 Series 对象： In [16]: adobe = {"ps": 200, "ae": 300, 'pr': 400, "ai": 500} In [17...Pandas 有专门的方法来判断值是否为空。...，除了上面的之外，还可以使用“字典套字典”的方式。...（第一层键）和每横行索引（第二层字典键）以及对应的数据（第二层字典值），也就是在字典中规定好了每个数据格子中的数据，没有规定的都是空。
没有什么可担心的：它完全正常，您不必补全这些缺失的日期。 除了索引之外，您还可能想要探索一些其他技术来更好地了解您的数据。您永远不知道还会出现什么。...除了这两种最常见的策略之外，还有一些您可能偶尔会遇到的其他一些策略，例如预测策略，这种预测策略试图预测股票的方向或价值，如基于某些历史因素的随后的未来时间段。...当你真正去做自己的策略并回溯测试它们的时候，你会发现教程提到的这些陷阱只占需要考虑的很小一部分。 除了陷阱之外，了解回测器通常由四个基本组成部分组成是很有帮助的。它们通常情况下都会出现于回测器中。...“挂单”或者股票已经被购买或者出售的信号 除了这四个组成部分之外，还有更多你可以添加到你的回测器中，这取决于策略的复杂性。...你会看到你通过符号来制定查找安全的结果（在这种情况下，股票），（AAPL在这种情况下）并指定到context.security。
前言 使用Pandas dataframe执行数千甚至数百万次计算仍然是一项挑战。你不能简单的将数据丢进去，编写Python for循环，然后希望在合理的时间内处理数据。...然而，当我们在Python中对大范围的值进行循环时，生成器往往要快得多。 Pandas的 .iterrows() 函数在内部实现了一个生成器函数，该函数将在每次迭代中生成一行Dataframe。...生成器（Generators） 生成器函数允许你声明一个行为类似迭代器的函数，也就是说，它可以在for循环中使用。这大大简化了代码，并且比简单的for循环更节省内存。...apply()函数接受另一个函数作为输入，并沿着DataFrame的轴（行、列等）应用它。在传递函数的这种情况下，lambda通常可以方便地将所有内容打包在一起。...最后 前面我们提到过，如果你正在使用一个为向量化操作设计的库，你应该总是在没有for循环的情况下寻找一种方法来进行任何计算。
上述过程中，主要需要考虑的关键点是缺失值的替换策略，可指定多种方法替换缺失值，具体根据实际需求而定，但大多数情况下均值、众数和中位数的方法较为常用。如果场景固定，也可以使用特定值（例如0）替换。...更有效的是，如果数据中的缺失值太多而无法通过列表形式穷举时，replace 还支持正则表达式的写法。 当列中的数据全部为空值时，任何替换方法都将失效，任何基于中位数、众数和均值的策略都将失效。...除了可以使用固定值替换外（这种情况下即使替换了该特征也没有实际参与模型的价值），最合理的方式是先将全部为缺失值的列删除，然后再做其他处理。...当列中含有极大值或极小值的 inf 或 -inf 时，会使得 mean() 这种方法失效，因为这种情况下将无法计算出均值。...完成后在输出的结果中可以看到，删除了 index 值为1的数据行。
CSV文件中读取和从现有的列中建立外，还有一些方法来创建MultiIndex。...而对于不那么琐碎的顺序，比如说，中国各省市的顺序，又该如何处理？ 在这种情况下，Pandas所做的只是简单地按字母顺序排序，你可以看到下面： 虽然这是一个合理的默认值，但它仍然感觉不对。...lock和locked在简单的情况下自动工作（如客户名称），但在更复杂的情况下需要用户的提示（如缺少日子的星期）。...操作levels 除了已经提到的方法之外，还有一些其他的方法： pdi.get_level(obj, level_id)返回一个通过数字或名称引用的特定级别，适用于DataFrames、Series和MultiIndex...，--在纯Pandas中没有直接的对应关系： pdi.insert_level(obj, pos, labels, name)用给定的值添加一个关卡（必要时适当广播），--在纯Pandas中不容易做到
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
