一、前言 前几天在Python白银交流群【上海新年人】问了一个Pandas数据处理的问题，一起来看看吧。 大佬们，如何把某一列中包含某个值的所在行给删除？比方说把包含电力这两个字的行给删除。...这里【FANG.J】指出：数据不多的话，可以在excel里直接ctrl f，查找“电力”查找全部，然后ctrl a选中所有，右键删除行。...二、实现过程 这里【莫生气】给了一个思路和代码： # 删除Column1中包含'cherry'的行 df = df[~df['Column1'].str.contains('电力')] 经过点拨，顺利地解决了粉丝的问题...后来粉丝增加了难度，问题如下：但如果我同时要想删除包含电力与电梯,这两个关键的，又该怎么办呢？ 这里【莫生气】和【FANG.J】继续给出了答案，可以看看上面的这个写法，中间加个&符号即可。...但是粉丝还有其他更加复杂的需求，其实本质上方法就是上面提及的，如果你想要更多的话，可以考虑下从逻辑 方面进行优化，如果没有的话，正向解决，那就是代码的堆积。
Pandas 库将外部数据转换为 DataFrame 数据格式，处理完成后再存储到相应的外部文件中。 1、读 / 写文本文件 文本文件是一种由若干行字符构成的计算机文件，它是一种典型的顺序文件。...bool取值，默认False，当inplace=True，即对原数据操作，无返回值 dropna默认删除任何包含缺失值的整行数据。...df.dropna() 使用axis=1或axis='columns'删除任何包含缺失值的整列数据。...默认为 False，表示返回一个新的 DataFrame；如果设为 True，则在原 DataFrame 上进行操作，并返回 None。 ignore_index：可选参数，指定是否重新设置索引。...默认为 False，表示保留原索引；如果设为 True，则在删除重复值后重新设置索引。
从现有的列创建新列： ? 从 DataFrame 里删除行/列 想要删除某一行或一列，可以用 .drop() 函数。...请务必记住，除非用户明确指定，否则在调用 .drop() 的时候，Pandas 并不会真的永久性地删除这行/列。这主要是为了防止用户误操作丢失数据。 你可以通过调用 df 来确认数据的完整性。...当你使用 .dropna() 方法时，就是告诉 Pandas 删除掉存在一个或多个空值的行（或者列）。删除列用的是 .dropna(axis=0) ，删除行用的是 .dropna(axis=1) 。...请注意，如果你没有指定 axis 参数，默认是删除行。 删除列： ? 类似的，如果你使用 .fillna() 方法，Pandas 将对这个 DataFrame 里所有的空值位置填上你指定的默认值。...获取 DataFrame 的属性 DataFrame 的属性包括列和索引的名字。假如你不确定表中的某个列名是否含有空格之类的字符，你可以通过 .columns 来获取属性值，以查看具体的列名。 ?
Insert Insert用于在DataFrame的指定位置中插入新的数据列。默认情况下新列是添加到末尾的，但可以更改位置参数，将新列添加到任何位置。...Sample Sample用于从DataFrame中随机选取若干个行或列。...Where Where用来根据条件替换行或列中的值。如果满足条件，保持原来的值，不满足条件则替换为其他值。默认替换为NaN，也可以指定特殊值。...，为False则在原数据的copy上操作 axis：行或列 将df中列value_1里小于5的值替换为0： df['value_1'].where(df['value_1'] > 5 , 0) Where...Isin Isin也是一种过滤方法，用于查看某列中是否包含某个字符串，返回值为布尔Series，来表明每一行的情况。
Pandas数据处理——渐进式学习 ---- 目录 Pandas数据处理——渐进式学习 前言 环境 DataFrame删除NaN空值 dropna函数参数 测试数据 删除所有有空的行 axis属性值...版本：1.4.4 ---- DataFrame删除NaN空值 在数据操作的时候我们经常会见到NaN空值的情况，很耽误我们的数据清理，那我们使用dropna函数删除DataFrame中的空值。...subset属性值 我这里清除的是[name,age]两列只要有NaN的值就会删除行 import pandas as pd import numpy as np df = pd.DataFrame...0或'index'，表示按行删除；1或'columns'，表示按列删除。 inplace：是否原地替换。布尔值，默认为False。...如果为True，则在原DataFrame上进行操 作，返回值为None。 limit：int,default None。
可以认为Series是一个索引、一维数组、类似一列值。可以认为DataFrames是包含行和列的二维数组索引。好比Excel单元格按行和列位置寻址。...name是Series对象很多属性中的一个。 ? DataFrames 如前所述，DataFrames是带有标签的关系式结构。此外，一个单列的DataFrame是一个Series。...为了说明.fillna()方法，请考虑用以下内容来创建DataFrame。 ? ? ? ? 默认情况下，.dropna()方法删除其中找到任何空值的整个行或列。 ? ?...在这种情况下，行"d"被删除，因为它只包含3个非空值。 ? ? 可以插入或替换缺失值，而不是删除行和列。.fillna()方法返回替换空值的Series或DataFrame。...在删除缺失行之前，计算在事故DataFrame中丢失的记录部分，创建于上面的df。 ? DataFrame中的24个记录将被删除。
header：表示指定文件中的哪一行数据作为DataFrame类对象的列索引，默认为0，即第一行数据作为列索引。...header：表示指定文件中的哪一行数据作为DataFrame类对象的列索引。 names：表示DataFrame类对象的列索引列表。...2.1.2 删除缺失值 pandas中提供了删除缺失值的方法dropna()，dropna()方法用于删除缺失值所在的一行或一列数据，并返回一个删除缺失值后的新对象。...DataFrame.dropna(axis=0, how='any', thresh=None, subset=None,inplace=False) axis：表示是否删除包含缺失值的行或列。...lsuffix: 左DataFrame中重复列的后缀 rsuffix: 右DataFrame中重复列的后缀 sort: 按字典序对结果在连接键上排序 join方式为按某个相同列进行join: score_df
另一种常见的数据形式是嵌套字典，如果嵌套字典传给DataFrame， Pandas 就会被解释为：外层字典的键作为列，内层键则作为行索引： import pandas as pd pop1 = {'...，其索引和列为原来那两个DataFrame的并集： print(df1 + df2) 如果DataFrame对象相加，没有共用的列或行标签，结果都会是空： import pandas as pd...) ---- 2.7 在算术方法中填充值 在对不同索引的对象进行算术运算时，你可能希望当一个对象中某个轴标签在另一个对象中找不到时填充一个特殊值（比如0）： import pandas as pd...和Series之间的算术运算会将Series的索引匹配到DataFrame的列，然后沿着行一直向下广播： print(frame - series) 如果某个索引值在DataFrame的列或Series...DataFrame的行用0，列用1 skipna 排除缺失值，默认值为True level 如果轴是层次化索引的（即Multilndex)，则根据level分组约简 有些方法（如idxmin和idxmax
[np.nan, 4, 6]]) df 0 1 2 0 1.0 NaN 2 1 2.0 3.0 5 2 NaN 4.0 6 我们不能从DataFrame中删除单个值；我们只能删除完整行或完整列...默认情况下，dropna()将删除包含空值的所有行： df.dropna() 0 1 2 1 2.0 3.0 5 或者，你可以沿不同的轴删除 NA 值; axis = 1删除包含空值的所有列： df.dropna...(axis='columns') 2 0 2 1 5 2 6 但这也会丢掉一些好的数据; 你可能更愿意删除全部为 NA 值或大多数为 NA 值的行或列。...这可以通过how或thresh参数来指定，这些参数能够精确控制允许通过的空值数量。 默认值是how ='any'，这样任何包含空值的行或列（取决于axis关键字）都将被删除。...列指定最小数量的非空值： df.dropna(axis='rows', thresh=3) 0 1 2 3 1 2.0 3.0 5 NaN 这里删除了第一行和最后一行，因为它们只包含两个非空值。
处理缺失值的方法3.1 删除缺失值删除缺失值是最直接的方法，可以通过以下两种方式实现：dropna()：删除包含缺失值的行或列。- `axis=0`：删除包含缺失值的行（默认）。...- `axis=1`：删除包含缺失值的列。- `how='any'`：只要有一个缺失值就删除（默认）。- `how='all'`：只有当所有值都是缺失值时才删除。...代码案例# 删除包含缺失值的行df_drop_rows = df.dropna()print(df_drop_rows)# 删除包含缺失值的列df_drop_cols = df.dropna(axis=...常见问题及解决方案4.1 数据类型不一致在处理缺失值时，有时会遇到数据类型不一致的问题。例如，某个列的数据类型应该是整数，但由于缺失值的存在，Pandas会将其自动转换为浮点数。...如果你有任何问题或建议，欢迎留言交流。
删除缺失值：删除缺失值是最简单的处理方式，这种方式通过直接删除包含缺失值的行或列来达到目的，适用于删除缺失值后产生较小偏差的样本数据，但并不是十分有效。...2.1.2 删除缺失值 pandas中提供了删除缺失值的方法dropna()，dropna()方法用于删除缺失值所在的一行或一列数据，并返回一个删除缺失值后的新对象。...DataFrame.dropna(axis=0, how='any', thresh=None, subset=None,inplace=False) axis：表示是否删除包含缺失值的行或列。...线性插补： 2.1.5 缺失值处理案例 创建包含空缺值的DataFrame: import pandas as pd import numpy as np na_df = pd.DataFrame...duplicated()方法检测完数据后会返回一个由布尔值组成的Series类对象，该对象中若包含True，说明True对应的一行数据为重复项。
两者都使用带标签的行和列的表格数据。 Pandas的merge函数根据公共列中的值组合dataframe。SQL中的join可以执行相同的操作。...这些操作非常有用，特别是当我们在表的不同数据中具有共同的数据列（即数据点）时。 ? pandas的merge图解 我创建了两个简单的dataframe和表，通过示例来说明合并和连接。 ?...您可能已经注意到，id列并不完全相同。有些值只存在于一个dataframe中。我们将在示例中看到处理它们的方法。 示例1 第一个示例是基于id列中的共享值进行合并或连接。...另一方面，如果我们选择两个表中的所有列(“*”)，则在SQL join中id列是重复的。...因此，purc中的列中填充了这些行的空值。 示例3 如果我们想要看到两个dataframe或表中的所有行，该怎么办?
DataFrame既包含行索引，也包含列索引，可以视为多个Series集合而成，是一个非常常用的数据结构。...另外一个构建的方式是字典嵌套字典构造DataFrame数据；嵌套字典赋给DataFrame，pandas会把字典的键作为列，内部字典的键作为索引。...，并产生新的索引 drop 根据传入的参数删除指定索引值，并产生新索引 unique 计算索引的唯一值序列 is_nuique 如果索引序列唯一则返回True is_monotonic 如果索引序列递增则返回...4.1 重建索引 reindex是pandas对象的重要方法，该方法创建一个符合条件的新对象。如果某个索引值之前并不存在，则会引入缺失值；在这里注意与上一篇文章2.2的区别。...在DataFrame中，reindex可以改变行索引、列索引，当仅传入一个序列，会默认重建行索引。
自定义缺失值的判断和替换 isin(values): 判断Series或DataFrame中是否包含某些值，可以传入一个可迭代对象、Series、DataFrame或字典。...在实际的应用中，一般不会按列删除，例如数据中的一列表示年龄，不能因为年龄有缺失值而删除所有年龄数据。 how: how参数默认为any，只要一行(或列)数据中有空值就会删除该行(或列)。...将how参数修改为all，则只有一行(或列)数据中全部都是空值才会删除该行(或列)。 thresh: 表示删除空值的界限，传入一个整数。...如果一行(或列)数据中少于thresh个非空值(non-NA values)，则删除。也就是说，一行(或列)数据中至少要有thresh个非空值，否则删除。...subset: 删除空值时，只判断subset指定的列(或行)的子集，其他列(或行)中的空值忽略，不处理。当按行进行删除时，subset设置成列的子集，反之。
删除不完整的行（dropna） 假设我们想删除任何有缺失值的行。这种操作具有侵略性，但是我们可以根据我们的需要进行扩展。 我们可以使用isnull来查看dataframe中是否有缺失值。...df1.isnull().values.any() 删除任何包含 NA 值的行是很容的： df1.dropna() 当然，我们也可以删除一整行的值都为 NA： df1.dropna(how='all'...) 我们也可以增加一些限制，在一行中有多少非空值的数据是可以保留下来的（在下面的例子中，行数据中至少要有 5 个非空值） df1.drop(thresh=5) 删除不完整的列（dropna） 我们可以上面的操作应用到列上...删除一整列为 NA 的列： data.drop(axis=1, how='all') 删除任何包含空值的列： data.drop(axis=1. how='any') 规范化数据类型 我们可以在读取文件的时候就限定...） apply不仅可以适用于整个dataframe，也可以作用于行和列，如果想作用于行，可以添加参数axis=0，如果想作用于列，axis=1。
dropna()和fillna()方法1.1.2.1 dropna()删除含有空值或缺失值的行或列1.1.2.2 fillna()方法可以实现填充空值或者缺失值 1.2 重复值的处理1.2.1...1.1.2.1 dropna()删除含有空值或缺失值的行或列 axis：确定过滤行或列 how：确定过滤的标准，默认是‘any’ inplase:：False=不修改对象本身 1.1.2.2...数据重塑 3.1 重塑层次化索引 Pandas中重塑层次化索引的操作主要是 stack()方法和 unstack()方法，前者是将数据的列“旋转”为行，后者是将数据的行“旋转”为列。 ...3.2 轴向旋转 在 Pandas中pivot()方法提供了这样的功能，它会根据给定的行或列索引重新组织一个 DataFrame对象。 ...columns：用于创建新 DataFrame对象的列索引 values：用于填充新 DataFrame对象中的值。 4.
df.sample(3) 输出： 如果要检查数据中各列的数据类型，可以使用.dtypes；如果想要值查看所有的列名，可以使用.columns。...df.shape 输出： (5, 2) 另外，len()可以查看某列的行数，count()则可以查看该列值的有效个数，不包含无效值（Nan）。...df.fillna(50) 输出： Pandas清洗数据时，判断重复值一般采用duplicated()方法。如果想要直接删除重复值，可以使用drop_duplicates() 方法。...列操作 数据清洗时，会将带空值的行删除，此时DataFrame或Series类型的数据不再是连续的索引，可以使用reset_index()重置索引。...如果想直接筛选包含特定字符的字符串，可以使用contains()这个方法。 例如，筛选户籍地址列中包含“黑龙江”这个字符的所有行。
创建一个DataFrame 用已经存储在内存中的数据构建一个DataFrame竟是如此的超凡脱俗，以至于它可以转换你输入的任何类型的数据： 第一种情况，没有行标签，Pandas用连续的整数来标注行。...使用DataFrame的基本操作 关于DataFrame最好的事情是你可以： 很容易访问它的列，例如，df.area返回列值（或者，df['area']-适合包含空格的列名）。...就像原来的join一样，on列与第一个DataFrame有关，而其他DataFrame是根据它们的索引来连接的。 插入和删除 由于DataFrame是一个列的集合，对行的操作比对列的操作更容易。...用drop删除行的速度出奇的慢，如果原始标签不是唯一的，就会导致错综复杂的bug。...一列范围内的用户函数唯一可以访问的是索引，这在某些情况下是很方便的。例如，那一天，香蕉以50%的折扣出售，这可以从下面看到： 为了从自定义函数中访问group by列的值，它被事先包含在索引中。
# 数据集信息，包含数据集大小，列名，类型 data_t.info() data_t.columns.values pandas.core.frame.DataFrame'> RangeIndex...旅客为这趟旅行平均花费 32 美元，最高花费 512 美元（贵族吧） 07 数据清洗（cleanse the data） 缺失值处理中，我们一般会删除缺失值。...pandas模块中，提供了将包含NaN值的行删除的方法dropna()，但其实处理缺失值最好的思路是用最接近的数据替换。 首先，清洗数据就是处理空值，让这些空值参与到之后的数据分析中去。...其次，我将删除那些对于数据分析本身并没有相关性的数据列，比如Cabin（因为一个船舱号对于是否能够逃生确实没有任何影响）。...在接下来的分析中，我们会多次用到这个函数，所以先来熟悉下下这个函数： pandas.pivot_table 函数中包含四个主要的变量，以及一些可选择使用的参数。
但需要满足三个条件： 1.如果再发布的产品中包含源代码，则在源代码中必须带有原来代码中的BSD协议。...2.如果再发布的只是二进制类库/软件，则需要在类库/软件的文档和版权声明中包含原来代码中的BSD协议。 3.不可以用开源代码的作者/机构名字和原来产品的名字做市场推广。...如下所示： "二维数组"Dataframe：是一个表格型的数据结构，包含一组有序的列，其列的值类型可以是数值、字符串、布尔值等。...，如出现新的列，值为NaN # index在这里和之前不同，并不能改变原有index，如果指向新的标签，值为NaN （非常重要！）...变量.at[行索引, 列索引] 变量.iat[行索引, 列索引] 以上方式中，"at[行索引, 列索引]"中的索引必须为自定义的标签索引，"iat[行索引, 列索引]"中的索引必须为自动生成的整数索引
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
腾讯会议
对象存储
云直播
